Podobie¿stwo statystyczne i semantyczne mi¿dzy zdaniami w j¿zyku angielskim

W niniejszej książce przedstawiono różne algorytmy służące do obliczania podobieństwa semantycznego między tekstami w języku angielskim. Przeanalizowałem trzy różne algorytmy służące do obliczania podobieństwa zdań w języku angielskim. Pierwszy algorytm, który został dokładnie zbadany w literaturze [Salton i Buckley, 1988; Wu i Salton, 1981], przypisuje słowom w każdym zdaniu wagi na podstawie częstotliwości występowania terminu oraz odwrotnej częstotliwości dokumentu (tf-idf) i nie wykorzystuje żadnych informacji semantycznych. Drugi algorytm wykorzystuje miary odległości semantycznej między słowami należącymi do tej samej części mowy. Trzeci algorytm łączy wyniki tf-idf z wynikami odległości semantycznej między słowami. Oceniłem wydajność drugiego i trzeciego algorytmu na dwóch zbiorach danych: zbiorze par zdań O'Shea z ocenami podobieństwa dokonanymi przez ludzi [Li i in., Aug, Rubenstein i Goodenough, 1965] oraz zbiorze danych parafraz na poziomie zdań opracowanym przez Microsoft Research [Rus i in., 2012]. W przypadku zbioru danych O'Shea trzeci algorytm dokładniej odzwierciedla ludzkie oceny niż drugi. W przypadku zbioru danych Microsoftu nie odnotowano istotnej różnicy między tymi dwoma algorytmami.

W niniejszej książce przedstawiono różne algorytmy służące do obliczania podobieństwa semantycznego między tekstami w języku angielskim. Przeanalizowałem trzy różne algorytmy służące do obliczania podobieństwa zdań w języku angielskim. Pierwszy algorytm, który został dokładnie zbadany w literaturze [Salton i Buckley, 1988; Wu i Salton, 1981], przypisuje słowom w każdym zdaniu wagi na podstawie częstotliwości występowania terminu oraz odwrotnej częstotliwości dokumentu (tf-idf) i nie wykorzystuje żadnych informacji semantycznych. Drugi algorytm wykorzystuje miary odległości semantycznej między słowami należącymi do tej samej części mowy. Trzeci algorytm łączy wyniki tf-idf z wynikami odległości semantycznej między słowami. Oceniłem wydajność drugiego i trzeciego algorytmu na dwóch zbiorach danych: zbiorze par zdań O'Shea z ocenami podobieństwa dokonanymi przez ludzi [Li i in., Aug, Rubenstein i Goodenough, 1965] oraz zbiorze danych parafraz na poziomie zdań opracowanym przez Microsoft Research [Rus i in., 2012]. W przypadku zbioru danych O'Shea trzeci algorytm dokładniej odzwierciedla ludzkie oceny niż drugi. W przypadku zbioru danych Microsoftu nie odnotowano istotnej różnicy między tymi dwoma algorytmami.