Somiglianza statistica e semantica tra frasi in inglese

Questo libro presenta vari algoritmi per calcolare la somiglianza semantica tra testi in inglese. Ho esaminato tre diversi algoritmi per il calcolo della somiglianza tra frasi in inglese. Il primo algoritmo, ampiamente studiato in letteratura [Salton e Buckley, 1988; Wu e Salton, 1981], assegna un peso alle parole di ciascuna frase in base alla frequenza del termine e alla frequenza inversa del documento (tf-idf) e non utilizza alcuna informazione semantica. Il secondo algoritmo utilizza misure della distanza semantica tra parole appartenenti alla stessa categoria grammaticale. Il terzo algoritmo combina i punteggi tf-idf e quelli relativi alla distanza semantica tra le parole. Ho valutato le prestazioni del secondo e del terzo algoritmo su due set di dati: il set di coppie di frasi di O'Shea con valutazioni di somiglianza effettuate da esseri umani [Li et al., Aug, Rubenstein e Goodenough, 1965] e il set di dati di parafrasi a livello di frase di Microsoft Research [Rus et al., 2012]. Sul set di dati di O'Shea, il terzo algoritmo corrisponde in modo più accurato ai giudizi umani rispetto al secondo. Sul set di dati di Microsoft, non è stata riscontrata una differenza significativa tra i due algoritmi.

Questo libro presenta vari algoritmi per calcolare la somiglianza semantica tra testi in inglese. Ho esaminato tre diversi algoritmi per il calcolo della somiglianza tra frasi in inglese. Il primo algoritmo, ampiamente studiato in letteratura [Salton e Buckley, 1988; Wu e Salton, 1981], assegna un peso alle parole di ciascuna frase in base alla frequenza del termine e alla frequenza inversa del documento (tf-idf) e non utilizza alcuna informazione semantica. Il secondo algoritmo utilizza misure della distanza semantica tra parole appartenenti alla stessa categoria grammaticale. Il terzo algoritmo combina i punteggi tf-idf e quelli relativi alla distanza semantica tra le parole. Ho valutato le prestazioni del secondo e del terzo algoritmo su due set di dati: il set di coppie di frasi di O'Shea con valutazioni di somiglianza effettuate da esseri umani [Li et al., Aug, Rubenstein e Goodenough, 1965] e il set di dati di parafrasi a livello di frase di Microsoft Research [Rus et al., 2012]. Sul set di dati di O'Shea, il terzo algoritmo corrisponde in modo più accurato ai giudizi umani rispetto al secondo. Sul set di dati di Microsoft, non è stata riscontrata una differenza significativa tra i due algoritmi.