Semelhança Estatística e Semântica entre Frases em Inglês

Este livro apresenta vários algoritmos para calcular semelhanças semânticas entre textos em inglês. Explorei três algoritmos diferentes para calcular a semelhança entre frases em inglês. O primeiro algoritmo, amplamente estudado na literatura [Salton e Buckley, 1988; Wu e Salton, 1981], pondera as palavras em cada frase de acordo com a frequência do termo e a frequência inversa do documento (tf-idf) e não utiliza informação semântica. O segundo algoritmo utiliza medidas da distância semântica entre palavras pertencentes à mesma classe gramatical. O terceiro algoritmo combina os resultados do tf-idf com os resultados da distância semântica entre palavras. Avaliei o desempenho do segundo e do terceiro algoritmos em dois conjuntos de dados: o conjunto de pares de frases de O'Shea com avaliações de semelhança feitas por humanos [Li et al., Aug, Rubenstein e Goodenough, 1965] e o conjunto de dados de paráfrases ao nível da frase da Microsoft Research [Rus et al., 2012]. No conjunto de dados de O'Shea, o terceiro algoritmo corresponde com maior precisão aos julgamentos humanos do que o segundo. No conjunto de dados da Microsoft, não se verificou uma diferença significativa entre os dois algoritmos.

Este livro apresenta vários algoritmos para calcular semelhanças semânticas entre textos em inglês. Explorei três algoritmos diferentes para calcular a semelhança entre frases em inglês. O primeiro algoritmo, amplamente estudado na literatura [Salton e Buckley, 1988; Wu e Salton, 1981], pondera as palavras em cada frase de acordo com a frequência do termo e a frequência inversa do documento (tf-idf) e não utiliza informação semântica. O segundo algoritmo utiliza medidas da distância semântica entre palavras pertencentes à mesma classe gramatical. O terceiro algoritmo combina os resultados do tf-idf com os resultados da distância semântica entre palavras. Avaliei o desempenho do segundo e do terceiro algoritmos em dois conjuntos de dados: o conjunto de pares de frases de O'Shea com avaliações de semelhança feitas por humanos [Li et al., Aug, Rubenstein e Goodenough, 1965] e o conjunto de dados de paráfrases ao nível da frase da Microsoft Research [Rus et al., 2012]. No conjunto de dados de O'Shea, o terceiro algoritmo corresponde com maior precisão aos julgamentos humanos do que o segundo. No conjunto de dados da Microsoft, não se verificou uma diferença significativa entre os dois algoritmos.