在原理上,词⼲提取主要是采⽤“缩减”的⽅法,将词转换为词⼲,如将“cats”处理为“cat”,将“effective”处理为“effect”。⽽词形还原主要采⽤“转变”的⽅法,将词转变为其原形,如将“drove”处理为“drive”,将“driving”处理为“drive”。
在实现⽅法上,词⼲提取和词形还原实现的主流⽅法类似,但⼆者在具体实现上各有侧重。
词⼲提取的实现⽅法主要利⽤规则变化进⾏词缀的去除和缩减,从⽽达到词的简化效果。
词形还原则相对较复杂,有复杂的形态变化,单纯依据规则⽆法很好地完成。其更依赖于词典,进⾏词形变化和原形的映射,⽣成词典中的有效词。
在结果上,词⼲提取和词形还原也有部分区别。词⼲提取的结果可能并不是完整
的、具有意义的词,⽽只是词的⼀部分,如 “revival” 词⼲提取的结果
为“reviv”,“ailiner”词⼲提取的结果为“airlin”。⽽经词形还原处理后获得的结果是具有⼀定意义的、完整的词,⼀般为词典中的有效词
在应⽤领域上,同样各有侧重。虽然⼆者均被应⽤于信息检索和⽂本处理中,但侧
重不同。
词⼲提取更多被应⽤于信息检索领域,如Solr、Lucene等,⽤于扩展检
索,粒度较粗。
词形还原更主要被应⽤于⽂本挖掘、⾃然语⾔处理,⽤于更细粒
度、更为准确的⽂本分析和表达