本文深入探讨了三种主要的分词算法：前向最大匹配、后向最大匹配与维特比算法，分别介绍了它们的工作原理、优缺点，并指出维特比算法在考虑语义信息方面的优势。
前向最大匹配（forward-max matching）
根据自定义的max_length来对文本进行分词及判断。从前开始匹配。
后向最大匹配（backward-max matching）
从后开始匹配。
缺点：
未考虑语义信息
效率基于max_length
维特比算法（viterbi algorithm）
百度百科解释。考虑语义，将分词与求概率进行结合。
个人整理笔记，方便复习，若侵权，请联系。
附贪心学院课程链接： https://www.greedyai.com/courseinfor/105
扫一扫
479
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
