Underthesea：越南语自然语言处理工具包全面解析

Underthesea：越南语自然语言处理工具包全面解析

项目概述

Underthesea 是一个功能强大的越南语自然语言处理(NLP)工具包，为开发者提供了一系列开源的Python模块、数据集和教程。该项目采用GNU通用公共许可证v3发布，最新版本为1.3.0，已支持深度学习技术。

核心功能

1. 句子分割(Sentence Segmentation)

将越南语文本分割成独立的句子：

from underthesea import sent_tokenize
text = 'Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng. Amanda cũng thoải mái với mối quan hệ này.'
sent_tokenize(text)

2. 词语切分(Word Segmentation)

对越南语句子进行词语切分：

from underthesea import word_tokenize
sentence = 'Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò'
word_tokenize(sentence)  # 返回列表格式
word_tokenize(sentence, format="text")  # 返回文本格式

3. 词性标注(POS Tagging)

为越南语词汇标注词性：

from underthesea import pos_tag
pos_tag('Chợ thịt chó nổi tiếng ở Sài Gòn bị truy quét')

4. 组块分析(Chunking)

识别文本中的名词短语和动词短语：

from underthesea import chunk
text = 'Bác sĩ bây giờ có thể thản nhiên báo tin bệnh nhân bị ung thư?'
chunk(text)

5. 依存句法分析(Dependency Parsing)

分析句子中词语之间的依存关系：

from underthesea import dependency_parse
text = 'Tối 29/11, Việt Nam thêm 2 ca bệnh'
dependency_parse(text)

6. 命名实体识别(Named Entity Recognition)

识别文本中的人名、地名等命名实体：

from underthesea import ner
text = 'Chưa tiết lộ lịch trình tới Việt Nam của nhà lãnh đạo Mỹ Donald Trump'
ner(text)

7. 文本分类(Text Classification)

支持通用领域和银行领域的文本分类：

underthesea download-model TC_GENERAL
underthesea download-model TC_BANK

使用示例：

from underthesea import classify
classify('HLV đầu tiên ở Premier League bị sa thải sau 4 vòng đấu')
classify('Lãi suất từ BIDV rất ưu đãi', domain='bank')

8. 情感分析(Sentiment Analysis)

支持通用和银行领域的情感分析：

underthesea download-model SA_GENERAL
underthesea download-model SA_BANK

使用示例：

from underthesea import sentiment
sentiment('hàng kém chất lg,chăn đắp lên dính lông lá khắp người. thất vọng')
sentiment('Xem lại vẫn thấy xúc động và tự hào về BIDV của mình', domain='bank')

越南语NLP资源

Underthesea 提供了多种越南语NLP资源：

# 列出可用资源
underthesea list-data

# 下载特定资源
underthesea download-data VNTC

安装与使用

安装非常简单：

pip install underthesea

未来发展方向

项目团队正在开发以下新功能：

• 机器翻译
• 文本转语音
• 自动语音识别

技术特点

1. 全面性：覆盖了NLP处理的各个环节，从基础的分词到高级的情感分析
2. 领域适配：特别针对银行领域提供了专门的模型
3. 易用性：简单的API设计，开发者可以快速上手
4. 资源丰富：提供多种越南语数据集支持

Underthesea 是处理越南语NLP任务的理想选择，无论是学术研究还是商业应用，都能提供强大的支持。