【Python机器学习】NLP信息提取——值得提取的信息

目录

提取GPS信息

提取日期

如下一些关键的定量信息值得“手写”正则表达式：

• GPS位置；
• 日期；
• 价格；
• 数字。

和上述可以通过正则表达式轻松捕获的信息相比，其他一些重要的自然语言信息需要更复杂的模式：

• 问题触发词；
• 问题目标词；
• 命名实体。

提取GPS信息

GPS位置时我们希望正则表达式从文本中提取的各种数值类型数据的典型代表。GPS位置具有成对的经纬度数值。它们有时还包括第三个数值，如高度或海拔高度，但暂时先忽略它。我们只提取十进制的经纬度对，用度数表示。这么模式适用于许多谷歌地图的URL地址。虽然严格说URL不是自然语言，但它们通常是非结构化文本数据的一部分，并且我们希望提取这种信息，从而让聊天机器人能够像了解事物一样了解位置信息。

我们使用十进制数字模式，但增加更多约束，确保该值在纬度和经度的有效范围内。最北到北极（+90度），最高到南极（-90度），具体代码：

import re

lat=r'([-]?[0-9]?[0-9][.][0-9]{2,10})'
lon=r'([-]?1?[0-9]?[0-9][.][0-9]{2,10})'

sep=r'[,/ ]{1,3}'
re_gps=re.compile(lat+sep+lon)

print(re_gps.findall('http://...maps/@34.0551066,-118.2496763'))
print(re_gps.findall("Zig Zag Cafe is at 45.344, -121.9323 on my GPS"))

数值类数据很容易提取，特别是当数字式可机读字符串的一部分的时候。URL和其他可机读字符串以可推测的顺序、格式或单位放置纬度和经度等数字，为提取提供了方便。上述模式还可以处理一些超出真实世界的经度和维度值，它可以较好的处理从地图Web应用程序中复制的大部分URL。

提取日期

提取日期比提取GPS坐标要难很多。日期更接近自然语言，可以通过不同的方言表达类似的事物。在美国，17年圣诞节的表示是“12/25/17”，而在欧洲，却表示为“25/12/17”。我们可以检查用户区域设置，并假设在同一个区域，日期表示方式是一样的。但这种假设可能在实际中是不成立的。

因此，大多数日期和时间提取器尝试适配上面两种日/月的表示顺序，并检查以确保是有效的日期。这也是当我们看到这样的日期时大脑的工作方式。即使是美国英语使用者，圣诞节在欧洲，也能认出“25/12/17”是一个假期。

这种在计算机编程中适用的“鸭子类型”方法也适用于自然语言。如果它看起来像一只鸭子并且