利用语义管理一生的照片

### 利用语义管理一生的照片 #### 个人照片整理 在众多商业照片管理工具中，Picassa2 提供了出色的可视化功能。它支持照片标注，具有相同标签的照片被视为一个集合。同时，它还利用创建日期自动对照片进行分类，并能很好地可视化所有集合的时间线视图，也支持集合的幻灯片展示。 PhotoFinder 以多种方式支持集合的可视化，整个应用程序支持拖放操作以完成不同任务，还支持对人物进行有限的注释。在此基础上，我们从两个维度扩展了其注释策略：一是使用图像区域进行注释和标注；二是利用语义网技术对事件和其他照片内容进行注释。此外，人物信息会被复用并与现有的个人通讯录和联系人相链接，这使得从照片集合中能够完成更多语义查询，例如搜索“萨尔茨堡所有朋友的照片”。 Girgensohn 及其同事研究了整理大型照片集合时的性能问题，他们的工具在实际支持方面与其他商业工具差异不大，但性能有所提升，值得一提的是其工具支持日历视图。在我们的原型实现中，我们提供了基于时间和日期对特定集合以及整个生命周期视图进行排序和过滤的功能，也支持基于概念分类法进行排序和过滤。 还有一种不同的方法，它将地图数据（GPS）与照片元数据相结合，从而更有意义地构建旅行故事。之后，用户可以在位置地图上查看照片，也可以基于时间线查看。另外，MyLifeBits 提供了从照片、文档、电话、电子邮件到网页等终身信息项的集成视图。我们的方法与 MyLifeBits 可能不同，因为我们利用本体来管理这些信息项的语义。 #### SemanticLIFE 项目 SemanticLIFE 项目旨在实现 Vannevar Bush 提出的 Memex 愿景，即“一种个人可以存储所有书籍、记录和通信的设备……是其记忆的亲密扩展补充”，以及思想关联的理念，即“人类思维通过关联运作。当掌握一个信息项时，它会根据复杂的关联网络立即联想到下一个信息项”。SemanticLIFE 系统的架构在其他地方有介绍。其数据源范围广泛，从通信数据（电子邮件、电话和聊天会话）到个人文档、照片、网页浏览会话和日历数据。该项目通过用本体对这些信息项的内容进行注释，实现了个人数字日记中各项内容的关联。在本文中，我们特别关注利用照片的语义来组织和注释照片集合。 #### 注释模型 照片信息可分为两类：照片的一般特征和照片内容。第一类提供照片分辨率、格式、大小等信息，这些信息存在于数字照片的 EXIF 头中，易于提取。第二类描述照片所描绘的内容，个人数字照片的内容差异很大，可能涵盖体育、娱乐和观光等广泛领域。 语义注释在描述如此多样的照片内容方面的实用性已得到广泛认可，但在这样一个注释过的终身照片空间中的可理解性以及从用户交互角度来看语义网技术的可用性仍是一个待解决的问题。普通用户大多希望能够轻松访问他们的照片集合，用于查看、在主页上使用、创建演示文稿或与他人分享。用任意 RDF 为个人照片提供统一的注释方式很困难，即使是简单的注释对于非专家来说也复杂且难以理解，无论可视化方面做了多少简化。而简化的注释模型可以带来实用的界面。 我们最近提出了一种基于 LATCH 模型的个人信息项组织方法，所提出的注释模型对应于“谁”“何时”“何地”和“什么”。这种注释模板的结构化一方面为组织个人照片集合提供了足够的语义，另一方面也易于用户理解。模板中的插槽值通过基于现有本体中的概念创建语义标签来填充。与关键字搜索相比，这种语义注释允许进行概念搜索，用户可以根据概念层次结构对查询进行细化或泛化。以下是该模型的详细介绍： - **谁**：描述照片中出现的人物和其他主体/参与者。在注释人物时，系统会向用户展示现有的通讯录，同时从最近访问的网页和其他用户文档中提取人物姓名，并在注释时向用户推荐这些姓名。数字照片可分为个人照片、专业照片和艺术作品。个人照片集合中可能包含艺术对象的照片，这类照片会将创作者注释为照片中所描绘对象的原作者，例如照片中描绘的一幅画会被注释上其艺术家信息。 - **何时与何地**：描述照片和集合的时间和位置。位置包括国家、城市、地区和街道地址等概念。对于单张照片，时间值表示拍摄照片的时间，该值从照片元数据的 EXIF 头中提取。这些维度也可以用现有日历管理应用程序（如 MS Outlook）中的日程事件进行注释。时间值以区间形式表示。 - **什么**：该维度有两个方面。一是主体正在进行的动作，例如一个人吃寿司、踢足球；二是照片中描绘的除“谁”中描述的主体之外的其他对象，例如棕榈树或一幅画。后者还可以用上下文元数据进行注释，例如照片中的一幅画可以注释上其艺术家信息。 #### 照片作为地标 人类采用各种方法进行回忆，使用记忆术就是其中之一。这种方法起源于古希腊，其理念是将信息的各个部分与知名地标相关联。在超文本系统中，起始网页被视为地标，该特定网页应用程序中的其他网页都与它相关联。在个人信息空间中，也有人研究使用地标事件。传统上，个人照片被分为家庭相册（首选照片）和“鞋盒照片”。我们认为，在保持这种区分的同时，可以在数字档案中建立家庭相册中的照片与“鞋盒照片”之间的联系。这可以通过将重要照片声明为集合中的地标来实现，同一集合中的其他照片会自动与地标照片相关联。 一些个人照片管理应用程序使用排名来衡量照片的重要性，例如 PhotoFinder 中使用 0 到 10 的计数。虽然声明一张照片为重要照片是一方面，但更重要的是将其他相关照片与之关联并推荐给用户。通过形成关联路径，照片检索变得更加高效，用户可以更轻松地探索大型照片空间。 用户可以为照片分配一个数值权重（10 ≥ w > 0）来将其声明为地标照片，该权重用于确定集合视图和搜索结果视图中缩略图的大小，也有助于确定一个地标与另一个地标的接近程度。我们使用语义网规则语言（SWRL）实现了基于权重的不同规则。例如，如果满足以下任何一个条件，权重为 x 的地