富标签体系在中国全球图片总汇中的研究与实现

王 民 董海涛 刘锦峰

（新华通讯社技术局）

[摘 要] 传统对图片信息的描述大都采用属性编目的方式，图片具有多个属性，在图片编目时，为每个属性标注相应的值。属性信息仅为图片所含信息的小部分，缺少对图片内容语义信息的描述；属性项需要在系统设计时确定，一旦确定则不易修改，故扩展性较差；非规范化的简单文字匹配造成的语义歧义性难以避免。针对这些不足之处，新华社数据库系统部门提出了关于图片多维度描述体系，即图片富标签体系。该体系是包含图片属性信息、图片内容语义、图片底层视觉特征的全方位、多角度的标注体系，且支持基于本体库知识推理的语义扩展。更重要的是，富标签库作为图片标注的基础数据，进一步提高了该体系对于图片标注以及图片检索的价值和意义。

[关键词] 富标签 多维度 图片 标引

1 引言 中国需要发展强大的国家图片库，在世界图片信息传播中增强话语权。目前国际图片市场由国际大型专业图片机构和通讯社占领。中国要夺取在国际社会舆论中的图片发言权，向海外民众介绍真实的中国，通过抢占舆论主导权，维护中国在国际社会上的经济、文化和政治利益。 目前新华社现有图片库在数据的分类、检索与标签管理上存在问题，用户常常无法检索到所需要的图片，不适合目前网络时代对图片应用的要求，极大地影响到图片的利用和传播，这是建设中国全球图片总汇所必需解决的问题。为此迫切需要为新华社图片库研发国际一流的智能标引体系——富标签体系。 富标签是一套多维度多模态融合的标签，不仅涵盖时间、地点、人物、事件、拍摄风格、产品类型、产品线路、授权类型等维度的文本标签信息，还拥有颜色、纹理、视觉不变性等视觉特征信息，并基于语义关系网进行标签的智能关联和智能推荐，基于同义词、近义词、反义词和多义词等提供智能扩展检索、反向检索和细化检索等功能。同时基于富标签系统，还可以开发出动态多级图片信息检索浏览系统，并进行热门主题发现和基于事件和专题的产品包发布等后期应用。 富标签体系的建立将解决新华社现有图片库分类与检索存在的诸多问题，满足数字网络时代用户对图片精细搜索、智能检索及个性化定制的需求，提高图片存储和检索的效率和精确度，满足不同类型用户对图片资源的需求，深度挖掘图片在不同领域的应用价值。 下文首先对富标签架构进行简单介绍，针对这个框架本文重点描述在中国全球图片总汇系统中的应用，为此一共需要三个子系统对富标签体系应用的支持和管理：技术验证系统；富标签管理系统；富标签标注系。

2 富标签框架结构

2.1 富标签组织结构 富标签的组织结构设计成四层结构，分别是图片种类、标签维度、标签组、标签。这个结构我们看出可以快速的配置出新的图片产品标引结构，用户针对自己的标引习惯可以灵活配置出标引的逻辑结构，扩展性非常强。

2.2 富标签标注层面 富标签体系设计了自己独特鲜明的标引结构，解决了属性分类标引方式的问题。对图片标引从四个维度层面进行划分，即：领域层、内容层、艺术层、属性层。

（1）领域层 领域层包含图片所属专题、事件、分类等高层信息。由于专题和事件属性比较类似，所以在设计上将专题和分类设计成同一结构，通过一个是否为事件的属性来区分它们，这样做的好处是在检索时既可以区分检索专题或者事件，又能模糊专题、事件进行统一检索。

（2）内容层 内容层主要从图片内容方面对图片进行描述。

（3）艺术层 艺术层主要从图片的艺术价值层面对图片进行描述，它主要反映图片在拍摄或创作过程中的拍摄技巧、角度、构图等信息。

（4）属性层 属性层主要包括图片逻辑属性、物理属性和底层视觉特征信息。

3

4 图片多维度标引体系 该体系是包含图片属性信息、图片内容语义、图片底层视觉特征的全方位、多角度的标注体系，且支持基于本体库知识推理的语义扩展。更重要的是，富标签库作为图片标注的基础数据，进一步提高了该体系对于图片标注以及图片检索的价值和意义。

4.1

该体系将普通的散乱的图片编目信息重新进行了梳理，分成了三个抽象层次，每个层次分为若干个维度。其中属性层相对固定，领域层和内容层的维度可基于不同的图片种类灵活配置。在进行多维度标注时，标注信息来源于富标签库、专题事件库，并采用了领域本体和图片底层视觉特征提取等新技术，使得标注信息更加丰富、明确、有层次、有重点。

4.2 标注维度 标注维度包含三个层次，即属性层、内容层和领域层。其中内容层和领域层可包含多个维度（并支持分级维度），并主要基于富标签库进行标签标注，支持维度与标签组的灵活配置。

4.3 富标签库 社会化分众标签作为一种新型的资源标注方式具有灵活、平行（较传统分类而言）、个性化等特性以及良好的图片内容表现能力。但它存在主观性强、歧义性、分散、无序等不足。富标签库将弥补和解决上述不足，建立一个可控、有序、可扩展、开放的标签体系。富标签库结构如图3所示。

5 富标签管理系统 富标签管理系统完成对富标签相关数据的定义、管理、维护工作，最终数据受审核、校验和签发的流程管理，富标签管理系统及与其他系统的关系如图4所示。

该系统主要对下列对象进行相关的管理和操作： （1）语义词表管理包括：分类标签管理、同义词标签管理、规范标签管理、标签数据分析、叙词表维护、主题概念树、多语言词表维护 （2）专题管理包括：专题定义与维护、专题审核、专题推荐、专题发布 （3）标注码管理包括：分类代码维护、标注码生成、标注码维护、自定义标签分类管理 （4）富标签元数据管理包括：元数据载入、特征值抽取、图片格式检测、标注定义、元数据审核 （5）富标签关联模型管理 （6）规范图例管理 （7）索引服务包括：在线索引、索引重建 （8）智能辅助标注服务包括：标签推荐、专题辅助推荐、图片代码自动生成 （9）系统管理包括：统一用户管理、用户组管理、子系统配置管理、权限配置 （10）富标签体系数据的导出包括：格式转换、标准接口支持 6 富标签标注系统 该系统主要的功能是对录入的图片进行标注，所标注的标签来源于富标签库，应用富标签库提供的标签对图片进行标引加工，使图片具有多维度的标签信息，为用户检索和展示提供全新的服务。 图片标注系统的主要功能模块如图5所示：

6.1 图片数据录入 图片数据录入是图片标注与加工的第一步，需要包括如下功能：原始数据导入、XML文件处理、图片检测、生成缩略图、图片原始信息获取以及生成原始数据库。图片导入要支持从中国图片总汇已有图片库中批量导入。

6.2 流程化标注

基本图片标注流程可通过图6表示：

该系统的作业列表列出每篇作业的图片编号、所属类别和标题，右侧有标引和退回按钮，点击标引按钮后进入作业加工页面，点击退回按钮跳出提示框，从预置选项选择或输入自定义原因后按确认按钮将作业退回，退回一般有分类错误、原始数据错误等几种类型。 作业加工页面分为三个区域，分别为原始信息显示区域、推荐作业区域、智能辅助作业加工区域。 6.3 标注质量保障 对图片的标注过程是一个对图片内容认知的过程，也是一个对图片数据深入加工完善的过程。这个过程除了需要科学的标注流程以及先进的标注工具之外，还需要严格的标注质量保障机制，图片质量保障体系结构如图7所示。

每张图片的标注结果只有经过校对者校对核准之后才会入库，校对不通过的图片需要重新标注。抽校者会对已入库图片的标注信息抽取一定比例进行校对，校对不合格的标注信息会从库中删除，并将该图片返回给标注者重新标注。 由于系统对每一篇作业在流程中提取、提交的时间以及作业员都有详细的记录，所以不管任何时候，都能将存在问题的作业清晰明了地问责到作业员个人。在校对环节中，校对员可将存在重大问题的作业进行返回操作，通过管理员确认后将作业重新发给原标引员进行重新标注，完成责任追踪；在抽校环节中，抽校员也可将存在重大问题的作业进行返回操作，通过管理员确认后将作业重新发给原标引员进行重新标注，同时对该作业的校对员提出警告。即使在数据入库之后，如果发现严重的后台数据错误，也可通过错误数据条目追踪到最初的作业编号，从而在系统中查询到该作业的标引员和校对员，完成责任追踪并按照规定对其进行责罚。 绩效考核主要包括工作质量和工作效率两方面。标引、校对、抽校人员都不知道上下环节的操作者是谁，这样可防止人情因素影响标引质量。每一个环节的人员对前一环节人员的工作进行检查的同时还要进行打分，通过分数反映前一环节人员的工作质量。同时，系统可以根据用户操作日志，对操作者的工作效率进行评估。通过定期统计绩效评估结果，标引质量好的标引人员可提升为校对人员或者成为免校人员，校对质量差的校对人员可降为标引人员，质量更差的可不让其再参与标引工作。

 7 技术验证系统 技术验证系统是以全面验证富标签体系可用性和效果为目的，主要功能是基于富标签的图片检索、浏览与展示，体现富标签体系的特点，最终能够充分验证富标签的成果。

7.1 检索展示系统 在富标签语义体系及图片索引库的支持下，技术验证系统提供多种方式的单独和组合检索功能，全面检验富标签体系的合理性、实用性以及系统对大规模数据处理的性能和效率。图片检索结果的展示允许多种排版方式和排序方式，以提升用户体验。具体包括：关键词检索、分类检索、多语种检索、专题检索与浏览。

 7.2 发布系统 发布系统提供图片的加入购物车、下载、在线处理等功能。采用动态的图像发布技术并具有和用户互动的可交互功能，更能贴近用户使用的感受。可以根据web应用程序的需要动态生成图片，还可以对一个图片或图片序列进行改变大小、旋转、锐化、减色或增加特效，并将操作的结果以相同格式或其它格式保存。

7.3 富标签体系的特点 富标签体系结合现有标注方式的优点，弥补了他们的不足，并融入了基于语义推理的本体技术、基于图片内容的检索技术等，结合新华社特点创造性的设计了富标签体系。通过在全球图片总汇系统中的应用也明显的突出了富标签带来的优势和特点： （1）体系扩展性强、开放度高 （2）精确标注、宽泛检索 （3）有利于提高精确搜索 （4）检索时兼具垂直化检索和扁平化检索优势 （5）实现检索求精化 （6）标签语义清晰 （7）多语种、多维度