评测论文集
评测论文集已可下载（From 23rd December 2022 until 23rd January 2023）：https://link.springer.com/book/10.1007/978-981-19-8300-9
[评测通知] 2022年全国知识图谱与语义计算大会评测任务发布
一、任务简介
CCKS技术评测旨在为研究人员提供测试知识图谱与语义计算技术、算法、及系统的平台和资源，促进国内知识图谱领域的技术发展，以及学术成果与产业需求的融合和对接。去年，CCKS 2021评测竞赛环节共设立了5个主题共计14个任务，涵盖了金融、医疗、军事、生物、地理、保险、生活服务等各个领域，吸引了超过1万多支参赛队伍，在工业界和学术界形成较高影响力。
今年，经过评测任务征集和评测组委会筛选，CCKS2022共设立五个评测主题，共14个评测任务，任务列表如下。CCKS2022组委会为每个任务前三名颁发证书，其他奖励参见不同任务的评测任务书。最后，组委会将从所有队伍中特别评选10个“创新技术奖”，每支队伍奖励5000元，用于鼓励创新性技术的使用。专委会还将协同Data Intelligence期刊编辑部组织“评测论文主题专刊”，优秀评测论文将推荐至该专刊免费发表，同时优秀评测论文也将推荐收录进入主会论文集，并有机会推荐至相应期刊发表。
评测主席：
王 萌，东南大学 (meng.wang@seu.edu.cn)
张宁豫，浙江大学 (zhangningyu@zju.edu.cn)
评测技术创新奖评选委员会：
王昊奋（同济大学）
李直旭（复旦大学）
蔡毅（华南理工大学）
王萌（东南大学）
胡伟（南京大学）
张宁豫（浙江大学）
朱昱锦（平安金融壹账通AI研究院）
评测赞助商：
深圳壹账通智能科技有限公司
特邀企业评委：
徐亮博士 深圳壹账通智能科技有限公司 人工智能研究院总工程师
主题一：信息抽取
任务一：千言通用信息抽取竞赛评测
任务描述：信息抽取旨在将非结构化文本中的信息进行结构化，是自然语言处理的基础技术和重要研究领域。传统的信息抽取任务与评测通常针对特定的文本领域和单一的抽取任务，难以评估相关技术与方法在通用场景和任务下的抽取性能。
为此，中国科学院软件研究所、百度公司与千言开源数据集项目联合发起业界首个通用信息抽取评测——“CCKS-千言通用信息抽取竞赛”。本赛事是千言多形态信息抽取的全新升级，不局限于传统的单任务信息抽取的评测范式，而是将多种不同的信息抽取任务用统一的通用框架进行描述，着重考察相关技术方法在面对新的、未知的信息抽取任务与范式时的适应与迁移能力，从而满足当下信息抽取领域快速迭代、快速迁移的实际需求，更贴近实际业务应用。
评测地址：https://aistudio.baidu.com/aistudio/competition/detail/161/0/introduction
评测奖励：
一等奖30000元
二等奖20000元
三等奖10000元
创新奖5000元，共设立两个
任务组织者：
韩先培 （中科院软件所）
林鸿宇 （中科院软件所）
陆垚杰 （中科院软件所）
肖欣延 （百度）
戴岱 （百度）
任务联系人：
姓名 陆垚杰yaojie2017@iscas.ac.cn
任务二：基于知识图谱的优质文章识别
任务描述：在移动互联网、大数据的时代背景下，各类自媒体文章呈爆发式增长，在搜索和推荐等信息分发场景下，甄别出优质文章并分发给用户具有重要的研究意义和实际应用价值。除了文章本身的写作质量以外，优质文章应该具备内容的深度和新颖性等，因此单纯依赖文章本身内容无法完整识别优质文章。本任务将引入文章相关的外部知识图谱，结合文章内在的知识逻辑，在对文章更深入的语义理解基础上实现优质文章识别。
本任务要求参赛者利用文章的知识图谱进行建模，实现优质文章分类。
评测奖励：
第一名：人民币10000元
第二名：人民币3000元
第三名：人民币2000元
技术创新奖：人民币5000元
备注：技术创新奖和前三名可以兼得
任务组织者：
曹自强 （苏州大学）
王德瑞 （百度内容策略部）
徐扬 （百度内容策略部）
谢文睿 （百度内容策略部）
任务联系人：
QQ群：471919965
曹自强：zqcao@suda.edu.cn
王德瑞：wangderui@baidu.com
徐扬：xuyang24@baidu.com
谢文睿：xiewenrui01@baidu.com
主题二：知识图谱构建与问答
任务三：带条件的分层级多答案问答
任务描述：文本问答是语言文本分析的一项重要研究任务。随着机器阅读理解数据集的不断提出和模型水平的长足进步，问答系统得到了学术界和产业界的广泛关注。抽取式问答是一种重要的问答任务形式，其要求模型在相应的文本中抽取文本片段（span）作为答案。不同于目前常见的单答案（single-span）抽取任务，在实际应用中，一个问题的答案可能存在于文本的多个位置，被称为多答案（multi-span）抽取式问答。通过对互联网问答社区的样本进行分析，我们发现多答案样本往往伴随着以下两个特征：1）由于提问用户缺乏相关的领域知识，提出的问题不够明确，导致需要根据不同的条件分别回答；2）一个问题的多个答案可能分属于不同的粒度，并且彼此之间存在着层级关系。这些都为多答案问答提出了严峻的挑战。
为此，腾讯和中国科学院自动化研究所联合举办“带条件的分层级多答案问答”评测任务，希望通过本次评测任务以及发布的中文数据集，提升现有阅读理解模型的水平，并进一步帮助问答系统在真实场景中得到更有价值的应用。
评测地址：https://www.biendata.xyz/competition/CMQA/
评测奖励：
第一名：10000元
第二名：3000元
第三名：2000元
任务组织者：
杨韬 （腾讯）
郑孙聪（腾讯）
王唯康（腾讯）
张元哲（中科院自动化所）
刘康 （中科院自动化所）
赵军 （中科院自动化所）
任务联系人：
王唯康（腾讯）：daxianwang@tencent.com
张元哲（中科院自动化所）：yzzhang@nlpr.ia.ac.cn
任务四：开放知识图谱问答
任务描述：在互联网软硬件相关技术飞速发展的今天，人们每天接触与制造的数据量日益上升，理解与应用这些数据所需的成本也随之增加。因此，如何高效而准确地处理海量异质数据成为了一个亟待解决的问题。知识图谱以结构化的“知识”来存储与表示海量数据，作为承载底层海量知识并支持上层智能应用的重要载体，它在智能时代中扮演了极其重要的角色。
然而，由于知识图谱高度结构化的特点，我们常常需要构建结构化查询语句（SPARQL等）来查找相关知识，这为普通用户使用知识图谱造成了不便。因此，在知识图谱上进行自然语言问答（KBQA）近年来成为了前者的热门应用之一。在学界，semantic parsing、IR等创新性方法与框架百花齐放；在业界，智能音箱、语音助手、智能问诊等应用也极大地拓宽了知识图谱自然语言问答的应用场景，进一步加强了对高效、准确、易用、安全、可解释的KBQA系统的需求。
面对这一需求，我们提出了开放领域中的中文知识图谱问答这一评测任务，期待参赛者们可以提出创新性的KBQA系统，同时处理“专而深”的特定领域和“广而浅”的开放领域知识图谱，对用户提出的复杂多样的自然语言问题给出准确答案。同时，我们更希望此次评测可以为KBQA的下一步研究和落地提供一些理论及实践层面的启发。
评测地址：在线报名通道正式开启，请通过点击链接或扫描下方二维码填写报名信息，欢迎大家踊跃报名参赛！
https://www.wjx.top/vm/h4nfSFF.aspx
评测奖励：
第一名10000元
第二名5000元
第三名2500元
技术创新奖2500元，同时排名前三队伍将获授精美参赛奖牌、证书
任务组织者：
邹磊 （北京大学王选计算机研究所） zoulei@pku.edu.cn
林殷年 （北京大学王选计算机研究所） linyinnian@pku.edu.cn
张旻昊 （北京大学王选计算机研究所） zhangminhao@pku.edu.cn
张若禹 （北京大学王选计算机研究所） ry_zhang@pku.edu.cn
任务五：跨语言知识图谱问答评测任务
任务描述：随着近年来越来越多的非英语使用者参与到知识图谱的建立和维护，在线知识的分布已经由富资源语言(英语)一家独大转变为多语言资源相互补充。然而，当前多语言知识图谱问答模型主要关注于自然语言问题解析，而忽略了对跨语言知识的联合应用。以百科知识问答为例，对于新出现的知识，如“COVID-19 (2019新冠病毒病)”，在Wikipedia中文词条中，关于“并发症”属性的记录包含“全身器官衰竭”，而这项记录未被收录于英文词条关于“Complication(并发症)”的条目中。另一方面，在英文词条中包含了“Duration(症状持续时间) ”的属性，而中文词条却缺乏对这项属性的收集。因此，诸如：“能够引起全身器官衰竭这一并发症的冠状病毒，它使人体产生的症状一般会持续多长时间？”，“症状一般持续五天以上，且可能转为慢性的冠状病毒，是否可能引发全身器官衰竭这类严重并发症？”，对于这类需要联合跨语言知识的问题，目前的问答系统难以回答。此次评测任务的目标是利用跨语言知识图谱回答不同语言提出的问题，我们期望参赛选手的问答系统既能够解决自然语言问题与知识图谱间的词法鸿沟问题, 又能在跨语言知识图谱中准确找到问题相关的知识组合。
评测奖励：
第一名：冠军证书
第二名：亚军证书
第三名：季军证书
本次任务将会选出一支队伍参与CCKS评测任务创新奖评选（创新奖金5000元）
任务组织者：
漆桂林 （东南大学） gqi@seu.edu.cn
谭亦鸣 （东南大学） tt_yymm@seu.edu.cn
胡楠 （东南大学） nanhu@seu.edu.cn
李嘉琦 （东南大学） 494296118@qq.com
任务联系人：
谭亦鸣：tt_yymm@seu.edu.cn
任务六：教科书示意图问答
任务描述：示意图是一种高度抽象的知识表达载体，常由矩形、圆形等几何形状和箭头、折线等逻辑符号组成，广泛被应用于教科书、百科、知识博客等教育场景。在上述场景中，学习者常通过视觉问答的形式来判断对知识点的掌握情况，即：给定学习者一张示意图，根据视觉信息来回答与该知识点相关的自然语言问题，我们将其定义为教科书示意图问答任务。该任务可能涉及视觉对象的检测与对齐、知识术语的理解以及知识表示的动态变化等复杂推理过程，良好的完成该任务是未来跨媒体智能、智慧教育等应用的重要基础，也有助于提升计算机对人类认知行为和学习习惯的理解。该任务主要有两个挑战：一是示意图资源稀缺，标注代价高昂，具有天然的小样本场景，在不具备大型语料库的场景下完成该任务是一个难题；二是示意图表达抽象、特征稀疏，简单的几何形状蕴含有丰富、专业的语义信息，如何较好地提取并理解其视觉特征是一个难题。本次测评任务的示意图来源于计算机科学领域，希望选手能针对上述两个难点，深入理解示意图中的关键信息，构建模型实现准确的示意图问答表现。
评测奖励：
一等奖（1名）：人民币5000元
二等奖（2名）：人民币2500元
三等奖（2名）：人民币1000元
技术创新奖（1名）：人民币3000元
任务组织者：
张玲玲 （西安交通大学）
刘均 （西安交通大学）
武亚强 （联想）
魏笔凡 （西安交通大学）
王绍伟 （西安交通大学）
任务联系人：
王绍伟：wang97@stu.xjtu.edu.cn
任务七：化学元素知识图谱构建及应用
任务描述：随着AI技术的发展和普及，药物研发也逐渐进入到AI时代，擅长处理大数据的AI深度学习技术，就成为近年来大家关注的焦点。化合物的性质预测的主要目的在于及时发现理化性质不达标的化合物，以降低候选化合物进入临床实验失败的风险，提升药物研发的成功率。传统的化合物性质预测分析一般采取实验方式，成本高昂且耗时长。很多的研究工作都证明了机器学习技术，特别是深度学习在化合物性质预测方面的巨大潜力，这些工作使用序列（SMILES表达式）或是图（原子为节点，化学键为边）来表示化合物，用序列建模或者图神经网络（GNN）去预测化合物的属性，以辅助进行药物研发，提升效率，降低成本。但是，这些方法往往只考虑了化合物分子的结构信息，而忽略了其中蕴含的化学领域知识。因此我们以化学元素周期表为核心构建了化学元素知识图谱，并于此针对知识图谱构建的关键技术及其核心应用提出评测任务。
本任务围绕化学元素知识图谱的构建及化合物属性预测所展开。评测从化合物SMILES表示和初始的简单知识图谱开始，根据需要构建和扩充化学元素知识图谱，并基于该知识图谱进行化合物属性预测。评测本身不限制各参赛队伍使用的模型、算法和技术，但设计模型过程中必须使用该化学元素知识图谱。可以利用各种外部知识库扩充该化学元素知识图谱（例如引入官能团知识、wikipedia中的文本、图像信息等），可以利用各种序列/图算法模型、预训练手段等处理化合物分子，并进行化合物属性预测，共同促进知识图谱技术的发展。
评测奖励：
第一名：人民币5000元
第二名：人民币3000元
第三名：人民币2000元
创新奖：人民币5000元
备注：同时排名前三的队伍将获授精美参赛奖牌、证书。
任务组织者：
张建 （浙江大学） kg_tek@163.com （联系人）
方尹 （浙江大学） fangyin@zju.edu.cn （联系人）
张强 （浙江大学） qiang.zhang.cs@zju.edu.cn
主题三：商务金融知识图谱
任务八：面向金融领域的Few-Shot事件抽取
任务描述：事件抽取是语言文本分析和金融领域智能应用的重要任务之一。事件抽取需要判断事件的类型和事件的不同要素，实际抽取任务中为了充分覆盖每个事件类型和事件要素需要标注大量的样本，然而事件类型和要素标注本身也是一个比较费时费力的工作。但是考虑到不同的事件类型可能具有相近的语义，或者相同的要素类型，比如“公交停运事件”和“地铁停运事件”本身语义相似，且共有事件要素“列车编号”、“停运路线”、“停运开始时间”、“停运结束时间”。所以我们希望在只提供部分事件标注样本的情况下，抽取所有的事件。本次评测任务的文本语料来自于互联上的公开新闻、报告，旨在通过部分标注事件对未标注或者欠标注的事件进行预测。
评测奖励：
第一名：人民币12000元
第二名：人民币8000元
第三名：人民币5000元
创新奖：人民币5000元
备注：优胜者有机会进入2023蚂蚁集团校园招聘终面或者实习生绿色通道。
任务组织者：
王太峰 （蚂蚁集团）
张可尊 （蚂蚁集团）
陈玉博 （中科院自动化所）
杨航 （中科院自动化所）
刘康 （中科院自动化所）
赵军 （中科院自动化所）
任务联系人：
张可尊：kezun.zkz@antgroup.com
陈玉博：yubo.chen@nlpr.ia.ac.cn
任务九：面向数字商务的知识图谱评测
任务描述：阿里巴巴商品数据规模庞大，商品知识图谱为海量异构的商品数据的组织、管理和利用提供了有效的方式。商品数据模态丰富，动态性高，数据存在噪声，这些都对商品的认知和理解带来了巨大挑战。2022年1月 ，阿里巴巴联合浙江大学等单位发布首个数字商业开放知识图谱AliOpenKG: http://kg.alibaba.com。以该开放图谱数据集为基础，在CCKS2022大会组织本次评测任务。首批评测包括三个子任务：商品常识知识显著性推理、基于知识图谱的商品同款挖掘、多模态商品知识图谱链接预测，三个评测任务具体内容在下面章节介绍。本次评测将依托阿里巴巴天池平台（https://tianchi.aliyun.com/）展开，并将持续维护和新增更多的评测任务，请有意向的参赛队伍请关注平台上的竞赛列表。
评测地址：
评测奖励：
每个子任务总奖金共31000元，奖金设置如下：
第一名：人民币10000元，1名
第二名：人民币6000元，2名
第三名：人民币3000元，3名
备注：比赛优胜者同时有机会进入阿里巴巴校园招聘的优招通道。
任务组织者：
陈辉 （阿里巴巴）
黎洲波 （浙江大学）
姚云志 （浙江大学）
王成名 （阿里巴巴）
包友军 （阿里巴巴）
王狄烽 （阿里巴巴）
屈垠岑 （阿里巴巴）
陈漠沙 （阿里巴巴）
许泽众 （浙江大学）
耿玉霞 （浙江大学）
张文 （浙江大学）
任务联系人：
钉钉群：34165350
王成名：aliopenkg@service.alibaba.com
屈垠岑：aliopenkg@service.alibaba.com
陈辉： aliopenkg@service.alibaba.com
黎洲波：zhoubo.li@zju.edu.cn
任务十：面向金融领域的因果事件要素抽取及事件相似度计算
任务描述：金融领域知识图谱和事件图谱可以支持智能投顾、风险管控等众多业务场景，而事件抽取及事件对齐是知识图谱、事件图谱构建的重要环节。
本任务旨在从海量财经新闻中抽取因果事件并补齐相关事件要素，并将相同的事件聚合到一起。具体任务为因果事件要素的抽取，目标是继因果关系抽取后，从因果事件所在篇章抽取原因事件要素和结果事件要素。
评测奖励：
本次任务总奖金5万元，每个子任务2.5万元，具体分配如下：
第一名（1支队伍）：人民币15000元
第二名（1支队伍）：人民币5000元
第三名（2支队伍）：人民币2500元
任务组织者:
边雯皓（NEC中国研究院）
冯璐 （NEC中国研究院）
丁效 （哈尔滨工业大学）
高靖龙（哈尔滨工业大学）
任务联系人:
边雯皓：bian_wenhao@nec.cn
高靖龙：jlgao@ir.hit.edu.cn
任务十一：金融NL2SQL评测任务
任务描述:随着金融机构数智化转型，企业内部数据正急剧增长。一方面，这些数据作为金融机构核心资产，能大大提高企业的运作效率；另一方面，数据也正在成为幸福的烦恼，在金融领域，投研人员、投资经理、运营人员和投资者都苦于如何快速精准地查找需要的数据。传统匹配方法在覆盖度、准确性、可迁移性等方面难以满足需求。
自然语言转SQL（NL2SQL）方法设想自动将自然语言问句转化为SQL查询，从而实现精准数据问答。现有NL2SQL数据和方法主要关注“封闭场景指定库/表”设定，这很难满足业务范围动态发展的需求。从领域特性来看，金融数据多为时间序列，包括日频行情、季频财报、年度GDP、不定期股票质押解质押等，这种复杂性无疑会增大问题转SQL难度。考虑到垂直领域知识可能有助于构建可迁移系统，我们将开放金融股票、基金、宏观等场景结构化表格及相关知识，希望和社区共同努力推动垂直领域下NL2SQL技术发展。
评测奖励：
恒生提供30000元奖金，奖励评测结果优异的团队，具体设置如下：
第一名：15000元
第二名：10000元
第三名：5000元
创新奖：5000元 （没有名次限制，由学会提供）
任务组织者:
林金曙：linjs13607@hundsun.com
娄东方：loudf24454@hundsun.com
张少杰：zhangsj41876@hundsun.com
主题四：军事知识图谱
任务十二：开源多模态军事装备数据的事件要素抽取
任务描述：在“信息爆炸”的时代，不同来源的装备数据呈显著增长趋势，尤其是互联网公开来源的文本、图像等多模态内容的蓬勃增长，使得装备数据已逐渐成为装备需求论证中重要的资源和依据。然而，相关论证人员在面对这些海量的装备数据时，却无法高效地从中获取关键知识，从而也无法依据数据指导装备论证工作。通过调研分析发现，导致装备数据中价值信息没有充分利用的首要问题是，这些数据缺乏有效的组织结构与直观形象的使用方式，没有形成相应的装备知识体系，难以进行深层次的数据分析与面向典型论证场景的应用。
为此，我们组织本次评测任务，探索如何从互联网公开的多模态军事装备数据中抽取相关事件类型及事件要素，为装备需求论证提供更具条理性的信息，让用户尽可能地发现适用于装备需求论证的知识及其运用模式。
评测奖励：
第一名：8000元
第二名：4000元
第三名：3000元
技术创新奖：5000元
备注：最多有一个队伍获得技术创新奖，技术创新奖和前三名可以兼得
任务组织者：
韩君妹（复杂系统仿真总体重点实验室）
姜 巍（中国电子科技集团公司信息科学研究院）
任务联系人：
李乃鹏：lnp0906@163.com
王 歌：wzggtang@163.com
任务十三：外军无人系统知识图谱构建评测任务
任务描述: 无人系统已成为现代军事力量的重要组成，在各类军事行动中发挥着日趋重要的作用。军事垂直领域知识图谱的构建，受到数据、领域知识、构建技术三方面因素影响。当前，外军无人系统公开数据普遍缺乏权威性和精准性，导致构建的图谱“难以保障严肃分析任务、难以服务实际业务系统、难以嵌入各类应用框架”。本次评测任务，组织方着重提供权威、精准数据以及部分领域知识，数据覆盖陆、海、空、天、潜等各类型无人系统，包含背景、技术、性能、基础、作战等信息，支持参赛队专注于图谱构建实践工作，进而促进技术交流进步、遴选合作团队，推动军事垂直领域知识图谱落地见效。
评测奖励:
任务共提供3.5万元奖金给获奖团队，奖励4支队伍
第一名：12,000元
第二名：10,000元
第三名： 8,000元
创新奖： 5,000元
任务组织者：
张 静 （军事科学院系统工程研究院）
任务联系人：
栾瑞鹏：lrp_ph@163.com
主题五：知识存储
任务十四：基于图数据库的自定义图分析算法评测
任务描述：知识图谱本质是基于图的语义网络，而图数据库又是以图模式存储管理数据，因此图数据库用于存储知识图谱数据具有得天独厚的优势。
通过在知识图谱上进行查询、分析、推理是实现知识图谱应用的关键核心技术，而反映到图数据库上则是基于图数据库上的图查询与图分析。BFS和DFS是图数据库最核心的算法之一，基于此之上，众多学者针对不同需求设计了衍一系列的图查询与图分析算法，如PageRank、三角形计数、环路检测等，且设计了不同变种算法。但遗憾的是，传统的图数据库查询语言并不完全内置了这些算法，如SPARQL，Gremlin等。
因此，通过本次测评将这些图查询和图分析经典算法进行实现并在图数据库中进行验证，对于检验算法有效性和实用性具有重要意义。
评测地址：在线报名通道正式开启，请通过点击链接或扫描下方二维码填写报名信息，欢迎大家踊跃报名参赛！
https://www.wjx.top/vm/Yb1Z8kN.aspx
评测奖励：
第一名: 10000
第二名: 5000
第三名: 2500
技术创新奖2500，同时排名前三队伍将获授精美参赛奖牌、证书。
任务组织者：
邹 磊 （北京大学王选计算机研究所） zoulei@pku.edu.cn
李文杰 （北京大学重庆大数据研究院） liwenjiehn@pku.edu.cn
王 剑 （北京大学重庆大数据研究院） jian.wang@cqbdri.pku.edu.cn