评测

News:

CCKS 2017评测论文集

评测结果及论文提交说明(链接)

评测竞赛通知(下载

评测竞赛CFP

一、任务简介

任务一:问题命名实体识别和链接

简称QEDL (Question Entity Discovery and Linking)。即对于给定的一组自然语言问题,识别并抽取出与领域相关的实体名称(mention),并将它们链接到给定知识库对应的实体(entity)。实体名称具有歧义性和变异性,也就是同一个实体名称,有可能指代多个实体,需要根据上下文消歧;此外,同一个实体可能有多个实体名称与之对应,比如别名,绰号,昵称等等,需要将这些所有的名称变种都识别出来。

任务一评测完整排名(LINK)

Top 5排名

1.  上海葡萄科技     0.804463337, 0.560042508

2.  iaso                    0.644385027, 0.452762923

3.  IIEIR                   0.617152962, 0.442086649

4.  广州索答            0.689618074, 0.441097364

5.  NiuKG_QEDL    0.648782911, 0.436164928

任务二:电子病历命名实体识别

简称CNER (Clinical Named Entity Recognition)。即对于给定的一组电子病历文档(纯文本文件),任务的目标是识别并抽取出与医学临床相关的实体名字(entity mention),并将它们归类到预先定义好的类别(pre-defined categories),比如疾病、症状、检查等。

任务二评测完整排名(LINK)

Top 5排名

1. HITSZ_ICRC
2. CognitiveMedicalNER
3. NiuKG_CNER
4. 大医浦济
5. wangqi

二、重要日期

  • 4月17日,发布任务描述及样例数据
  • 4月17日~5月20日,参评队伍报名
  • 5月5日,发布训练数据
  • 7月5日,发布测试数据
  • 7月7日,提交测试结果
  • 7月24日,公布评测结果
  • 8月6日,提交评测论文

三、评测主席