FLAT:中文NER屠榜之作!复旦大学邱锡鹏团队出品
作者 | JayLou娄杰
近年来,引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。
如上图所示,在MSRA-NER任务中,FLAT+BERT登顶榜首;而单独的FLAT(1层TransFormer)也超越了预训练模型ERNIE。相比于之前引入词汇信息的中文NER工作,FLAT主要创新点在于:
基于Transformer设计了一种巧妙position encoding来融合Lattice结构,可以无损的引入词汇信息。基于Transformer融合了词汇信息的动态结构,支持并行化计算,可以大幅提升推断速度。下面让我们看看FLAT是如何登顶榜首的~
论文链接:https://arxiv.org/pdf/2004.11795.pdf
开源代码:https://github.com/LeeSureman/Flat-Lattice-Transformer
1
背景
中文NER为什么要引入词汇信息?
不同于英文NER,中文NER通常以字符为单位进行序列标注建模。这主要是由于中文分词存在误差,导致基于字符通常要好于基于词汇(经过分词)的序列标注建模方法。
那中文NER是不是就不需要词汇信息呢?答案当然是否定的。引入词汇信息的好处在于:
引入词汇信息往往可以强化实体边界,特别是对于span较长的实体边界更加有效。引入词汇信息也是一种增强方式。对于NLP分类任务增益明显的数据增强方法,往往不能直接应用于NER任务,并且指标增益也极为有限。相反,引入词汇信息的增强方式对于小样本下的中文NER增益明显。下文将引入词汇信息增强中文NER性能的方法称为词汇增强。
词汇增强的方式有哪些?
词向量&词汇列表:利用一个具备良好分词结果的词向量;亦或者不再利用词向量,仅利用词汇或者实体边界信息,通常可通过图网络提取相关信息。这种增强方式,主要有2大范式:Dynamic Architecture:设计一个动态抽取框架,能够兼容词汇输入;本文所介绍的FLAT就属于这一范式。Adaptive Embedding:基于词汇信息,构建自适应Embedding;与模型框架无关。ACL2020中的 Simplify the Usage of Lexicon in Chinese NER[1] 就属于这一范式,仅仅在embedding层融合词汇信息,对于词汇信息的引入更加简单有效,采取静态加权的方法可以提前离线计算。分词器:单一的分词器会造成边界错误,可以引入多源分词器并pooling不同分词结果。ACL2020中有篇处理中文预训练的文章[2]就将多种分词结果中词汇信息pooling对齐到字符编码中。如何在中文NER模型中引入词汇信息,是近年来中文NER的一个研究重点。下图展示了各大顶会中词汇增强NER的主要进展:
由于篇幅所限,本文将包含FLAT在内多种词汇增强方式进行了对比,感兴趣的同学可以进一步阅读有关文献。
2
Lattice LSTM
要想更系统的理解FLAT,就必须掌握Lattice LSTM[3]这篇论文,这是针对中文NER任务引入词汇信息的开篇之作。文中提出了一种Lattice LSTM用于融合词汇信息。如下图所示,当我们通过词汇信息(词典)匹配一个句子时,可以获得一个类似Lattice的结构。
Lattice是一个有向无环图,词汇的开始和结束字符决定了格子位置。Lattice LSTM结构则融合了词汇信息到原生的LSTM中:
如上图所示,Lattice LSTM引入了word cell结构,对于当前的字符,融合以该字符结束的所有word信息,如「店」融合了「人和药店」和「药店」的信息。对于每一个字符,Lattice LSTM采取注意力机制去融合个数可变的word cell单元,其主要的数学形式化表达为:
本文不再堆砌繁杂的数学公式,具体看参考原论文。需要指出的是,当前字符有词汇融入时,则采取上述公式进行计算;如当前字符没有词汇时,则采取原生的LSTM进行计算。虽然Lattice LSTM有效提升了NER性能,但也存在一些缺点:
信息损失:每个字符只能获取以它为结尾的词汇信息。如对于「药」,并无法获得‘inside’的「人和药店」信息。由于RNN特性,采取BiLSTM时其前向和后向的词汇信息不能共享。Lattice LSTM并没有利用前一时刻的记忆向量 ,即不保留对词汇信息的持续记忆。计算性能低下,不能batch并行化:究其原因主要是每个字符之间的增加word cell(看作节点)数目不一致;不过,后续也有工作[4] 将Lattice LSTM进行batch化。可迁移性差:只适配于LSTM,不具备向其他网络迁移的特性。3
FLAT
由上文分析,Lattice-LSTM采取的RNN结构无法捕捉长距离依赖,同时引入词汇信息是有损的,同时动态的Lattice结构也不能充分进行GPU并行。
此外,有一类图网络(如CGN[5] 和LGN[6])通过采取图网络来引入词汇信息,虽然可以捕捉对于NER任务至关重要的顺序结构,但它们通常需要RNN作为底层编码器来捕捉顺序性,模型结构更为复杂。
为解决计算效率低下、引入词汇信息有损的这两个问题,FLAT基于Transformer结构进行了两大改进:
改进1:Flat-Lattice Transformer,无损引入词汇信息
众所周知,Transformer采取全连接的自注意力机制可以很好捕捉长距离依赖,由于自注意力机制对位置是无偏的,因此Transformer引入位置向量来保持位置信息。
受到位置向量表征的启发,FLAT设计了一种巧妙position encoding来融合Lattice 结构,具体地情况如上图所示,对于每一个字符和词汇都构建两个head position encoding 和tail position encoding,这种方式可以重构原有的Lattice结构。
也正是如此,FLAT可以直接建模字符与所有匹配的词汇信息间的交互,例如,字符[药]可以匹配词汇[人和药店]和[药店]。
因此,我们可以将Lattice结构展平,将其从一个有向无环图展平为一个平面的Flat-Lattice Transformer结构,由多个span构成:每个字符的head和tail是相同的,每个词汇的head和tail是skipped的,如下图所示:
改进2:相对位置编码,让Transformer适用NER任务
FLAT使用了两个位置编码(head position encoding 和 tail position encoding),那么是否可以采用绝对位置编码呢?同样来自邱锡鹏老师组的论文TENER: Adapting Transformer Encoder for Named Entity Recognition [7]给出答案:原生Transformer中的绝对位置编码并不直接适用于NER任务。
TENER论文发现:对于NER任务来说,位置和方向信息是十分重要的。如上图所示,在「Inc.」前的单词更可能的实体类型是「ORG」,在「in」后的单词更可能为时间或地点。而对于方向性的感知会帮助单词识别其邻居是否构成一个连续的实体Span。可见,对于「距离」和「方向性」的感知对于Transformer适用于NER任务至关重要。
但是,原生Transformer的绝对位置编码本身缺乏方向性,虽然具备距离感知,但还是被self-attention机制打破了。
仔细分析,BiLSTM在NER任务上的成功,一个关键就是BiLSTM能够区分其上下文信息的方向性,来自左边还是右边。而对于Transformer,其区分上下文信息的方向性是困难的。因此,要想解决Transformer对于NER任务表现不佳的问题,必须提升Transformer的位置感知和方向感知。
因此,FLAT这篇论文采取XLNet论文中提出相对位置编码计算attention score:
(向右滑动查看完整公式)
论文提出四种相对距离表示和 之间的关系,同时也包含字符和词汇之间的关系:
表示 的head到 的head距离,其余类似。相对位置encoding表达式为:
(向右滑动查看完整公式)
的计算方式与vanilla Transformer相同:
4
实验结果
上图给出了论文的实验结果,具体地讲:
引入词汇信息的方法,都相较于baseline模型biLSTM+CRF有较大提升。可见引入词汇信息可以有效提升中文NER性能。采用相同词表(词向量)时,FLAT好于其他词汇增强方法;FLAT如果mask字符与词汇间的attention,性能下降明显,这表明FLAT有利于捕捉长距离依赖。FLAT结合BERT效果会更佳。
如上图所示,在推断速度方面,FLAT论文也与其他方法进行了对比,FLAT仅仅采用1层Transformer,在指标领先的同时、推断速度也明显优于其他方法。
5
总结
近年来,针对中文NER如何更好地引入词汇信息,无论是Dynamic Architecture还是Adaptive Embedding,这些方法的出发点无外于两个关键点:
如何更充分的利用词汇信息、最大程度避免词汇信息损失;如何设计更为兼容词汇的Architecture,加快推断速度;FLAT就是对上述两个关键点的集中体现:FLAT不去设计或改变原生编码结构,设计巧妙的位置向量就融合了词汇信息,既做到了信息无损,也大大加快了推断速度。
本文介绍的词汇增强方式不仅应用于中文NER任务,也可进一步探索其在关系抽取、事件抽取中的有效性。
参考文献
[1] Simplify the Usage of Lexicon in Chinese NER:
https://arxiv.org/abs/1908.05969[2] Enhancing Pre-trained Chinese Character Representation with Word-aligned Attention:https://arxiv.org/abs/1911.02821[3] Chinese NER Using Lattice LSTM:https://arxiv.org/pdf/1805.02023.pdf[4] Batch_Parallel_LatticeLSTM:https://github.com/LeeSureman/Batch_Parallel_LatticeLSTM[5] Leverage Lexical Knowledge for Chinese Named Entity Recognition via Collaborative Graph Network:https://www.aclweb.org/anthology/D19-1396.pdf[6] A Lexicon-Based Graph Neural Network for Chinese NER:https://www.aclweb.org/anthology/D19-1096.pdf[7] TENER: Adapting Transformer Encoder for Named Entity Recognition:https://arxiv.org/abs/1911.04474
举报/反馈
上一篇:“把青春书写在祖国大地上”山大马院五位校友返校分享工作事迹
下一篇:7月19日下午开始提前批录取!2022年海南中招录取批次及时间公布
最近更新网络教育
- 改善医疗服务 北京今年推出45个医务社工多元培育服务项目
- 德易车金融促成服务,让你不再与心爱的汽车失之交臂
- 华东院青年工程师参与第三届“问道自然”杯职业技能展示大赛载誉而归
- 成人高考没毕业有证书吗 学历作用
- 电大和夜大是什么教学方式呢
- 【引央企 有“冀”策】落户一家央企 壮大一个产业
- “艺·智”讲堂|人文讲堂(第十季第二讲):对联的智慧——例谈创作实践
- 台州市高层次人才交友联谊活动等你来报名!
- 截至9月末 那曲金融机构累计投放绿色贷款4.74亿
- 美媒将30队中锋分6档:火箭申京倒数 湖人浓眉2档 两人共享第1档
- 郑州都市圈致力打造辐射全国、链接全球的中部地区开放高地
- 与冠军同行扬体育精神:执信中学校运会冒雨竞技
- 广州高三要考体育!成绩将影响毕业,选卓越教育高考学校冲刺备考
- 朕匜,人类最古老的法律萌兽——文物里的法律故事①
- 昌乐一中在昌乐县2023年教职工乒乓球比赛中勇夺桂冠
- 凝心聚力 助推医疗保障高质量发展
- “学校家庭社会协同育人”城市模型在山东潍坊发布
- 答应我!金秋有龙江高校才最美!
- 从“网络靶场”驶过 :智能网联车安全测试方法论
- 教育优质均衡发展丨大冶市实验中学教联体让农村课堂“活”起来
- 学法减分20题库及答案,20题库及答案速成,轻松通过学法减分!
- 海外归国青年教师暨第七期骨干教师国情教育研修班顺利开班
- 市域产教联合体助力技术攻关
- 雅思口语历史人物话题
- 【政策解读】加格达奇区民政局惠民惠农财政补贴资金社会保障卡“一卡通”发放政策解读