机器人已试点参与多次大规模考试 探索作文自动评分

　　科大讯飞方面告诉澎湃新闻，智能阅卷采用了基于深度神经网络学习的图文识别技术，已经达到人眼识别中英文手写字符相当的水平。该项技术应用于正式考试中，可以辅助人工阅卷，减少人员投入，降低人工阅卷中疲劳、情绪等因素的影响，进一步提升人工阅卷评分的效率、准确性和公平性，从而对整个产业产生极大的变革。

　　此外，通过该项技术，将全部考生作答试卷都进行电子化后生成的海量、准确的分析数据也为之后教与学的研究提供了有力素材，并且提供了未来可被良好应用的、与考试阅卷业务深度结合的突破点。比如，通过智能化的评分和批改加强与真实的课堂更好地结合。

　　“在做的大项目中有一些技术成果可以用于高考阅卷，但根本的目的是引入人工智能将阅卷推向3.0时代。”6月，科大讯飞轮值总裁吴晓如对澎湃新闻表示，“阅卷1.0时代是纸笔阅卷，2.0时代是在网上把人组织起来用机器自动评阅一些客观题，而在人工智能时代，已经可以开始对主观题进行自动评阅。”

　　机器批改主观题早不再是空想

　　一般考试中通常包含客观题和主观题两个部分。而在有了答题卡、扫描仪后，客观题全部可以由机器批阅。不仅阅卷速度大大提升，而且更加准确。

　　而自20世纪60年代以来，国外许多专家和学者就开始致力于主观题的机器阅卷技术研究，出现了各种不同的自动批改系统，例如美国的MBA、托福考试中就应用了E-rater系统。但这些系统大部分针对的都是第二语言作文，即非母语作文。但是，批阅学生用母语写的作文需要在更高层次，比如作文的文采、篇章的衔接、作文立意等方面做出评判。

　　到了2015年11月，科大讯飞的机器智能阅卷技术在安庆、合肥等地成功试点应用。经过对人机评分结果的分析，计算机在评分一致率、平均分差、相关度以及与仲裁分更接近的比例等指标方面都已达到或超过人工评分水平。这意味着，机器评阅主观题已不再是空想。

　　那么，对于没有客观标准答案的主观题，机器阅卷的原理和依据是什么？吴晓如解释，机器阅卷和人工阅卷的本质区别在于工作机理的差异。机器是通过统计、推理、判断来决策，这与人的思维方式不同。在阅卷过程中，机器采用智能学习的方式。通常一组专家评阅约500到1000份试卷后，机器就能学习到这一种试卷的评阅模式并形成一个模型。这种模型对其他试卷就可以形成有效的处理和覆盖，再根据该模型自动评阅其他试卷。

　　而对于度量标准则是，先推选一组公认阅卷水平较高的专家，把这一组专家对一组试卷给出的平均分作为一种相对标准。之后，把机器最后的测试结果、其他测试员测试的结果与专家的平均分比较。如果机器和专家给出平均分更接近、相关度更高，才认为机器评阅的结果达到预期。

　　“只有一种简单的或是标准化的测试模式实际上是非常容易作弊的，但从目前很多应用的结果来看，还没有一种办法能够很好地欺骗机器”，吴晓如说，“就像Alpha Go下围棋一样，并不是说找到一种客观、标准的套路就可以打败它。”