开发基于乳腺超声人工智能的移动终端应用软件：DeepBC

　　乳腺癌是全球女性最常见的恶性肿瘤，同时是女性恶性肿瘤相关死亡的主要原因，中国女性乳腺癌发病总人数已超过肺癌而成为第1位的恶性肿瘤，2020 年大约新发 230 万，在发展中国家推广恶性肿瘤预防措施并提供恶性肿瘤诊疗而建立可持续基础设施的努力对于全球恶性肿瘤至关重要[]。乳腺 X 射线筛查被证实能有效降低乳腺癌病死率[]。世界各国都有自己的筛查方案，多以乳腺 X 射线检查作为首要筛查方式[]。目前我国已开展多项探索乳腺癌筛查方案的临床研究及卫生经济学评价[-]。超声检查不受时空限制，操作方便、快捷、灵敏度高，在中国的广大基层医院使用范围更广，是我国妇女“两癌筛查”中乳腺癌的首选检查[-]。近年来人工智能技术在医疗中的应用越来越广泛，生物医学大数据正尝试完整刻画生命系统。将人工智能医疗融合发展落到实处，旨在通过人工智能与医疗产业的深度融合，进一步提升医疗服务效率，普惠广大患者。目前人工智能与乳腺影像学的融合发展集中在乳腺 X 射线检查，主要原因是该领域拥有公开的乳腺 X 射线数据集可供所有研究者使用，而乳腺超声没有公开数据集。互联网时代的到来，尤其是 5G 通讯技术的普及，智能手机有望成为“我的医生”。“我的医生”可能是一位医生或一群医生或者是人工智能医生来协助人们管理健康，实现健康中国的愿景[]。本研究开发的“乳腺超声人工智能终端应用软件 DeepBC”，旨在为了服务于大众，让更多的乳腺癌患者能够不受时间及空间地接受早期诊断。

　　在四川大学华西医院（简称“我院”）医院信息系统（HIS ）收集乳腺外科 2018 年 1 月至 2019 年 4 月期间行乳腺癌手术患者的超声电子图像。从超声报告中获取患者年龄、就诊医院、超声仪器及型号信息。根据患者的住院号在我院病理系统中查询完整的病理记录报告，包括：浸润性癌、导管原位癌、其他类型乳腺癌、纤维腺瘤、导管内乳头状瘤、叶状肿瘤、其他类型良性肿瘤等多种病理类型。将病理报告中的浸润性癌和导管原位癌、其他类型乳腺癌定义为恶性，其余定义为非恶性。

　　DeepBC 模型的研究是使用神经网络深度学习算法对乳腺超声电子图像进行训练及测试，以探索人工智能根据乳腺超声电子图像识别占位病变的恶性与非恶性。将所有的乳腺超声电子图像以 4∶1 的比例和等距随机抽样原则将收集的数据划分为训练集和测试集。具体方法为：每间隔 4 幅图抽取 1 幅图作为测试集图片，其余图片均作为训练集。训练集用于训练以建立 DeepBC 模型，测试集用于测试该模型的性能。

　　经过前期试验得到 DeepBC 模型，将此模型在移动终端上转化为可视化应用，在构建该可视化应用时主要涉及 3 个模块，以适应多种条件下的超声电子图像的识别。

　　此模块负责用户超声报告的上传界面及诊断结果反馈界面的呈现。

　　此模块运用先进的图像分割处理技术来自动识别及裁剪每张彩超报告中的多个超声图像，同时进行图像预处理以及诊断结果的结构化整合与返回。

　　此模块为系统的核心模块。首先，负责对用户上传的超声图像进行识别，将每一个具体的超声图像从超声图文报告中分割出来，对分割出来的每一张图片进行诊断，先判断其是否为乳腺部位的彩超图像，若是则判断是否含有恶性病变；若截取的图像非乳腺图像但如超声报告中同时含有乳腺、腋窝、腹部、妇科等检查图像时则不会对此图像进行诊断，该模块只诊断仅含有乳腺组织的图像。然后，运用下列 3 个模块进一步提升模型性能：① 图像重构模块。使用先进的神经网络技术对手机拍照上传的图像进行降噪、色彩平衡、弹性形变复原等处理，以降低拍照过程带来的影响并提高图片质量。此模块接收拍照图像作为输入，采用特征编码、调码、解码三级结构，先对图像的本质特征进行提取，过滤掉光照、阴影等无用信息，只保留用于诊断的信息；然后使用多组残差网络模块对提取出的特征进行微调，进一步调整其细节；最后，有别于常用的转置卷积网络，我们采用上采样算法配合小数步长卷积来重构高清图像，可以有效解决转置卷积网络生成图像的棋盘效应并还原更多的细节。② 图像分类模块。使用深度卷积神经网络配合创新的区域增强机制和多模型融合机制对乳腺彩超图像进行诊断，可以识别出彩超图像中的恶性病变与实性占位（准确率高达 95%）。此模块接收图像重构模块重构后的图像作为输入，采用多尺度的卷积核提取不同维度的特征并结合残差模块构建一个 137 层的深度卷积神经网络进行分类。在 DeepBC 模型的最后采用均值池化和卷积核为 1 的卷积层进行降维，然后输出分类结果。③ 防漏诊模块。基于生成对抗网络架构，使用神经网络技术捕获数据分布与 DeepBC 模型分布中的异常信息，对分类模块的结果进一步校验，以减少图像分类模块的工作失误，从而有效降低假阴性率。防漏诊模块使用图像分类模块提取出的特征进行训练，分别对真阴性、真阳性、假阴性、假阳性4类数据的分布进行模拟并训练网络对这4类数据进行识别，旨在对分类模块运行时的异常进行检测来识别出误分类样本，进一步降低假阴性率。

　　采用 SPSS 25.0 统计分析软件绘制受试者操作特征（ROC）曲线并计算其曲线下面积（area under the ROC curve，AUC），从而评估 DeepBC 模型的预测效能。当 AUC 为 0.85～1.00 时则表示预测效果很好，当 AUC 为 0.70～0.85 时则表示预测效果一般，当 AUC 为 0.50～0.70 时则表示预测效果较低，当 AUC 为 0.50时认为模型没有预测价值。以病理诊断结果为金标准，将 DeepBC 模型的预测值及实际病理诊断结果记录在混淆矩阵中。分类资料采用“例数”的形式描述，计算 DeepBC 模型鉴别占位病变恶性与非恶性的准确度、灵敏度、特异度、假阳性率和假阴性率。检验水准 α=0.05。

　　本研究共收集到超声电子图像 4 128 幅，其中训练集 3 302 幅，测试集 826 幅。在测试集中，DeepBC模型对超声图像进行恶性与非恶性的预测结果与其对应的病理诊断结果见。DeepBC 模型识别乳腺超声图像中占位病变为恶性与非恶性的准确度、灵敏度、特异度、假阳性率和假阴性率分别为 93.70%（774/826）、93.10%（297/319）、94.08%（477/507）、5.92%（30/507）、6.90%（22/319），同时绘制 ROC 曲线图（）得出其最佳临界值为 92.31%，其 AUC 为 0.987。

　　本研究团队将研究成果以“DeepBC”这个名称在微信端申请公众号，这是我国首个基于移动互联网的、使用手机微信平台进行乳腺癌超声图像智能辅助诊断的系统，上线试运行以来，已有 1 万人次参与使用，3 万幅乳腺超声图像上传诊断。见 DeepBC 可以对患者上传的乳腺彩超图像的特征进行有效提取并提高计算效率。手机端各模块独立运行，层层递进，最终做到手机端强大功能的同时拥有简洁界面，见。乳腺超声人工智能移动终端 DeepBC 的首页界面（）中患者可将手机中电子超声图像进行上传，该界面有明确提示说明；对所有仅含有乳腺部位的超声图像实时诊断并反馈，提示单张超声图像倾向恶性与非恶性的风险值并对恶性高风险图像标红提醒（）；对上传的超声图像诊断后将反馈一张结论报告，以便患方查阅、保存（）。

　　随着科技发展、医疗信息逐步电子化及网络化，患者咨询病情可以不需要移步至医院各科室即可先期获取报告，然后再通过多渠道问诊。医院可将电子报告实时发送到患方手机端，方便存储，减少人力及财力的支出，缩短就诊时间，改善就医环境及体验。在可接受的容错范围内，行超声检查的医院可将“超声智能辅助诊断系统”开放给患者，患者在基层医院行乳腺超声检查后在未获得上级医院就诊前，患者主动通过“超声智能辅助诊断系统”获取诊断咨询，改变了患者获得高质量乳腺超声诊断信息的模式和体验，让在基层医院接受诊疗的患者也能获得同于乳腺专科医生的诊断意见，为高风险人群提供警示，减少延迟就诊。在国民越来越关注自身健康的背景下，“超声智能辅助诊断系统”帮助人群建立乳腺健康主动管理意识，促进了国民更加主动、持续地进行健康管理，实现“以治病为中心”到以“健康为中心”的思维转变，实现个体自我健康管理的需要，有助于实现群体乳腺癌早诊率的提升。患者行乳腺超声检查后，亟需进行后续就诊咨询，为了满足患者能够不受时间、空间限制地实时上传报告诊断。本研究基于前期工作，开发了手机移动终端应用软件。

　　国内因为高质量医疗数据的难以企及，开展人工智能与医学的融合研究尚在起步阶段。人工智能在乳腺 X 射线领域的研究较早，主要原因是该领域拥有公开数据库，其中包括乳腺光数字乳腺图像数据库 DDSM[]、全视野数字乳腺 X 射线摄影数据集 FFDM[]及乳腺 X 射线图像分析协会数据集 MIAS[]。探索人工智能在乳腺超声领域的研究相对较少。Han 等[]利用 GoogLeNet[]网络，基于医院 5 151 例患者共 7 408 幅超声乳腺图像建立模型，包括 4 254 幅良性图像，3 154 幅恶性图像，HAN 模型拥有人工智能在超声图像领域可查询到的最大样本量，模型在自身数据中进行图像良、恶性二分类倾向性诊断任务的性能较高，其准确度为 90%，灵敏度为 86%，特异度为 96%。目前人工智能在超声图像上已实现病灶形态、纵横比例、边界、内部回声、后方回声衰减情况、钙化等特征信息报告[]。目前国内外尚无多中心、标准一致、标注信息统一的公共数据库，超声图像主观且不可复制的图像特点[]限制了人工智能在乳腺超声领域的发展。现有人工智能在超声图像领域的研究多基于单中心、小样本的图像集。只有具备大量、优质的数据原料，人工智能才有实现诊断价值的可行性。DeepBC 是以中国女性为基础的研究且单体数据量大，每一份超声图像均参照对应的病理结果进行了精准的标注，优质的建模数据为 DeepBC 的高准确度和可应用性提供了基础。

　　三星麦迪逊公司在超声设备上嫁接了具有高稳定性、高准确度的乳腺智能识别系统S-DetectTM[]，用以减少超声医生的测量及诊断工作，提高超声医生的诊断同质化水平。但目前国际和国内均无针对患者应用的软件及程序。DeepBC 将乳腺超声人工智能模型转化为移动终端应用的研究，已在微信端上线试运行 3 万余次。DeepBC 诊断系统普适性佳、泛化能力强、界面简洁，操作时间短（5～6 s 完成）且无需人工标注兴趣点，可全自动完成超声图像识别。随着互联网的加持，智能辅助诊断系统充分适应从医生到患者、从手机到超声设备、从中心城市到偏远地区、从医院到社区医疗等各种应用场景。超声医学与大数据及人工智能持续地融合发展，让医院、医生和需检个体三方均可从人工智能超声辅助诊断系统中获益，提升医疗、健康服务和管理的质量与效率，颠覆传统医学教育模式，应用场景不受时间和空间的限制。

　　目前人工智能正在从实验室研究走向转化应用，已广泛应用于疾病筛查、辅助诊疗、医学影像、医疗机器人等领域，但其在带来高效、精准、便捷服务的同时也引发了一些伦理问题，如数据泄露、医疗安全、责任界定、公平受益、医务人员的未来定位、患者信任[]。在分析以上这些问题的同时尝试着提出应对建议：包括遵循伦理原则，细化伦理规范；制定法律法规，厘清责任权属；严格技术标准，确保医疗安全；加强数据管理，保护患者隐私；坚持医为主体，注重人文关怀；加强宣传教育，提升患者信任等，以促进医疗人工智能健康发展。

　　医学成像是个复杂的过程。成像过程中，不可避免的噪声、伪影以及待成像目标的不自主运动会降低成像的质量。在人工智能辅助诊断系统构建中，规范成像质量有助于提升诊断系统的整体效能，但是这可能会限制诊断系统的泛化能力，因为在现实情况下，不同设备、不同的医院和研究机构以及不同疾病和患者个体都会存在一定的差异性，这也是研究领域呼吁多中心、跨数据库进行算法验证的原因[]。超声检查很大程度依赖于检查医生的水平，与图像的辨认有关，本研究只针对已采集的超声图像进行识别，所以无论是医生还是患者，在使用时均需知晓人工智能目前只能承担辅助判断的作用，最终诊断及决策还是由医生掌握，且目前研究还不能实现对超声检测的动态过程进行识别，不过随着后续数据的累积，计算机对数据处理的速度增快，是有望实现对超声检测动态过程进行识别的。

　　总之，本研究基于乳腺超声人工智能识别乳腺超声图像模型开发了手机移动终端应用软件，寄希望通过服务大众，让更多的乳腺癌患者能够不受时间和空间限制地接受早期诊断。

　　重要声明

　　利益冲突声明：本文全体作者阅读并理解了《中国普外基础与临床杂志》的政策声明，我们没有相互竞争的利益。

　　作者贡献声明：陈瑶主要负责数据提取、统计分析、文章主体撰写以及投稿工作；戚晓峰主要负责模型构建以及相应部分论文的撰写工作；吕青主要负责提出文章思路及文章修改。

　　伦理声明：本研究通过了四川大学华西医院生物医学伦理审查委员会审批［批文编号：2019 年审（1018）号］。