传统疾病诊疗模式瓶颈凸显， 多模态融合的医学人工智能发展势在必行！

众所周知，恶性肿瘤、心脑血管病、致盲性眼病、重大流行病是威胁我国人民生命健康的主要原因，显著提升其防控水平和诊疗效果，是健康中国的战略要求，人民群众的核心关切。

传统疾病诊疗模式较为依赖医生个体经验，标准化难、可及性不足。人工智能可量化分析高维海量临床大数据，是助力解决以上临床问题的有效手段。现有的人工智能辅诊和预测系统也有一定的局限性。如：单模态模型泛化性差、多模态融合效果不理想、跨病种迁移性不强、数据标注负荷量大、全流程覆盖范围较窄等问题，导致医学人工智能距离实际落地还有一段距离。因此，研发基于多模态融合的医学人工智能预测和辅诊新系统势在必行。

神州医疗携手南方医院，推荐广东省重点研发计划医疗人工智能项目

由南方医科大学南方医院牵头，产学研联合，共同承担广东省重点领域研发计划“新一代人工智能”重大专项“基于多模态融合的医学人工智能集成预测和辅诊建模方法及应用研究”项目。自立项以来，各研究团队快速推进相关研究工作，已取得阶段性进展。

项目汇聚北京协和医院、四川大学华西医院、中国医学科学院肿瘤医院、广东省人民医院等共9家国内知名医院、高校和优秀企业。旨在完成肿瘤与重大疾病多模态融合AI辅诊和预测系统两大落地目标，实现人工智能辅助诊疗“新技术”、“新模式”、“新标准”，突破现有临床诊疗的关键问题。项目成员均来自临床研究、AI技术、大数据、产品研发等多领域专家，优势互补、强强联合，有丰富的承担国家科技部医学人工智能重大专项的经验知识。

近日，广东省科技厅、广东省科学技术情报研究所，以及项目各课题承担单位、技术专家等各项目组成员云上相聚，汇报相关项目进展工作。项目负责人、南方医院副院长李国新分享了项目背景、规划、进展与意义。各课题负责人及参与单位核心成员分别介绍了相关工作基础、项目当前进展和未来工作计划等。

“AI+大数据”双驱动，推动临床医学模式新范式

作为国内医疗大数据和人工智能的积极推动者，神州医疗承担了课题二“基于无监督、半监督学习的数据高效标注与治理”研究工作和课题五“人工智能集成预测和辅诊建模系统的验证与应用”的技术支持工作，致力于推动临床医学模式由经验依赖型向AI辅助型的范式变革，助力提升重大疾病的诊疗效果。

日益增长的医疗数据给行业的发展带来了巨大的机遇和挑战，跨模态医疗数据的知识获取、治理和统一表示是医疗人工智能研究与应用的基础。然而，多模态的医疗数据可能是结构化、半结构化、非结构化、高通量或高维空间的数据，只有将这些多种类型的数据转化为计算机可以处理的结构化数据，才能对其进行科学研究或开展临床应用。

针对医疗数据应用中，传统人工标注和半自动标注方法不能很好地解决高效快速批量标注的难题和痛点，神州医疗基于无监督、半监督学习算法，构建医学多模态本体术语库和知识图谱，优化机器学习模型，反复迭代标注流程，预期开发出集文本数据标注系统、影像数据标注系统、病理数据标注系统于一体的多模态标注系统，最终实现多模态数据全自动治理。

目前，神州医疗已经完成文本数据智能标注的研发和平台应用，在影像数据标注上，正在进行肝脏及肝脏肿瘤智能分割的初步验证，下一步将进行模型优化，应用到影像组学特征提取模块。病理数据标注也取得了初步成果，后期会逐步增加标注数据进行无监督、半监督学习。

在多模态数据融合算法开发基础上，这些治理后的多模态特征数据，经过特征融合和模型训练后，将为后续课题提供研究基础，进一步开展基于多模态融合的多病种集成预测与辅助建模，从而助力完成项目目标——针对多模态融合医学人工智能集成预测和辅诊建模系统验证与应用。

推进医学技术创新，助力公立医院高质量发展

推进医学技术创新，加强基础和临床研究，推动原创性疾病预防诊断治疗新技术、新产品、新方案和新策略等的产出，不仅是落地先进技术创新应用场景的关键之举，也是推动公立医院高质量发展的题中之义。

期待南方医院医疗人工智能项目取得圆满成功，神州医疗也将持续发挥在医疗大数据和人工智能领域的深厚积累和核心优势，在推动医学信息学进步，推动医学科研，提升医疗效率方面不懈奋斗。