IEEE TMI 2025 | AI自建学习大纲的多实例多标签医学图像分析新框架 - 机器之心

作者丨论文团队

编辑丨ScienceAI

做自身免疫病检查的时候，医生要盯着一张张绿色的抗核抗体（ANA）免疫荧光显微图，一张图里上百个细胞、好几种发光模式掺在一起，只能靠经验慢慢看、慢慢判，很费时间也很考验人。现实中，医生通常只会在报告里勾一下“这张图有哪些模式”，而不会有空给每个小区域、每个细胞单独打标签，这就让很多 AI 方法“有心无力”，模型想学，但细粒度标注太贵、几乎拿不到。

近期，香港理工大学联合四川大学华西医院在国际医学图像顶级期刊 IEEE Transactions on Medical Imaging（IEEE TMI）上发表了最新成果：团队提出了一套只用“整张图的结果”，就能教会 AI 自动读抗核抗体（ANA）免疫荧光显微图的通用方法。

简单说，就是让 AI 自己学会三件事：先把大图切成很多小块，自动挑出“最有信息量”的那些，再在只知道“整张图有哪些模式”的前提下，倒推出每块图里大概出现了什么模式，最后给出整张图的多标签判断。这样一来，既不增加医生的标注负担，又能显著提升 ANA 自动判读的准确性，而且在其他多实例多标签的医学图像任务上，同样表现很好，有希望成为一套“通用套路”。

文章作者分别来自两所高校和一所临床医学院，包括江奕飏、钱光武、吴嘉欣、黄琪、李青、武永康、魏骁勇，其中魏骁勇教授为通讯作者。

代码链接：https://github.com/fletcherjiang/ANA-SelfPacedLearning

论文链接：https://ieeexplore.ieee.org/document/11269887

Arxiv链接：https://arxiv.org/abs/2511.21519

医生看 ANA 图，有多难？

ANA 是检查自身免疫性疾病的一种常规项目，做自身免疫病（比如红斑狼疮、干燥综合征、硬皮病）检查时，医生会做一个 ANA 检测，把病人的血清滴到细胞上，再加上会发绿光的二抗，最后在荧光显微镜下看，这会带来以下问题：

• 一张图里有很多细胞：不是一两个，是一大片视野；

• 可能同时有好几种“发光模式”：比如“均质+颗粒+核膜”混一起；

• 医生给的往往只有“整张图的结果”：比如勾选了几种模式，而不会告诉你“哪一块是哪种”。

对 AI 来说，这就像：老师只告诉你“这个班语文平均 85、数学平均 90”，但不告诉你“每个学生具体多少分”，还要你自己学会给每个学生估分，再总结出这班是什么水平。传统做法要么是把单个细胞抠出来，一个个分类（但和临床实际读片方式不太一样），要么假装“一张图只有一个标签”（现实中根本不是这样）。

基于这些问题，此工作的目的就是想实现：在“只知道整张图结果”的情况下，让 AI 自己学会从大图里挑出关键区域，并且搞懂有哪些模式、多重共存到什么程度。

图 1：抗核抗原（ANA）图像示例及多标签多实例挑战。

让 AI 像医生一样先“挑重点再下结论”

医生看片子的习惯其实很朴素，先扫一眼，心里有数：哪些区域是“信息量很大”的，哪些只是空背景或者随机噪音，聚焦在那些代表性的区域上，再综合判断整体有哪些模式。本文的框架就是把这个逻辑“程序化”， 把大图切成很多小块，让 AI 一边学模式，一边自己决定。哪些小块值得重点看，每块大概对应哪些模式，整个流程可以想象成三步走。

1. 把大图切成“小格子”

原始显微镜图不做花里胡哨的预处理，不抠单细胞，按网格直接切成一堆小块（patch），每个小块就是一个“实例”，一张大图，就是装满这些小块的“包”。 这样做的好处是：简单粗暴、贴近真实读片视野，也方便迁移到别的医学图像上。

1. 实例采样器：别把时间浪费在“水图”上

切完之后，小块很多，但价值不一样：有的小块是典型模式，信息量大，医生一看就说“就它了”；有的则是没多少细胞、甚至就是背景，基本白看；还有一些是好几种模式混在一起，比较难学。

因此团队给模型加了一个“小助手”名为实例采样器：在训练过程中，模型会给每个小块打一个“有用程度”的分数。分数高，说明“这个小块对学会某种模式很有帮助”；分数低，训练时就少看甚至直接忽略。通俗来讲就是 AI 自己学会“挑重点”。

有价值的题多做几遍，乱七八糟的题少浪费时间。这个机制可以让训练更快收敛、也更稳定，最终效果也更好。

图2：所提方法的整体框架示意图。首先将输入的 ANA 大图划分为多个局部小块，不同符号表示其中包含的不同 ANA 模式，由实例采样器结合可学习置信度选择代表性小块并送入 CNN。随后伪标签分配器利用整图标签和置信度生成连续伪标签，动态自步学习损失自适应强化可靠实例，最后将各子区域预测结果聚合，得到整图的多标签 ANA 判读结果。

1. 伪标签 + 自己控制学习节奏

只有“整张图的标签”还不够，模型从两个点切入。第一就是创建伪标签分配器，把大标签拆到小块上。医生只告诉这张图有“均质 + 颗粒 + 核膜，但实际上模型不知道：哪些小块是“纯均质”，哪些是“纯颗粒”，哪些是“啥也没有”。 伪标签分配器做的事情是：根据当前模型的预测，给每个小块、每个模式一个 0～1 的软标签。这些“伪标签”会在训练过程中不断更新，相当于模型在自己给自己补作业答案。

第二个就是自步学习：简单的先学，难的后学。如果一上来就把“混得一团糟”的小块塞给模型，很容易学崩。所以在损失函数里加入了一个“自我节奏”的设计：标签比较干净、模式清晰的小块：权重大一点，先学扎实；特别复杂、模式混得厉害的：一开始权重小一些，等模型基础扎实再慢慢加强它们的影响。

实验表现

在实验部分，团队首先基于真实临床工作流，与华西医院共同构建了一套大规模 ANA 图像数据集。数据全部来自实际检测过程中的原始显微镜大图，涵盖 8 种常见 ANA 荧光模式，同时保留了多种模式共存、图像质量参差不齐等“真实世界”问题。

在这一数据集上，将所提出的方法与多种主流 ANA 自动判读模型及通用多标签算法进行了系统对比，在多标签情形下的主要评价指标（如 F1、mAP 等）上均取得了更优的结果，尤其在一张图同时存在多种模式的复杂样本上表现更为突出。

图3：提出方法与各类 SOTA 方法在测试集上的实验结果。加粗表示该指标的最佳结果，标记 † 的模型为专门为 ANA 检测设计。

为了检验方法的通用性，团队进一步在 NuCLS、BCSS 和 PaNNuke 三个公开的多实例多标签病理图像数据集上进行了实验。

这些数据集涵盖乳腺癌全视野切片、语义分割任务以及跨多器官、多组织类型和多类细胞核的标注，基本保持同一套“切块 + 实例采样 + 伪标签分配 + 自步学习”的整体框架，仅做必要的适配，在多数评价指标上依然能与现有代表性方法相比取得领先或接近领先的结果。

这表明，所提出的思路不仅适用于 ANA 判读场景，也具备向其他多实例多标签医学影像任务推广的潜力。

图4：三个医学数据集上的对比结果（均值 ± 标准差）。带 ↑（↓）的指标数值越大（越小）性能越好；加粗为该指标最优结果，下划线为次优结果；N/A 表示在 72 小时内未得到结果。

不只看 ANA：走向更多医学影像场景

在整体上，这项工作立足于真实临床场景的核心难点：一张图像中往往存在多种 ANA 模式，而临床常规只提供整图级别的判读结果，不会对局部区域或单个细胞进行逐一标注；在此设定下，团队通过“切块、挑选关键实例、推断伪标签和自步学习”让模型在仅有整图标签的前提下，仍能自动聚焦关键信息并给出多模式判读，从而在基本不改变现有工作流、几乎不增加标注负担的情况下，获得更稳定、客观的辅助结果。

由于该框架只依赖于“一张大图由若干局部区域组成、整体可能对应多个标签”这一通用假设，它有望自然推广到病理全视野切片的多病灶检测、胸片中多病变共存的识别，甚至更广泛的多实例多标签视觉任务。

未来计划在多中心、多设备数据上进一步验证跨医院泛化能力，并强化模型可解释性（如通过可视化关注区域），同时探索与医院信息系统和检验报告流程的深度融合，使其以“模型建议 + 医生审核”的形式真正服务于临床实践。

查看原文：IEEE TMI 2025 | AI自建学习大纲的多实例多标签医学图像分析新框架 - 机器之心