编辑 | 萝卜皮

3D 形状重建对于微创和自动机器人引导手术的导航至关重要，这些手术的操作环境是间接和狭窄的。学界并且已经有一些研究专注于通过可用的有限 2D 信息重建手术器官的 3D 形状，但已有的方法未考虑术中突发事件（如出血）。

中国科学院深圳先进技术研究院（SIAT）王书强教授领导的研究团队提出了一种新颖的分层形状感知网络（HSPN），可以低延迟从单个不完整图像重建特定大脑的 3D 点云（PC）。该团队构建了一个分支预测器和多个分层注意管线，来生成准确描述不完整图像的 PC，然后高质量完成这些 PC。使用 HSPN，可以自发地实现 3D 形状感知和完成。

该研究以「3-D Brain Reconstruction by Hierarchical Shape-Perception Network From a Single Incomplete Image」为题，于 2023 年 5 月 11 日发布在《IEEE Transactions on Neural Networks and Learning Systems》。

医疗自动化对传统医疗信息提出新要求

微创和自动机器人引导手术逐渐应用于脑外科手术，为患者带来更多的微创手术、更短的恢复时间和更好的治疗体验。由于这些手术新的视觉环境和导航方式，对术中信息的获取能力提出了新的要求。由于医生在手术过程中无法直接观察到病灶和手术靶点，因此他们的经验往往效率不高。

近年来，术中核磁共振成像（iMRI）的应用越来越广泛，一些工作用它来缓解微创手术中更严格的视觉限制。但与大脑丰富的内部细节不同，2-D MRI 无法提供对手术更为重要的目标大脑表面和形状的直观且视觉上可接受的信息。由于直接计算 3D MRI 的空间复杂度为 O(n^3)，因此在需要实时算法的操作中使用它来感知目标大脑的形状也是不可取的。

更重要的是，由于3D MRI 表示不能直接与大脑坐标位置相关联，医生必须手动辅助手术导航，从而降低了手术导航系统的自动化程度。这两个事实共同导致了脑部微创和自动机器人引导手术视觉支持的匮乏。因此，寻找一些准确可控的间接三维形状信息获取方法是这类手术的必然发展方向。此外，由于传统扫描仪和医疗环境的局限性，这些方法应该减少对物理设备的依赖和对传统信息的要求。

从图像重建三维形状

已经有一些工作专注于从图像重建 3D 形状，以帮助医生获得额外的视觉信息。PC 通常用作重建结果的表示。点云（PC）表示为 3D 空间中的一组点，使用 N 个顶点来描述目标。除了提供准确的目标形状外，PC 表示还携带每个点的局部位置坐标信息，可用于医疗机器人和设备的自动导航。在目前的设计模式下，如果在手术场景中需要实时获取目标的3D结构，3D MRI、体素、网格、PC是常用的解决方案。

3D MRI 的空间复杂度太高，以3D MRI 作为数据输入的配准、诊断、分割等方案的实时性对于手术场景来说将是无法接受的。体素和网格的空间复杂度也高于PC，而且这些数据结构也存在精度问题。如果手术场景需要 3D 补充信息，PC 重建是更好的选择。因此，继续选择 PC 作为脑外科场景的重建表示是一个合理的建议。

然而，大多数现有方法都存在以下两个问题中的至少一个。首先是他们忽略了用于形状重建的图像往往不完整并且受限于光学传感设备的光环境和手术计划之外的各种可能的视觉污染（例如局部出血）而损坏。二是他们对输入图像的数量和角度要求太严格。输入太多的重建方法可能会导致处理时间更长，从而增加术中事故的风险。到目前为止，还没有人致力于在保持精度的同时解决 3D PC 重建中存在的这两个问题。这篇文章的主要目的是找到一种方法，可以从尽可能少的潜在不完整图像中感知和重建目标的形状。

高效完成三维形状重建任务的新方法

为了从单个不完整图像中的不完整图像重建准确完整的 PC 结构，研究人员提出了一种基于生成对抗架构和多层编码器-解码器结构的新型复合模型，称为分层形状感知网络 (HSPN)，以高效完成 3D 形状重建任务并尽可能满足脑外科手术场景的特定需求。

图示：模型的体系结构。（来源：论文）

HSPN 的编码器由一个基于生成对抗网络 (GAN) 架构的预测器和几个 PointNet++ 编码块组成，而解码器由多层解码块组成。在相应的编码和解码块之间构建可以传输提取的特征信息的分层注意力管道。

一种包含多个图卷积网络（GCN）的新型分支生成器内置于预测器中，可从单个不完整图像准确生成不完整 PC。编码块及其对应的结构一致性解码块分层感知目标的形状，重建完整的PC，并确保不同的重建级别可以由相应的形状结构引导。

此外，他们在编码和解码块中设计了注意门块（AGB），以有效地聚合由分层注意管道传输的不完整点云的局部几何特征和重建点云的内部特征。AGB 的使用可以显著提高细节表达能力，同时减少生成错误并增强稳定性。

通过提出的 HSPN，可以自发地实现 3D 形状感知和完成。通过倒角距离和点云到点云（PC 到 PC）误差测量的综合结果表明，所提出的 HSPN 在定性显示、定量实验和分类评估方面优于其他竞争方法。

「所提出的方法具有明显较短的推理时间，可以有效地实时反馈局部图像属性。」王教授说，「这种反馈可以指导医生找到具有诊断价值的手术位置。」

论文链接：https://ieeexplore.ieee.org/document/10123299

相关报道：https://medicalxpress.com/news/2023-05-ai-generated-content-3d-brain.html