JHU上交等提出首个可烘托X光3DGS！推理速度73倍NeRF，功能提高6.5dB | ECCV 2024

新智元报导

修改：LRST

【新智元导读】X-Gaussian是一种新式的3D Gaussian Splatting提高，专为X光新视角组成而规划，以削减医疗成像中的X光辐射剂量，经过高效的烘托技能，可以在坚持图画质量的一起明显削减练习时刻和提高推理速度。

X光由于其强壮的穿透力而被广泛地应用于医疗、安检、考古、生物、工业检测等场景的透射成像。

但是，X光的辐射效果对人体是有害的，受试者与测验者都会遭到露出于X光下的影响。

为了削减X光对人体的损伤，约翰霍普金斯大学、香港科技大学（广州）、上海交通大学的研讨人员提出了稀少视角下的X光三维重建使命——新视角生成，即只陆路少量几张X光片，剩余视角的X光片经过烘托得到，用以协助医师进行确诊剖析。

论文链接：https://arxiv.org/abs/2403.04116

代码链接：https://github.com/caiyuanhao1998/X-Gaussian

视频链接：https://www.youtube.com/watch?v=v6FESb3SkJg&t=28s

文中提出了首个可以烘托X光的3D Gaussian Splatting提高以用于X光的新视角组成（Novel View Synthesis, NVS）。

值得一提的是，该办法无需核算耗时的Structure-from-Motion（SfM）算法来进行初始化。

图1 高斯点云散布在模型练习中的改变进程

现在一切的代码、数据、高斯点云模型、练习日志均已开源，欢迎我们来运用或是提交issue。

研讨布景

NeRF类重建办法由于需求密布地收集射线，并在射线上采样多个3D点，核算后经过再经过volume rendering烘托得到2D projection。这一进程十分消耗时刻。

当时正火的3D Gaussian Splatting （3DGS）由于其高度平行化的烘托办法——Rasterization而有着比NeRF更快的烘托速度。但是3DGS是针对自然光成像规划的。

直接将3DGS用于X光成像会遇到两个问题：

（1）首要，如图2所示，自然光成像首要依托于光线在物体外表的反射，这使得从不同视点看，物体外表的色彩会有差异。为了拟合这一各向异性的特色，3DGS选用球谐函数（Spherical Harmonics，SH）来模仿自然光的散布。但是在X光成像中，X光穿透物体并衰减，然后落在探测器上成像。X光不管从各个视点穿透同一物质点，其衰减都是相同的。直接运用SH很难拟合X光成像的这一各向同性的特色。

（2）其次，3DGS的初始化需求经过核算Structure-from-Motion（SfM）算法来得到各个视角的相机表里参数以及一个稀少点云作为开始。这个算法十分耗时，增加了患者和医师的等待时刻。

图2 3DGS 自然光成像与 X-Gaussian 进行 X 光成像比照

本文针对上述这些问题打开研讨，做出了以下四点奉献：

针对X光新视角组成使命，本文提出首个根据3D Gaussian Splatting的技能提高——X-Gaussian；

规划了一个全新的辐射高斯点云模型（Radiative Gaussian Point Cloud Model），根据该模型，又规划了一个可微的辐射光栅化烘托办法（Differentiable Radiative Rasterization）；

针对高斯点云模型，提出了一种初始化办法——Angle-pose Cuboid Uniform Initialization（ACUI），这种初始化办法可以经过X光扫描仪的设备参数和旋转角直接核算出相机表里参数和初始稀少点云，这使得新办法免于核算 SfM，然后大幅提高练习速度。

X-Gaussian在功能上超过当时最好NeRF办法6.5dB的情况下，推理速度还达到了73倍。一起在传统算法上也验证了，经过新办法组成的新视角X光片可以提高CT重建的图画质量。

空间坐标系的转化

在圆形扫描轨道锥形X光束扫描（circular cone-beam X-ray scanning）场景下研讨三维重建问题。空间坐标系的改换联系如图3所示。被扫描物体的中心O为国际坐标系的原点。

扫描仪的中心S为相机坐标系的中心。探测器D的左上角为图画坐标系的原点。整个空间坐标系的改换遵从OpenCV三维视觉的规范。

图3 空间坐标系转化联系示意图

本文办法

图4 X-Gaussian 算法提高流程图

算法的流程图如图4所示，首要经过图4（a）中的Angle-pose Cuboid Uniform Initialization（ACUI）来核算出X光源（Source）在对应旋转角下的相机表里参矩阵并核算出初始稀少点云。然后，针对X光各向同性的成像特色规划了辐射高斯点云模型（Radiative Gaussian Point Cloud Model），如图4（b）所示。

针对这一点云模型，团队规划了一个可微的辐射光栅化（Differentiable Radiative Rasterization，DRR）烘托办法，用于三维高斯点云的泼溅烘托，如图4（c）所示。本节先介绍辐射高斯点云模型，然后是可微的辐射光栅化，终究介绍ACUI初始化办法。

辐射高斯点云模型

本末节首要回忆一下3DGS的基本知识。3DGS将一个物体或场景用个高斯点云表明如下：

结构的表明第个高斯点云，,Σ,别离表明高斯点云的中心方位，协方差，和不透明度。

协方差操控高斯点云椭球的三轴巨细，即操控点云的形状。3DGS对每一个高斯点云选用球谐函数来拟合其色彩如下：

结构，表明色彩，=(,)表明观测视角，表明球谐函数系数，表明球谐函数，将球面上的点映射成一个实数值。但是，如前面的剖析，球谐函数并不合适用来模仿各向同性的X光成像。

为此，团队规划了一个辐射强度响应函数（Radiation Intensity Response Function，RIRF）来代替球谐函数。

详细而言，让每一个高斯点云学一个特征向量其固有的辐射特点，如辐射密度等。然后该点云的辐射强度便可以被表明为：

结构表明一组常数。

因而，辐射高斯点云模型可以被表明为：

结构为可学习参数，表明分配给第个高斯点云的特征向量。

可微的辐射光栅化办法

根据提出的这个高斯点云模型，团队还规划了一个可微的辐射光栅化办法（Differentiable Radiative Rasterization，DRR）。

整DRR的进程总结如下：

结构表明被烘托的图画，和别离表明表里参矩阵。接着介绍的细节。

首要，核算第个高斯散布上的3D点的概率如下：

接着，将3D高斯点云从国际坐标系中投影到相机坐标系，从而再投影到图画坐标系上：

结构的=(,,)表明相机坐标，表明图画坐标。三维的协方差矩阵也被对应地投影到相机坐标系上：

结构是投影改换（projective transformation）的仿射近似的雅克比矩阵。

是viewing transformation。

结构的表明X光扫描仪中X光源（source）和探测器（detector）之间的距离，表明X光源的旋转角。

然后在图画坐标系下的二维协方差矩阵是直接取′的前两行前两列。

将2D projection分割成互补堆叠的titles。每一个三维高斯点云都依照其对应投影所落在的方位分配到对应的tiles上。这些3D高斯点云依照与二维探测器平面的距离进行排序。

那么，在2D projection上像素点上的辐射强度就是混合个与堆叠的排好序的3D点得到的，如下公式所示：

结构的表明落在像素上的X射线与高斯点云之间的交点，表明的辐射强度。

模型练习的监督函数是一范数丢失与SSIM丢失之间的加权和：

结构的是加权稀少，可调的超参。

视点位姿立方体均匀初始化

惯例的3DGS运用SfM算法来核算每一个视角的相机表里参数以及初始的稀少点云。

SfM算法的原理是检测不同视角投影之间的特征匹配点。关于X光片这种低比照度的图画来说，SfM的检测精度会下降。

一起运转SfM十分耗时，对几十张图画核算SfM或许需求消耗几个小时。这大大延长了病人和医师的等待时刻。

为此，团队规划了视点位姿立方体均匀初始化（Angle-pose Cuboid Uniform Initialization，ACUI）算法。

ACUI首要直接运用X光扫描仪的参数来核算相机的表里参矩阵：

结构的表明外参矩阵，表明X光源与物体之间的距离。表明相机内参，,表明烘托图画的宽度和高度。

然后设置一个尺度为1×2×3()的立方块使其可以彻底包裹被扫描的物体，并将其分割成一个1×2×3(voxel)的网格。

终究，依照距离来采样得到初始的稀少点云：

试验成果

新视角生成

表1 新视角生成使命比照

图5 新视角生成视觉比照图

在新视角生成使命上，新办法与之前办法的定量与定性比照别离如表1和图5所示。

新办法在比当时最好的NeRF类算法要高出6.5dB的情况下，还达到了73倍的烘托速度，而且可以烘托更多的结构细节。

图6 3DGS与X-Gaussian练习进程的视觉剖析

团队做了视觉剖析，将3DGS与X-Gaussian练习的各个iteration的高斯点云进行可视化。

如图6所示，X-Gaussian收敛得更快，噪声更少，愈加贴合被扫描物体（脚趾）的形状。

稀少视角CT重建

选用X-Gaussian为传统办法在稀少视角下烘托更多X光片视图以进行CT重建，定量比照如表2所示

表2 稀少视角下CT重建的数值比照

图7 运用不同NVS算法为传统办法SART组成新视角以进行CT重建视觉比照

新的办法可以更好地辅佐不同传统办法进行稀少视角的CT重建，PSNR功能上的涨幅都超过了10dB。

总结

本文提出了首个能烘托X光的3DGS办法——X-Gaussian。

详细而言，团队从头规划了一个辐射高斯点云模型，并根据该模型规划了一个可微的辐射光栅化烘托办法，可以在GPU上高效地并行核算。一起为求出不同视角下的相机表里参矩阵和初始稀少点云，还规划了ACUI初始化办法。

终究，X-Gaussian在比当时最好NeRF办法要高出6.5dB的情况下速度还达到了73倍速。一起还在稀少视角CT重建使命上验证了新办法的实用价值。

本文运用的数据来自团队CVPR 2024的作业SAX-NeRF，可以一起做X光新视角组成和CT重建的Instant-NGP。

参考资料：

https://zhuanlan.zhihu.com/p/717744222