RNN 用于生物医教全息成像，速率加速50倍

作者/凯霞

数字全息成像是生物医学成像中常用的显微镜技能。用于展现样本的富厚光学信息。常见的图像传感器只对入射光的强度做出相应。是以，重修涉及光学相位检索的传感器以数字方法记载的全息图的完备 3D 信息，一向是数字全息术中一项耗时且盘算量大的挑衅性使命。

克日，加州大学洛杉矶分校的研究团队开辟出一种新的全息相位检索技能，可以快速重修样品的微观图像，与现有要领相比，可加快50倍。研究效果初次证明白利用轮回神经网络（RNN）举行全息成像和相位规复，所提出的框架将遍及实用于种种干系成像模式。

该研究于5月26 日以「利用轮回神经网络举行相位规复和主动对焦的全息图像重修」(Holographic Image Reconstruction with Phase Recovery and Autofocusing Using Recurrent Neural Networks )为题颁发在《ACS光子学》（ACS Photonics）杂志上。

全息术（holography）又称全息拍照术，指在拍照胶片或干板上通过记载光波的振幅和位相漫衍并再现物体三维图像的技能。全息术作为一种壮大的生物样品成像东西，只需最少的样品制备，无需染色、牢固或标志。

已往几十年，数字全息术取得了令人瞩目标前进，尤其是在图像重修和定量相位成像 (QPI) 要领方面。

近来，基于深度进修的相位检索算法被证明可以利用练习有素的神经网络重修全息图。别的，还通过端到端神经网络推理历程直接在原始全息图上实现了基于深度进修的相位检索。与传统的迭代相位规复要领相比，基于深度进修的算法通过神经网络在单次（即没有迭代）通报中创建无雀斑和双图像伪影的工具重修。

如今，研究职员提出了一种新的基于深度进修的全息图像重修和相位检索算法，该算法基于轮回神经网络 (RNN)，利用天生反抗神经网络（GAN）举行练习。

图示：用于RH-M和RH-MD培训的GAN框架。（泉源：论文）

该技能使用深度进修练习的轮回神经网络，并联合了多个全息图的空间特性，以数字方法创建样本的全息显微镜图像，比方人体构造载玻片。进步了图像质量、加速了重修速率，同时还加强了重修样本的景深。

两种要领

RH-M：轮回全息 (recurrent holographic，RH) 成像框架利用多元 (multiple，M) 输入全息图，这些全息图利用零相位反向流传到大众轴平面上，在其输出推测中同时实行主动聚焦和相位检索。

RH-MD：通过利用扩张 (dilated，D) 卷积核加强 RH-M，雷同的主动聚焦和相位检索性能，而无需任何自由空间反向流传 (FSP) 步调；也便是说，猎取的工具的原始全息图直接用作练习 RNN 输入，用于在其输来由举行对焦图像重修，称为 RH-MD。更实用于相对希罕的样本，巴氏 (Pap) 涂片样本的全息成像证明白它的乐成。

图示：RH-M要领。（泉源：论文）

图示：RH-MD要领。（泉源：论文）

与现有的相位检索和全息图像重修算法相比，RH-M 和 RH-MD 框架的上风表现在：杰出的重修质量和速率，以及通过主动对焦功效扩展景深（DOF）。

研究评释，对付肺构造切片成像，相比现有的基于深度进修的全息重修要领，RH-M 在幅度均方根偏差 (RMSE) 方面质量进步了 40%。与利用雷同输入全息图的迭代相位检索算法相比，RH-M 的推理速率快了 15 倍。

利用 RH-M 的全息成像

为了证明 RH-M 在相位规复和主动聚焦方面的成果，研究职员利用人肺构造切片练习和测试了 RNN，并利用无透镜的在线全息显微镜对其举行成像。采纳三张练习载玻片和一张测试载玻片。（全部这些构造样本均取自差别的患者）在练习阶段，RH-M随机取M=2个输入全息图，随机样本到传感器的间隔范畴为350-550 μm；然后将这些随机选择的全息图中的每一个流传到 z2 = 450 μm。所得庞大场的实部和虚部用作 RH-M 模子的练习输入。

在盲测阶段，为了证明练习的 RNN 模子的可行性，在 423.7 μm 和 469.7 μm 的样本到传感器间隔处捕捉了测试载玻片的 M = 2 个全息图（来自差别的患者，未在练习时期利用）。

图示：肺构造切片的全息成像。（泉源：论文）

为了进一步阐发 RH-M 推理性能，研究职员在练习后的RNN中输入M = 2个差别散焦间隔组合的全息图（Δz2,1 和 Δz2,2），研究效果评释，起首，当 Δz2,1 = Δz2,2对应于两个输入全息图雷同的情形时，所提出的框架是乐成的。其次，两个输入全息图之间的轴向间隔更有利于对RH-M举行更好的推测。

超参数 M 是影响 RH-M 性能的要害身分之一。通常，具有较大 M 的网络进修输入全息图的高阶相干性以更好地重修样本的庞大场，但也简单在小练习数据集上过分拟归并收敛到局部最小值。总而言之，RH-M 受益于更高多样性和更大 M 的练习集。

利用 RH-MD 的全息成像

RH-MD扩大了神经网络的感觉野，RH-MD可以或许在不增添可练习参数数目的情形下处置惩罚更大范畴的衍射图案，同时也开发了直接从原始输入全息图举行相位规复和主动聚焦的大概性。

为了证明这种本领，研究职员在雷同的无透镜全息显微镜平台成像的巴氏涂片样本上练习和测试了 RH-MD 框架。效果评释：与 RH-M 差别的是，RH-MD 利用原始输入全息图，而无需在

上举行任何自由空间反向流传。

当在雷同的高度(Δz2,1 = Δz2,2)得到输入全息图时，RH-MD比RH-M更具鲁棒性。

图示：RH-M和RH-MD的巴氏涂片全息成像(M = 2)。（泉源：论文）

值得细致的是，RH-MD 的这些长处是相对付较希罕的样本（比方此处报道的巴氏涂片载玻片）；然而，对付毗连的构造切片，RH-MD 推理性能与 RH-M 相比明显低落。是以，与 RH-M 差别，样本希罕性是利用 RH-MD 举行盲相位检索、全息图像重修和主动对焦的要求。

遍及实用性

论文一作 Luzhe Huang表现：「我们的效果在图像质量、自由度和推理速率方面优于现有的相位检索和全息图像重修要领。这种基于 RNN 的图像重修要领为种种干系显微镜模式和相干应用开发了新的时机。」

加州大学洛杉矶分校电子和盘算机工程的校长传授、加州纳米体系研究所的副主任、该研究的高级通讯作者 Aydogan Ozcan说：「该框架可遍及实用于种种生物医学成像模式，比方荧光显微镜，以有用使用一系列得到的图像来快速正确地创建样本体积的 3D 重修。」

论文链接：http://pubs.acs.org/doi/10.1021/acsphotonics.1c00337

参考内容：http://techxplore.com/news/2021-06-faster-holographic-imaging-recurrent-neural.html