医学图像三维重建的体绘制技术综述

医学图像三维重建的体绘制技术综述
摘要: 体绘制技术是目前医学图像三维重建的主要方法之一,是一种能够准确反 映出数据内部信息的可视化技术,是可视化研究领域的一个重要分支,是目前最 活跃的可视化技术之一。 本文首先分析了医学图像三维重建的两大方法及其基本 思想,并将体绘制技术与面绘制技术进行了比较;然后分别描述了射线投射法、 足迹法、剪切-曲变法、基于硬件的 3D 纹理映射、频域体绘制法以及基于小波 的体绘制等典型算法; 最后通过比较分析给出了各类算法的性能评价,并在此基 础上展望了体绘制技术研究的发展前景。

关键字:体绘制;三维重建;可视化;性能评价

Abstract:Volume rendering techniques is one of the main methods of 3D reconstruction of medical images currently. It's also an important branch of visual technology which can reflect the inside information of data. It is one of the most active visualization technology.This paper first introduces are the two methods of 3D reconstruction of medical image and the
basic thought of them,then volume rendering technology and surface rendering technology are compared.Secondly,the author introduces some kinds of algorithm for volume rendering:

Ray Casting ,Splatting,Shear-Warp,3D Texture-Mapping Hardware,Frequency Domin Volume Rendering,Wavelet .Based Volume Rendering.The differences of their performances are compared and discussed in the last. Then some results are presented and their perspective are given in the end. Key words:Volume rendering techniques;3D reconstruction of medical images;visual
technology;Performance evaluation

1.引言
自20世纪70年代以来,利用计算机X射线断层投影(Computer Tomography, CT) 、核磁共振(Magnetic Resonance Imaging,MRI) 、超声(US) 、数字血管减 影成像技术(DSA)等医学成像技术可以得到的二维数字断层图像序列。但是仅 依靠这些二维图像很难直观地体现或确定物体的三维结构及其相互之间的关系。 由于物体的三维信息在医学诊断和治疗及其他临床领域所具有的特殊应用价值, 使得三维医学图像的可视化技术越来越引起人们的关注。 通过计算机图像处理技 术可以对二维医学图像进行分析和处理,从而实现对人体器官、软组织和病变体 的分割提取、 三维重建及显示,进而辅助医生对病变体及其他感兴趣的区域进行 定性甚至定量的分析,大大提高了医疗诊断的准确性和可靠性。

2.医学图像的三维重建
医学图像的三维重建是研究利用各种医学成像设备获取的二维图像及彩色 冰冻切片图像来构建组织或器官的三维几何模型, 并在计算机屏幕上 “真实” 地 绘制并显示出来。 根据绘制过程中数据描述方法的不同,目前医学图像三维重建 的方法主要有两类: 1. 通过几何单元拼接拟合物体表面来描述物体的三维结构, 称为表面绘制方法, 又称间接绘制方法,即面绘制法; 2. 直接将体素投影到显示平面的方法,称为体绘制方法,即体绘制法。 经过十几年的发展, 医学图像三维重建已经从辅助诊断发展成为辅助治疗的 重要手段。三维重建技术能充分利用CT 、MRI 等医学图像体数据,采用面绘 制或体绘制的成像算法, 根据需要得到任意视角透视的三维投影图像,构造三维 模型,并对三维模型从不同方向投影显示,提取出相关器官的信息,能使医生对 感兴趣器官的大小、形状和空间位置获得定量描述。 基于表面的方法, 即面绘制法是表示三维物体形状最基本的方法,它可以提 供三维物体形状的全面信息。它的基本思想是从体数据中抽取一系列相关表面, 并用多边形拟合近似后, 再通过传统的图形学算法显示出来。表面绘制方法的处 理过程主要包括下面三部分: 体数据中待显示物体表面的分割;通过几何单元内 插形成物体表面;通过照明、浓淡处理、纹理映射等图形学算法来显示有真实感 的图像。经典的算法主要有立方块(Cuberille) 方法,移动立方体法(Marching

Cubes),MarchingTetrahedral(MT) 和剖分立方体法(Dividing Cubes) 等。 面绘制技术需要对体数据进行判别分类, 即需要判别每一个体素是否在当前 绘制的面上,因此在处理复杂的、边界模糊的人体组织时,经常出现分类上的错 误,从而造成虚假的面显示或在显示面上产生空洞。 体绘制法是由Drebin 和Levoy 在80年代末提出的,该方法避免了面绘制技 术中构造几何多边形等表面的中间过程, 采用直接对所有的体数据进行明暗处理 的方法, 进而合成具有三维效果的图像。其优点是无须进行分割即可直接进行绘 制,有利于保留三维医学图像的细节信息,增强图像整体的绘制效果。但缺点是 需要对所有体素进行处理,加大了计算量,限制了图像的绘制速度。 随着计算机、 工作站性能的提高,各种分布计算和并行绘制算法和硬件环境 的发展, 以及医学体数据密度和分辨率的不断提高,面绘制的交互优势越来越不 明显, 体绘制优异的三维表现能力正在吸引使用者越来越多的注意力。 可以预见, 在不久的将来,体绘制技术将在越来越多的应用中取代面绘制技术,成为三维绘 制的主要技术。另外,许多科研工作者从不同的角度提出了体绘制的加速算法, 使体绘制的速度有了明显的提高,表现出很大的发展潜力。

3.医学图像三维重建的体绘制技术
体绘制法是由Drebin 和Levoy 在80年代末提出的,该技术的中心思想是为 每一个体素指定一个不透明度(Opacity) ,由光线穿过整个数据场,并考虑每一 个体素对光线的透射、 发射和反射作用。 这里体素就是将三维图像中的每一像素 看成是空间中的一个六面体小单元。光线的透射取决于体素的不透明度;光线的 发射取决于体素的物质度(Objectness):物质度愈大,其发射光愈强;光线的反 射则取决于体素所在的面与入射光的夹角关系。因此, 体绘制的步骤原则上可分 为投射、消隐、渲染和合成等4 个步骤。 体绘制方法是对三维空间中定义的三维物体,从任意的视点来跟踪体素,赋 予它一定的色彩和透明度, 由光线穿越半透明物质时能量聚集的光学原理,进行 色彩合成的成像操作。 此种显示方法的特点是由灰度体数据直接显示,没有体数 据到几何图元的映射过程,因而又称为直接体绘制法。 体绘制算法按处理数据域的不同可分为空间域方法和变换域方法。 前者是直 接对原始的体数据进行处理显示;后者是将体数据变换到变换域,然后再进行处

理显示。基于空间域的经典方法主要有射线投射法(Ray Casting) ,足迹法(又 称抛雪球法)(Splatting) ,错切形变法(Shear-Warp) 等。基于变换域的方法主 要有频域体绘制法(Frequency Domain Volume Rendering) 和基于小波的体绘制 法(Wavelet .Based Volume Rendering)等。 体绘制技术是直接研究光线通过体数据场时与体素的相互关系, 所以无须构 造中间面,因而体素中的许多细节信息得以保留,结果的保真性大为提高。因此 从绘制结果来讲, 体绘制的图像质量通常要优于面绘制。但是体绘制法对硬件的 要求很高,运行速度比较慢。

3.1 基于空间域的方法
(1)射线投影法(Ray Casting) 射线投射法是一种典型的以图像空间为序的直接体绘制算法, 他从屏幕上的 每一个像素点出发,沿着特定的视点方向,发出一条射线,该射线穿过三维数据 场, 沿这条射线选择若干个等距采样点,由距离某一采样点最近的八个体素的颜 色值及不透明度值做三线性插值,求出该采样点的不透明度值及颜色值。在求出 该条射线上所有采样点的颜色值和不透明度值以后, 可以采用由后到前或由前到 后的两种不同的方法将每一采样点的颜色及不透明度进行组合, 从而计算出屏幕 上该像素点处的颜色值。 (2)足迹法(Splatting) 足迹法首先由Westover 提出,也译为抛雪球法,其原理是将体数据表示为 一个由交叠的基本函数构成矩阵, 基本函数通常选择幅值由体素值表示的高斯函 数核(Kemel) ,然后根据一个预先计算的、存储着沿视线方向对函数核积分的 足迹查询表, 把这些基本函数投射到象平面以生成图像。其实质也可视为将体数 据与函数核作卷积,再沿视线的反方向投射积累到象平面的过程。 (3)错切形变法(Shear-Warp) 错切形变法(Shear-Warp)也称剪切曲变法,被认为是目前速度最快的一种 体绘制算法。 错切变形算法由Lacroute 提出, 基本原理是将三维视觉变换分解成 三维错切变换和两维的变形变换。体数据按照错切变换矩阵进行错切,投影到错 切空数据按照错切变换矩阵进行错切,投影到错切空间形成一个中间图像,然后 中间图像经变形生成最后的结果图像。

(4)基于硬件的3D纹理映射(3D Texture-Mapping Hardware) 基于硬件的3D纹理映射首先是由Cabral应用于无明暗处理的体绘制。 其方法 是首先将体数据装载到纹理内存, 再由硬件将平行于视平面的多边形层片转变为 图像。这些层片是由后向前地进行融合,插值滤波器为三次或四次线性函数,而 层片间的距离可以任意选择。 目前,这种方法已被推广应用到具有明暗处理的体 绘制中。

3.2 基于变换域的方法
(1)频域体绘制法(Frequency Domain Volume Rendering) 变换域体绘制算法的理论基础是1993年Malzbender提出的傅里叶切片投影 定理。频域体绘制法的基本原理是首先用三维傅立叶变换将空间域的体数据
f (X )

变换到频域得到离散频谱 F ( S ) , 然后沿着经过原点并与视正交的抽取平面

对离散频谱 F ( S ) 进行插值,插值后的频谱再经过重新采样,得到一个二维的频 谱, 对其作二维傅立叶反变换即可得到该视方向上的空间域投影图。频域体绘制 方法又可细分为傅里叶体绘制和哈特里体绘制。 (2)基于小波的体绘制法(Wavelet .Based Volume Rendering) 基于小波的体绘制是一种通过对体数据进行三维离散小波变换, 以构成体数 据的多分辨率表示, 然后代入到体绘制方程中来生成三维图像的方法。它包括小 波足迹法(Wavelet Base Splatting)和小波域射线投射法(Ray Tracing in Wavelet Space) 前者的基本思想是将体数据的三维离散小波变换的近似结果直接代入到 。 体绘制方程中求解,从本质上来看它是射线投射法在小波域的实现;后者的基本 思想是利用傅立叶频域绘制先得到每个小波和尺度函数的足迹, 再通过小波系数 加权得到投影图像。

4.各种算法的比较分析
射线投射法是采用为每个体素分配不透明度和光强的方法来合成图像, 因此 有利于保留图像的细节,绘制高品质的图像,特别适用于绘制区域特征模糊、体 素特征相关性高的三维图像。 但是因为需要对每一个体素都进行操作,所以极大 地限制了绘制速度。 为此人们对射线投射法提出了各种的加速算法,如可以略过 三维图像空区域的空间跳跃算法(Space-Leaping) 、累积透明度接近于数值1时终

止射线投射的射线提前终止法(Early-Ray Termination)等。 足迹法最大的优点是只有与图像有关的体素才会被映射到象平面, 从而可以 大大地减少需要处理和存储的数据量。 足迹法用经过一个足迹样条的采样均值来 代替射线投射法的点采样,这相当于引入了一个低通滤波器对信号进行平滑滤 波。这样一来,一方面有利于克服图像的失真或混叠,但另一方面有时也会使图 像的高频分量受到衰减。 足迹法也有应用类似于射线提前终止法概念的加速算法: 基于动态计算屏幕阻塞图(Screen Occlusion Map)的足迹提前终止法。 在错切形变法算法中,体素行程是按不透明度的初分类进行RLE编码的。这 就需要在三个主视方向上构造出独立的编码体素; 因为采样插值仅仅出现在剪切 出的体素层, 因此直接体绘制积分的间距是与视相关的,且不能任意改变来满足 沿射线进行密集采样 (或过采样) ,这样在非主视方向上可能不能遵守采样定理, 特别是在视域的分辨率高于体素分辨率时,会导致所绘制的图像品质明显下降。 3D纹理映射的实现需要昂贵的专用图形硬件,对于较大规模的医学体素据 则需要在有限的纹理内存中(在较小的机器中通常为4M)反复搬动数据。限制 3D纹理影射绘制图像质量的主要因素归结于其画面帧存储器(Framebuffer)有 限的位分辨率(8-12 bits) ,这远低于软件算法中使用的浮点数的精度。特别是有 限的位分辨率严重制约了不透明度加权颜色(或亮度)方法的使用,因为低不透 明度的体素经不透明度加权后,其体素的颜色(或亮度)值会降低到帧存储器分 辨率以下,这就限制了具有低不透明度、低密度体素区域的合成绘制。一种解决 方法是按比例地放大体素颜色 (亮度) 但这样有时会造成其它区域值的饱和。 值, 频域体绘制法利用快速傅立叶变换(FFT)可以达到较快的绘制速度。由于 可以在频域内灵活地根据不同的视对离散频谱抽取平面, 因此可以便捷地得到不 同视角的图像。 但是由于不能保留体素的光吸收特性,因此不能得到半透明的图 像。 小波域射线投射法是射线投射法在小波域的实现,因此它具有射线投射法的 许多优点,如高品质的图像、半透明的视觉效果以及可以加入各种明暗处理等, 但缺点是计算量大,绘制速度慢。小波足迹法的最大优点是绘制速度快,可以达 到网络交互级的速率,但缺点是绘制的图像质量呈现一种指数型的自阻塞特性。

表1 各种算法的比较分析

体绘制算法 空 间 域 错切形变法 3D纹理映射 射线投射法 足迹法

图像品质 最高 高

绘制速度 慢 中等

算法特点 无需分割, 占用内存大 可以利用 不透明度 占用内存小,可渐进 显示 占用内存小 图像品质依赖帧存储 器位分辨率

中等 较低

最快 快

得到整体 的层次结 构

变 换 域

频域体绘制法 小 波 域 足迹法 射线投射法

较高 高

快 慢

X光片效果,利用FFT算法简洁 可利用不透明度得到整体的层次 结构,占用内存大

较高

较快

X光片效果,可渐进显示,局部细节 添加

5.研究展望
随着现代医学影像技术日新月异的发展和各种医学数字影象设备技术的发 展及广泛应用, 医学图像三维重建的体绘制技术已经成为研究的热点之一。尽管 目前体绘制技术的绘制速度仍然受到计算机运算速度的限制, 但随着计算机技术 的发展和体绘制算法研究的深入, 可以预见体绘制的绘制速度很快能达到实时交 互的速率。 当前体绘制技术的研究可以根据现有的硬件条件与具体的应用要求, 寻求图 像品质与绘制速度之间的最佳方案。在各类算法中,基于小波的体绘制技术表现 出较好的应用前景, 可以作为重点的研究内容,如克服小波足迹法中图像品质的 自阻塞指数特性。 随着计算机硬件技术的发展, 基于硬件的3D纹理映射体绘制也 表现出巨大的发展潜力,许多新技术、新方法有待于深入研究与开发。此外,在 不影响图像品质的前提下如何将错切形变算法中的某些概念引入到射线投射法 或足迹法中以提高绘制速度, 以及足迹法的明暗算法等都是值得继续深入研究的 问题。

目前国内的医学图像三维重建的体绘制技术研究依旧处于起步阶段, 面对医 学临床已具备的丰富的三维医学体数据和应用需求, 尽快尽早地开展此类方面的 研究具有广泛的应用价值和深远的发展前景。

参考文献 [1]UposonC,FaulhaberT. V-Buffer: Visible volume rendering[J]. Computer Graphics, 1988, 22(4), 59-64 [2]Westover L A. Interactive volume rendering [ A], Proceedings of the chapel hill on workshop volume visualization[ C]. Chapel Hill: Department of Computer Science, University of North Carolifornia, 1989: 9- 16. [3]Dong F, Gordon J. Volume rendering of fine details within medical data[A].In: IEET Visualization'2001[C]. San Francisco: IEET Computer Society Press, 2001: 387-394. [4]孙薇薇, 张桦. 三种体绘制算法的比较[J]. 天津理工大学学报, 2005, 21(4) [5]张尤赛, 陈福民. 三维医学图像的体绘制技术综述[J]. 计算机工程与应用, 2002, 8: 18-19 [6]洪锋, 梅炯, 李明禄. 医学图象三维重建技术综述[J]. 中国图象图形学报, 2003, 8 [7]李燕, 谭鸥, 段会龙. 三维医学图象可视化技术综述[J]. 中国图象图形学报, 2001, 6 [8]陈云芝, 张彬, 程维春. 基于 Matlab 的人体切片的三维重建及可视化[D] [9]许元飞. 三维数据场可视化中体绘制技术的研究[D]. 西安: 西安科技大学, 2005 [10]彭延军, 石教英. 体绘制技术在医学可视化中的新发展[ J]. 中国图象图形学 报( A 版), 2002, 12( 7): 1239-1246 [11]秦绪佳. 医学图象三维重建及可视化技术研究[D]. 大连理工大学博士论文. 2001 [12]王文举, 侯德文. 几种变换域体绘制算法的比较研究[J]. 计算机技术与发展 [J]. 2008, 18(4) [13]石玉. 直接体绘制技术研究[J]. 电脑知识与技术. 2009, 5(10) [14]Totsuka T, Levoy M.Frequency domain volume rendering[A]. Coputer Graphics Proceedings, Annual Conference Series[C], 1993: 271-278 [15]缪琳. 三维数据场的信息处理与体绘制技术[D]. 2003 [16]Lacroute P. Analysis of apparallel volume rendering volume rendering systerm based on shear-warp factorization. IEET Transction Visualization and computer Graphics, 1996, (2): 218-231 [17]Westenberg M, Roerdink. Frequency domain Volume rendering by the wavelet X-ray transform[J]. IEET Transctions on Image Processing, 2000, 9(7): 1249-1261 [18]孙宇阳. 基于单幅图像的三维重建技术综述[J]. 北方工业大学学报, 2011, 23(1)


相关文档

医学图象三维重建技术综述
基于GPU的三维医学图像体绘制技术综述
三维医学图像的体绘制技术综述
医学体数据三维重建体绘制技术研究
医学图像三维重建技术综述
医学图像三维重建Splatting体绘制的研究与改进
三维重建技术在医学图像中的研究与应用
医学图像三维可视化体绘制技术研究
医学成像技术(第八章_三维重建技术)
三维医学图象可视化技术综述
电脑版