近5年来围绕“医学超声成像与智能信息化技术”这一主题，开展了系列深入的研究工作。主要研究目标：开展新型高维医学超声成像技术研究、利用智能信息技术服务医学影像的分析与辅助诊断。因此，近年工作主要集中在如下2个方面：（1）新型医学超声高维成像理论与方法（包括新型三维医学超声成像方法、机器人辅助扫描系统、超声图像处理与分析等）；（2）医学超声影像智能化信息处理与分析（包括医学超声图像分析、医学数据挖掘、乳腺超声计算机辅助诊断，等）。注：本部分文献引用对应本人“学术论文情况”论文列表。

1.新型医学超声高维成像理论与方法

在医学超声成像、医学超声图像分析和三维超声弹性成像等应用技术研究方向上取得了重要成果。

1.1 三维医学超声成像系统设计

创新点：

我们在三维超声成像技术领域工作了19年，研究基础扎实、研究成果丰硕，主要创新工作如下：

（1） 独立研发出便携式自由臂三维超声成像系统[58-60]，如图1所示；

（2）提出了便携式1-自由度自由臂三维超声成像系统 [47]，适用于肌骨组织成像（图2）；

（3）首次设计开发了无线便携式自由臂三维超声成像系统[27]，如图3；

（4）基于GPU的实时三维超声重建算法与成像技术[26];

（5）国内首次研究三维超声弹性成像技术[28,35]，实现2种成像系统的实验结果见图5-6。

科学意义：

2016年科技部重点研发专项-数字诊疗设备专题中，有两个重点项目指南：实时三维超声成像和便携式掌上型超声成像装备。这表明：国家从战略高度上重点支持医学超声装备的三维成像技术和无线便携化技术。而本人的研究工作正是围绕这一战略规划开展。

自由臂三维超声系统多依赖传统的B超成像设备，导致占用空间大、需要专门诊室、难以实现床边扫查。本人重点关注便携式三维超声系统的研发，降低系统总成本，使之具有良好的移动性和操作性，拓展临床应用范围。

传统医疗装备均为有线连接。本人研究开发了基于无线WIFI的医学超声三维成像系统，有效提高改善设备的操作范围，提高了可操作性和适用性，成果发表在IEEE-TCYB（中科院1区）、Neurocomputing（中科院2区）等国际顶级期刊上。

近年来，超声弹性成像在临床上应用越来越多，获得了学术界和产业界的极大关注。然而，目前的实用技术只能提供2D弹性图，缺少3D影像，限制了应用领域、难以满足临床诊断的需求。本人在国内首次研发实现了3D超声弹性成像系统，并且达到了近实时成像的效果（三维弹性图更新率为5 Hz），成果发表在IEEE-TUFFC（引用次数在当年期刊全部论文排名14th/213）、IEEE-TBCAS（引用次数在当年期刊全部论文排名9th/133）等国际上医学超声领域和生物医学电路系统领域的顶级期刊上。

本人在三维超声成像方法与技术方面的研究成果，受到学术界的广泛关注，相关论文多次获得国际上权威学者的引用，包括英国剑桥大学、美国哥伦比亚大学、美国华盛顿大学、法国Timone大学、西班牙Castilla-La Mancha大学、中科院深圳先进技术研究院等多个国内外同行单位的论文中多次正面引用了本人的成果。尤其是，美国哥伦比亚大学的Elisa E. Konofagou教授（国际医学超声领域顶尖学者）在其论文（IEEE T-MI, Feb 2017）中正面引用了本人工作(IEEE T-BCAS 2016)。本人发表在IEEE T-UFFC(2015)的论文入选该期刊的主编精选论文（Editors’ Selection of articles）。

在技术转化与应用方面，本人与广州瑞达医疗设备有限公司合作开发的基于高速无线互联技术的三维医学超声成像系统，已获广州医疗器械质量监督检验中心的权威认证（编号：WT15060023）。同时，合作开发的直乙肠镜诊查系统，2013年3月5日获广东省食品药品监督管理局颁发的《医疗器械注册证》（粤食药监械(准)字 2013 第 2220171 号）。

1.2. 机器人辅助医学超声成像技术

创新点：

本人在国际上首次尝试利用机械装置和深度摄像仪实现全自动三维超声扫描与成像方法和系统，主要工作包括：

（1） 研发实现首个自动超声扫描与三维成像系统[11]，见图7.

（2） 研发成功远程超声扫描与三维成像系统[2]，见图8.

（3） 国内首次设计实现基于6-自由度机器人的超声扫描与三维成像系统[1](图9)。

科学意义：

目前，在中心城市的三甲医院，每天看病的患者数量庞大，超声科往往大排长龙，每个医师每天要扫查数十个甚至上百个病人，导致临床超声医师的工作任务极为繁重，大多数医师工作一定年限后，手腕、肩、肘等关节会出现过渡劳损而产生病痛。本人与多位经验丰富的超声科主任（如广东省中医院超声科张建兴主任、中山大学附属肿瘤医院超声科李安华主任，等）交流过，他们迫切希望未来能有自动辅助扫描的装备问世，可以大大缓解医生的工作负担，提高工作效率和诊断的准确性。

为此，本人提出了基于机器人系统的医学超声扫描与成像系统，这在国内尚属首次。深入分析了机器人辅助超声扫描过程中的关键科学问题，研究实现了关键技术，开发了全自动医学超声扫描与成像系统、基于远程视频监控和机器人操控的远程超声扫描与成像系统、以及基于6自由度机器人的全自动超声扫查与三维成像系统。其中，第一个系统已经在IEEE T-BCAS（中科院2区）在线发表。第二个和第三个系统目前分别投稿IEEE T-HMS和IEEE T-II(中科院1区)。

本人预计，机器人与AI技术未来将会在医学诊断与治疗领域中发挥越来越重要的作用，有望在一定程度上代替医生的部分手工操作。因此，在这一领域，本人完成了国内首个全自动、远程医学超声扫查系统，有望引领国内相关学术研究的发展，提升我国医疗自动化技术的发展水平，带动相关产业的技术升级与产品换代，实现真正造福百姓民生的目标。

1.3. 医学超声三维重建算法研究

创新点:

研究三维超声重建过程中的体素信号插值算法、斑点噪声抑制算法、稀疏数据重建算法和基于A超数据的人体组织三维重建算法等，主要工作包括：

(1) 提出系列基于距离加权的三维超声重建算法，包括：①距离平方加权插值算法[60]，②中值滤波插值算法[55]，③基于图像局部统计量的斑点抑制插值算法[53,54](图10)；

(2) 提出针对稀疏原始数据的贝塞尔插值算法（图11）[37]；

(3) 针对人体牙组织，利用三维机械扫描获得的A超信号数据集，重建三维牙组织影像[25](图12)。

科学意义：

三维超声影像的质量很大程度上取决重建算法的性能。视觉效果差、三维组织结构信息不准确的三维图像会阻碍医生进行正确的诊断。因此，在三维超声成像过程中，研究准确性高、计算效率好的体素插值算法是非常必要的。

考虑到B超图像平面位置信息的误差，传统的体素插值算法大多采用距离加权算法。这类算法等价于一个加权滤波器，会显著平滑掉图像中的细节和边缘，导致图像非常模糊。针对这一问题，本人提出了多种权值改进算法，不仅能够更好的保留图像细节，还能够有效的抑制斑点噪声，获得更好的图像视觉效果的同时，保证的图像重建的准确性。系列文章在医学超声领域的权威期刊Ultrasonics、Ultrasound in Medicine and Biology、Computerized Medical Imaging & Graphics、Applied Acoustics等发表，获得广泛引用。

然而，基于距离加权算法的插值算法存在2个普遍缺陷，即：（一）算法效率不高，（二）原始B超图像必须是稠密的。这导致三维重建过程相当冗长，为临床诊断带来不便。针对这一问题，本人提出了在稀疏B超数据条件下的快速三维重建问题，提出了基于Bezier插值的快速算法[23]，在扫描数据较少的情况下能够保证三维重建的准确性和实时性。更重要的是，该算法能在最大程度上使重建的三维超声图像与原始B超图像在视觉效果上最接近。该方法发表在IEEE Transactions on Human-Machine Systems，目前被引用次数在当年该期刊发表论文中名列4th/78。

目前，X光CT或是DR人体牙组织诊断中主要的成像手段。但由于X光有较大辐射，医学研究人员普遍希望能利用超声实现牙组织检测。本人与中山大学附属光华口腔医院毛学理教授合作研究开发了针对人体牙组织的三维超声显像技术，设计了新的A型超声波信号处理算法降低超声伪影、克服牙组织对超声波的衰减效应，在国内首次成功获得离体牙组织的三维超声图像(图12)。在牙科诊断中，利用超声代替或部分代替X光CT的系统装备研发将成为未来热点研究方向，而本人的工作将成为重要的基础性前期研究成果，对于这一发展趋势有重要的推动作用。

本人在三维超声重建算法方面的系列工作收到学术界同行的广泛引用，例如：国际三维超声影像技术领域权威、英国剑桥大学工程学院院长、IET Fellow、有550年历史的英国王后学院院士、R.W. Prager教授的5篇SCI论文、综述及图书章节的正面引用；以及IEEE Fellow、国际IEEE生物医学工程学会主席(2005,2006)、IEEE早期成就奖获得者、IEEE Transactions on Biomedical Engineering\IEEE Transactions on Information Technology in Biomedicine副主编、美国华盛顿大学韩裔教授Yongming Kim多次正面引用。尤其是本人最早发表在Ultrasonics(2005)上的论文，目前已被引用100+次，在当年期刊全部论文中排名7th/80，相关系列论文总SCI引用次数200+。2017年，本人受邀撰写三维超声成像技术综述论文，发表在BioMed Research International[20]。

1.4.医学超声宽景成像技术

创新点：

(1) 利用低级图像特征提高配准精度，实现快速准确的2D宽景成像技术[48]；

(2) 研发实现基于GPU的实时并行化2D宽景成像技术[39]；

(3) 首次提出全新的2.5D曲面宽景成像技术，适用于肌骨组织和脊椎成像[16]，见图13-14。

科学意义：

超声宽景成像(EFOV)技术能够克服传统二维B超视野受限的缺点，通过图像配准和融合方法获得更宽视野的二维超声图像，目前广泛应用于肌骨组织的成像与诊断中。然而，由于超声图像中含有大量斑点噪声和伪像，导致配准精度不够高、成像速度慢，通常难以提供准确的组织测量功能，仅可以提供定性分析结果。

首先，我们提出采用低层视觉特征定位技术确定较少的图像数据块，通过帧采样技术大幅压缩待配准图像数据；其次，我们进一步提出了基于MPI技术的并行算法架构，实现了快速实时超声宽景成像技术。这些快速成像技术能够使临床诊断更加方便。

更重要的是，本人提出了一个全新的超声宽景成像概念-即2.5D EFOV (又称曲面宽景成像)。如图13所示，探头的扫描轨迹不再局限于2D平面内，而是可以是任意轨迹（一条曲线），由此可以构建曲面宽景图。该方法摈弃了图像配准算法，采用更精确的空间定位传感器，相比传统2D EFOV技术，2.5D EFOV的成像准确性大大提高，可以在临床上精确的测量组织的几何参数。

我们发现，2.5D EFOV更适合扫查人体脊柱。目前，对脊柱侧弯的医学成像方法主要是X光片和CT，这会对患者造成辐射损伤；尤其是青少年脊柱侧弯病人，正在生长发育阶段，而脊柱矫正治疗需要病人频繁接受X光扫描，以确定脊柱矫正的程度，对病人的身体造成极大伤害。经过与中山大学附属第一医院脊柱外科的杨军林教授（国内脊柱侧弯诊断与治疗领域的权威专家）多次交流，我们已经开展了利用2.5D EFOV扫查脊柱侧弯病人的实验，目前已经测试了30多例，取得了较好的效果，测量误差与X光片的测量结果相比仅为1%-2%。该项成果获国际医学成像领域顶级期刊IEEE Trans Med Imaging录用，已在线发表。

本人指导研究生开发实现的2.5D EFOV技术获2013年度广东省大学生“挑战杯”特等奖。目前，我们与珠海和佳医疗设备有限公司合作完成了技术产品定型（由伍钟巍总工负责），一台样机正在中山大学附属第一医院康复医学科进行临床测试（由李乐副研究员负责）。杨军林教授认为：我们的技术不仅可以测量Cobb角，还可以测量脊柱椎盘的旋转角度，比现有的X光片更好，必将在脊柱侧弯康复预后领域有着极好的应用前景和广阔的市场空间。

2.医学超声影像智能化信息处理与分析

本人深入研究智能化理论与方法，在医学信息数据挖掘、超声图像处理与分析、乳腺超声计算机辅助诊断等技术领域开展了系列研究工作，具体如下。

2.1. 医学数据的局部一致性模式挖掘与模式特征分析

2.1.1. 基于进化学习的双聚类数据挖掘理论和方法研究

创新点：

(1) 提出了基于进化计算的高维空间Hough变换参数寻优方法,用于挖掘时间序列数据中的双聚类[51]；

(2) 提出了基于子空间并行学习的双聚类挖掘算法,在微阵列人体乳腺和酵母基因数据分析进行了验证[49]；

(3) 首次提出了行/列群落与双聚类群落协同进化理论，同时实现了相应的并行化快速挖掘算法[4]，算法架构见图15.

科学意义：

随着经济发展水平的提高，人们对自身的健康和疾病治疗越来越重视，传感器和互联网信息化技术革命性的进步，又产生了海量的医学数据。因此，如何有效的通过数据挖掘方法从医学数据中发现疾病诊断的规律，一直是学术界和IT界极为关注的方向。国际上，许多IT业巨头（如Google, IBM, Microsoft,百度、腾讯、三星等）都在医学AI领域投入巨资，开展基础性研究工作。

基于双聚类的数据挖掘理论和方法在医学AI领域占有非常重要的地位，是目前的研究热点。然而，双聚类问题被证明是NP-Hard问题，当数据集规模很大的时候，在有限时间内无法利用多项式复杂度的算法挖掘全部的模式。因此，研究人员投入大量的精力研究各种新算法，试图能从海量医学数据中找到尽可能多的有生物医学意义的频繁局部模式。

本人提出了利用进化学习方法逼近全局最优解（即最优双聚类）。然而，直接应用传统的进化学习方法存在无法避免的缺陷，如：搜索空间巨大、需要大量计算资源、双聚类求解数量受限，等。为了克服上述问题，本人从2个思路出发，提出了（a）子空间学习策略，和（b）行列空间与双聚类空间的联合进化学习策略。实验结果表明，这些思路的确可以提高算法的效率和寻优能力，且算法架构适合采用并行化解决方案，相比较之前的基于进化学习策略的双聚类算法，计算效率大幅提升。这些理论和方法成功应用在人体基因数据和生物基因数据上，挖掘到了许多重要的基因表达模式

系列成果以第一/通信作者发表在Applied Mathematics and Computation (中科院2区)、IEEE/ACM Transactions on Computational Biology and Bioinformatics（生物信息学领域权威期刊），以及投稿IEEE Transactions on Evolutionary Computation（中科院1区，目前处于2审阶段）。这些成果受到多位国际权威学者的关注，例如，在国际生物信息学著名学者、BioData Mining Journal主编、西班牙塞维利亚大学J.S. Aguilar-Ruiz教授的论文: Configurable pattern-based evolutionary biclustering of gene expression data, Algorithms for Molecular Biology, 8：UNSP 4,2013中获得正面引用：

“Hierarchical clustering has also been used by Huang et al. [42], incorporating a sub-dimensional search strategy in an effort to reduce the search space dimension”

中文翻译：Huang等【42】采用了层级聚类，融合子空间搜索策略，减少搜索空间的维度。

2.1.2. 利用数据挖掘得到的模式特征建立面向应用的分析与学习模型

创新点：

(1) 将上述理论研究成果与模式识别/机器学习方法相结合，衍生出面向实际问题的系列算法架构，成功应用到无监督特征排序[52]、微阵列生物基因数据分析[49]、医学超声图像分割[41]、乳腺超声计算机辅助诊断[6,8,9,14]、金融数据分析[10,36]中。

科学意义：

双聚类数据挖掘获得的局部频繁模式，往往蕴含着重要的规律和性质，在各个领域都可以有非常好的应用价值。因此，处理研究如何挖掘双聚类，本人进一步深入研究如何使用双聚类，在这一方向提出了多种新型算法架构，有重要的学术研究价值和实用价值。

本人创造性的利用挖掘到的双聚类应用于无监督特征选择和排序，核心思想是利用局部频繁模式推导出特征的有效性，并设计了基于双聚类的特征评分法（称为Bicluster Score）。这一思路成功应用于多种不同类型的数据，获得较好的效果。成果发表在IEEE T-SMCB(现已更名IEEE T-CYB，中科院1区) [52]。成果被欧洲、印度、泰国、中国等多地学者广泛引用。其中，国际机器学习领域顶级学者、IEEE Fellow、英国玛丽女王大学教授A. Cavallaro （同时担任IEEE Signal Processing Magazine领域主编、IEEE Transactions on Image Processing/ IEEE Transactions on Multimedia/ IEEE Transactions on Signal Processing 副主编）在其论文(Cost-effective features for re-identification in camera networks, IEEE Transactions on Circuits and Systems for Video Technology 2015)引用了[52] (即Bicluster Score)。Cavallaro教授将本人提出的Bicluster Score作为标准的特征选择对照方法，与其提出的算法进行了详细的实验对比。根据其实验对比，本人所提方法的性能超过了大部分传统方法。

本人将双聚类挖掘与其它应用问题结合，也取得较好的效果。例如，通过对金融数据进行挖掘，可以发现其中重要的价格波动规律[51]。该成果甚至被美国顶级商学院教授们（如马里兰大学商学院S. Mankad、密歇根大学统计学系G. Michailidis、麻省理工学院斯隆管理学院A. A. Kirilenko）的论文正面引用。

2.2. 医学超声图像分割

创新点：

(1) 重点研究乳腺医学超声图像分割算法，根据医学超声图像的性质和特点，有针对性的提出了基于图论的稳健分割算法[50]、参数自动优化算法[46]、全自动病灶分割与提取算法[41]、三维超声图像分割算法[40]、基于多目标参数优化的稳健图论分割算法[19]等，获得了较好的效果。

科学意义：

医学超声图像分割一直以来都是公认的世界性难题，原因是超声图像中包含大量的斑点噪声和伪像，破坏严重了组织结构的边缘和纹理特征，这是由于超声波在传播过程中有散射、绕射、折射等物理现象，导致组织结构在一定程度上出现失真。因此，传统分割算法难以甄别噪声和伪像，无法获得满意的分割效果。

本人首次结合图论方法，提出新型超声图像分割算法架构，称之为“基于图论的稳健分割算法”。算法根据超声图像中噪声的特点，利用子图内部充分统计量设计子图融合准则，同时设计新的区域融合调控函数，有效提高了超声图像分割的抗噪性能和鲁棒性。

为了符合临床需求，我们进一步解决了参数自动优化问题(Neurocomputing 2014, BioMed Research International 2017)，利用无监督数据挖掘方法对低级视觉特征进行选择，实现了肿瘤区域全自动分割与提取算法（Information Sciences 2015），并进一步扩展到三维图像的分割应用中(Neurocomputing 2015)。这些算法成功应用到真实医学超声乳腺图像、甲状腺图像以及肌骨组织图像，与传统分割算法相比，分割性能得到明显改进。

系列成果以第一作者发表在Ultrasonics（声学1区，SCI引用42次，在当年期刊发表全部论文中排名6th/138）、Neurocomputing（中科院2区，ESI top3%高被引论文）、Information Sciences（中科院2区top，ESI top3%高被引论文）等国际重要SCI期刊上。其中，介绍全自动乳腺肿瘤分割算法的文章在Information Sciences当年该期刊全部论文中位居top 8%；文献[50]在发表后的90天内下载量排在Ultrasonics(声学1区)自1966年创刊以来全部论文下载量的第14位，发表当年即被我国医学影像处理技术领域著名学者、973首席科学家、中国图像图形学会副理事长、南方医科大学生物医学工程学院院长陈武凡教授的论文：Segmentation of ultrasonic breast tumors based on homogeneous patch, Medical Physics (IF:3.138), 39(6): 3299, 2012正面引用，如下：

“Another way to separate the target from the background is to combine multiple segmentation methods. For example, Huang et al.21 used the graph-based method as the initial contour estimation for active contour to find breast tumor boundaries in US images.”

中文翻译：另一种将目标与背景分离的方法是融合多种分割方法。例如，Huang 【21】采用了基于图的方法作为主动轮廓模型的初始轮廓估计，确定了超声图像中的乳腺肿瘤边界。

近3年来本人在该方向发表的系列成果在Web of Sciences总被引用次数约170次，并受国际SCI期刊邀请撰写乳腺超声分割算法综述论文[21]，表明本人提出的超声图像分割理论与方法获得学术界广泛认可和关注。

2.3. 乳腺超声计算机辅助诊断方法研究

创新点：

（1） 构建了国内目前病例样本量最大的在线乳腺超声数据库，见图18；

（2） 设计了一种全新的乳腺超声计算机辅助诊断算法架构[6,8,9,14]（图19），这一架构结合了双聚类数据挖掘方法，采用有监督挖掘的方式，获取重要的诊断模式，最后利用集成学习策略，获得乳腺病灶的良恶性分类结果；尽管该架构不是全自动的，需要医生参与标注影像特征，但在临床上操作方便，有较高的实际应用价值，最终的分类性能更是明显超过传统的自动型乳腺超声CAD技术。

科学意义：

目前，医生根据医学超声图像进行诊断的过程中，主要是根据图像的视觉特征凭借主观经验进行分析判断；由于主观性强、且经验和水平不一样，不同的医生对同一病例的图像很可能会给出完全不同的诊断结果。由此催生了医学影像计算机辅助诊断（CAD）技术，研究人员试图开发出智能化、自动化的读片系统，输入医学影像便可直接得到诊断结果，实现辅助诊断。这将极大方便临床诊断，并降低误诊率。

传统的CAD技术主要包括：图像滤波去噪、病灶分割与提取、图像特征提取、特征选择、分类器设计。尽管这一过程是自动的，但由于有多个环节，且对于超声图像来说，几乎每个环节都具有很大的不确定性（即没有可靠稳健的算法保证性能），尤其是，现有的乳腺超声数据库都太小了，一般只有100-300个病例，分类器训练样本不足，最终的分类准确性不高，导致始终没有成熟的乳腺超声技术可以真正进入临床应用。

本人分析了上述问题，首先构建了含1600+病例的乳腺超声数据仓库并对外开放，供学术同行学习研究使用。同时，在算法架构设计上，跳过最可能带来误差的环节（图像滤波、分割、特征提取选择），引入医生手动评分和数据挖掘方法，直接挖掘可解释的显著性诊断模式，可以很好的避免图像处理与分析过程中引入的干扰信息。还创造性的将挖掘到的诊断模式与集成学习方法结合，在理论上解决了非一致特征空间的分类问题，成功构造了非一致特征空间的弱分类器结构。最终学习到的分类器准确性在95%以上，远高于传统乳腺超声CAD系统。成果已经投稿国际数据科学顶级期刊IEEE T-KDE[14]，一审意见较正面，目前已经完成修改稿，二审中。

此外，临床医生经验水平不同，诊断结论很可能千差万别。为了提升超声科医生的诊断水平，我们开发了乳腺超声在线学习与测评系统，这在国际上也是首个在线乳腺超声医师培训系统，已经在中山大学附属肿瘤医院、复旦大学附属肿瘤医院、中山大学附属第一医院等国内著名三甲医院进行了测试和应用，受到广泛好评。成果发表在Computer Methods and Programs in Biomedicine (2018)[6]。

由于本人在超声影像CAD技术中的研究成果受到学术同行的广泛关注，受邀撰写相关综述论文于2018年3月在线发表[3]。

2.4. 医学造影图像辅助诊断

创新点：

（1）提出实现首个关注非典型肝癌（图20）领域的计算机辅助诊断算法。

（2）提出基于诊断语义的时空域特征提取算法（图21），用于Contrast-Enhanced Ultrasound (CEUS) 的视频帧分析。

科学意义：

随着医疗技术的普及，人们对自身健康将越来越重视，医生在日常工作中需要对大量的扫描影像进行诊断，极大地增加了医生的工作压力。同时，非典型肝癌与良性肿瘤之间的造影增强形态的相似性更要求专业医师的仔细辨认。然而，目前并没有关于非典型肝癌的辅助诊断系统用于缓解医生的工作压力。

为此，我们提出了基于医生诊断语义的算法模型。模仿医生诊断时的流程，转化医生诊断良恶性肿瘤时的先验知识为数学特征，并应用在视频序列上，有效提高诊断的效率和提供鲁棒的辅助诊断意见。