首页 > 黑龙江科学 > 跨模态眼底图像转换网络NUFGAN研究

跨模态眼底图像转换网络NUFGAN研究

Research on Cross-modal Fundus Image Conversion Network NUFGAN

二维码有效期 120s

摘要糖尿病视网膜病变(Diabetic retinopathy,DR)是糖尿病最常见的并发症之一,随着病情的发展,患者会出现不同程度的视网膜病变,因此对患者及时进行DR诊断十分必要.眼底彩照检查和眼底荧光血管造影图像(Fundus fluorescein angiography images,FFA)检查对DR诊断有互补作用,但由于医疗资源有限及FFA检查的侵入性等原因无法及时获得诊断所需的多模态影像信息.借鉴无监督网络的思想,提出一种新的跨模态眼底图像转换网络-NUFGAN(A generative adversarial network combining negative samples、Unet and fused attention,NUFGAN),从而获得诊断所需的多模态图像.针对转换中存在的问题,在NUFGAN网络加入了新的负样本约束和负样本损失函数,修改了生成器结构并加入了聚类算法.基于对NUFGAN网络的有效性研究进行对比实验,结果显示NUFGAN的转换结果与CycleGAN、NiceGAN、U-GAT-IT-light及 PgGAN4 个先进的无监督网络相比,在PSNR上分别高出1.21、0.28、0.24、0.90,在SSIM上分别高出1.61%、0.71%、0.17%、4.47%.基于对多模态数据作为输入的有效性研究及对NUFGAN有效性的进一步研究,进行下游DR分类实验,相关实验数据表明,使用多模态数据作为输入的无监督DR分类网络的结果比使用单模态数据作为输入的无监督DR分类网络的结果在准确率、精确率、召回率和F1-Score上分别高出1.78%、0.27%、1.13%、1.10%.