换一批渐进融合与特征激活协同的RGB-D食品营养评估
RGB-D Food Nutrition Assessment Driven by Progressive Bidirectional Fusion and Complementary Feature Activation
摘要目的:食品营养评估对于指导饮食健康和预防疾病至关重要.然而,现有RGB-D食品营养评估模型存在层级特征间交互低效且层级表征冗余、多模态特征关联性弱以及计算开销大的问题.方法:本文提出一种渐进式双向融合与互补性特征激活协同驱动的RGB-D食品营养评估模型.首先,设计渐进式双向融合模块,利用双向信息流(高层语义校准低层细节,低层特征增强高层表征)和两阶段渐进融合强化多尺度特征关联性并去除冗余的特征表示,通过层级拼接生成互补的RGB-D多模态特征;其次,构建互补性特征激活模块,联合反向特征金字塔(RevFP)的空间域局部加权与高效通道注意力(ECA)的通道域动态交互激活具有互补性的多模态特征,在增强多模态特征间关联性的同时降低计算开销.结果:所提方法在Nutrition5k数据集上的百分比平均绝对误差(PMAE)的平均值为17.7％,其中热量、质量、脂肪、碳水化合物和蛋白质的PMAE分别为14.6％,10.3％,23.3％,20.3％和20.0％.在计算开销方面,参数量、计算量和推理速度分别为106.68× 106,64.52×109和16.1 frame/s,验证了所提方法的有效性.结论:所提方法为食品营养评估任务提供了一种有效的解决方案.
更多相关知识
关键词
食品营养评估RGB-D多模态学习渐进式双向融合互补性特征激活轻量化网络food nutrition assessmentRGB-D multimodal learningprogressive bidirectional fusioncomplementary fea-ture activationlightweight network
栏目名称
DOI
10.16429/j.1009-7848.2026.02.029
发布时间
2026-04-21（万方平台首次上网日期，不代表论文的发表时间）
基金项目
- 浏览0
- 被引0
- 下载1
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
