欢迎访问制造业自动化官方网站!

期刊动态与公告

《制造业自动化》青年编委会风采-张强

个人简介

张强,2001年、2004年、2008 年分别在西安电子科技大学获学士、硕士和博士学位,2014-2015 年于加拿大麦吉尔大学做访问学者,现为西安电子科技大学教授,博士生研究生导师,自动控制系主任,智能技术创新团队负责人,中国自动化学会制造技术专业委员会委员、中国人工智能学会智能光学成像专业委员会委员、中国计算机学会多媒体专业委员会执行委员、中国图像图形学会机器视觉专业委员会委员、中国系统仿真学会智能物联网系统建模与仿真专业委员会委员、中国自动化学会教育工作委员会委员、中国机械工业教育协会自动化专业委员会委员、西安自动化学会常务理事、教育部学位与研究生教育评估通讯评议专家、《Multimedia Tools and Applications》和《IET Computer Vision》期刊副主编、《制造业自动化》期刊青年编委等。

 

研究方向:

u多模态图像理解

u跨模态图像检索

u多传感图像融合

代表性研究成果:

多年来,一直专注于多模态/跨模态场景理解方面研究,重点围绕着多传感器图像融合、单模态/多模态图像密集预测(包括单模态/多模态图像显著性目标检测、多模态图像语义分割)、多模态目标跟踪以及跨模态行人重识别等展开研究。

1.多模态目标跟踪——基于跨模态知识蒸馏的轻量级RGB-T目标跟踪方法

相对于单模态目标跟踪模型,多模态目标跟踪模型需要处理更多的输入数据,进而导致现有模型网络参数量更多、计算复杂度更高、运行速度更慢。在实际应用场景中,硬件条件往往是有限的,使得现有算法无法满足实际应用的需求。尽管部分算法尝试采用轻量化设计显著提高模型推理速度,但其性能与现有先进算法相比存在巨大差距。针对这一问题,提出一种基于轻量化设计和跨模态知识蒸馏的多模态目标跟踪算法,从模型框架的角度提出使用早期多模态特征融合框架,从而减少模型参数量和计算复杂度。在此基础上,将所设计的轻量化模型作为学生模型,并采用模型参数量多、计算复杂度高且性能优越的模型作为教师模型,提出一种多阶段的跨模态蒸馏框架,进行多阶段的知识传递以进一步缩小轻量化模型与先进多模态跟踪模型间的性能差距。

1 基于跨模态知识蒸馏的轻量级RGB-T目标跟踪方法

2.不定模态显著目标检测

研究意义:现有单模态/多模态显著目标检测方法只是针对某一特定单/多模态图像设计或训练,其输入图像模态往往是不可改变的。然而,在实际应用中,设备可能同时装配多个模态的相机,并根据需求选择性地搭配使用不同模态相机。通常情况下,可以根据输入模态种类,设计并训练多个固定模态图像显著目标检测算法,以便在输入模态变化时,切换相应算法,但这容易增加设备的硬件成本,且存在大量重复性劳动,延长了设备开发周期。对此,我们首次提出任意模态图像的显著目标检测任务,旨在设计一个模型实现从任意模态图像中,而不只是某一特定模态图像,检测出显著目标。具体地,我们首先提出一种基于提示学习的模态自适应表征新理论,实现对任意模态图像的高效自适应表征,然后提出一种新型的动态融合中继器,以实现任意数量模态特征的动态融合。

  2 不定模态显著性目标检测





发布日期: 2024-11-22    访问总数: 21