团队简介
陕西高校青年创新团队——多模态大数据挖掘与融合创新团队依托西安交通大学城市学院,整合我校计算机、智能建造和经管等学科与西安交通大学计算机、网络安全等学科的优势科研力量,形成了一支在多模态数据挖掘与融合方向、学科交叉的研究团队。
研究团队以“需求牵引、兴趣驱动、优势互补、融合发展”为理念,实行“统筹规划、分工负责、权责分明、开放竞争”的运行机制,积极探索跨校协作、研用结合的新路径,同时高度重视科研诚信与师德学风建设,倡导以德立身、以德立学、以德施教、以德育德。团队成员共16人,我校10人,西交6人,团队成员平均年龄33岁,博士/副教授占比达65%,呈现出鲜明的交叉融合与年轻化特点。
研究团队通过共同承担项目、共享研究平台,开展了深入系统的研究,取得了一系列重要成果,并培育形成了开拓进取的创新模式和协作互助的团队文化。

团队形成与发展
研究团队聚焦“多模态数据挖掘与融合”领域,围绕国家及陕西省重大需求,开展基础理论与关键技术攻关,主要研究目标包括:
. 多模态数据统一表征:研究文本、图像、视频等异构数据的统一表示方法,解决多源异构数据的对齐与融合问题,提升数据的可用性与泛化能力。
. 逻辑规则挖掘与表征:探索从多模态数据中自动发现潜在逻辑关系与规则的方法,增强模型对复杂场景的理解与适应能力。
. 可解释推理机制:构建具备可解释性的人工智能推理模型,提升决策过程的透明度与可信度,支撑高可靠性应用场景。
. 多场景应用:以智慧教育和网络安全为切入点,推动多模态数据挖掘技术在真实场景中的落地应用,并逐步拓展至抗震减震、数字经济等国家战略领域。
未来,团队将继续围绕“多模态数据挖掘与融合”开展基础理论研究和关键技术攻关,力争在上述领域形成新理论、新方法、新应用,为国家和区域发展贡献创新力量。
研究方向
团队研究方向与陕西省“六大新支柱产业”中“新一代信息技术”领域具有很强的契合度,属于大数据与人工智能领域的前沿研究方向,可为落实《提升全省重点产业链发展水平若干政策措施》、《陕西省“十四五”大数据产业发展规划》提供技术支撑。团队依托西安交通大学城市学院及西安交通大学的“计算机科学与技术”学科,近年来先后主持/参与国家重点研发计划课题、国家自然科学基金项目,在多模态数据挖掘与融合方面取得多项创新性成果,形成了具有优势的研究方向。特别是在智慧教育领域的应用研究,形成了鲜明的研究特色。

团队研究方向
主要研究工作
如何从海量数据中有效分析、挖掘并融合多模态数据,是提升数据可用性的关键科学问题,也是大数据时代面临的挑战性难题。团队围绕“多模态数据挖掘与融合”这一主线,从基础理论、核心技术与应用验证三个层面开展系统研究,具体内容包括:
1.支撑多模态数据融合的基础理论与共性算法研究
面向网络大数据环境下处理对象(如时变、异构、高维、不确定等)与运算环境(如数据流、磁平、分布式、超算等)的动态变化特征,系统分析传统数据分析与机器学习基本假设的适用性变化,探索重构多模态数据挖掘与融合的基础理论框架,并开展共性算法研究。目前已在相关理论基础方面形成初步研究方案。
2.多模态数据融合的核心技术研究
聚焦多源数据的时空特性与演化规律,突破多模态数据的深度理解、统一表示、关联挖掘与智能推理等关键技术,推动多模态数据的量质转换。具体包括:
. 多模态数据表示与时空特性分析
. 多源数据关联挖掘与拓扑融合
. 高阶推理机制与置信度评估
3.理论与关键技术的验证与应用
将研究成果在智慧教育、网络安全及抗震减震等领域开展实证应用,推动技术落地与转化。
. 智慧教育:针对教学资源“文本+示意图”并存的多模态特点,探索“合成数据+自监督”的跨媒体表征新方法,构建小样本场景的多模态资源深度理解模型,研究规则引导的高阶推理机制。在此基础上,开展难度可控的问题生成与可解释自动解答方法研究,支撑个性化导学应用。
. 网络安全:围绕用户隐私数据保护需求,通过对网络多源数据依赖关系的识别与抽取、隐私数据违规泄露行为可达性验证,以及量化评估网络安全状况三方面的研究,实现对隐私数据的识别、潜在漏洞挖掘与违规行为复现,研制隐私数据违规泄露行为检测工具,并开展实证测试。
. 抗震减震:通过高密度地震监测数据对结构体系的运动状态与动力特性进行多维特征提取,构建复杂阻尼体系的判别模型,准确识别土-结构相互作用体系、“鞭梢效应”高层结构等非线性、不连续动力行为,拓展传统抗震理论在非线性动力响应分析中的工程应用边界,为复杂建筑结构的抗震性能优化提供关键技术支撑。

多模态融合与推理技术
代表性研究成果

联系我们

交大城院团队部分成员合照
核心成员代表

地址:陕西省西安市尚稷路8715号行政楼207 邮编:710018
联系人:何绯娟 E-mail:hfj@mail.xjtu.edu.cn