项目名称：面向公共安全的跨媒体计算理论与方法首席科学家：庄越挺浙江大学起止年限：2012.1-2016.8依托部门：教育部浙江省科技厅一、关键科学问题及研究内容拟解决的关键科学问题本项目凝炼出跨媒体数据统一表示和建模方法、跨媒体数据关联推理与深度挖掘、跨媒体数据综合搜索与内容合成三个科学问题。关键科学问题之一：跨媒体数据统一表示和建模方法跨媒体数据的自然属性和社会属性具有异构、多阶、高维等特点，随时间、空间动态变化。蕴含关联性语义的异构属性之间存在着内在一致、相互互补和动态演化等特性。基于相似度量学习和拓扑分析，发现这些异构特征属性之间所内嵌的本征结构，通过图、矩阵和张量等理论和方法建立跨媒体数据关联性语义结构一致性描述，对高层语义进行整体性表达，最终实现跨媒体数据自然属性、社会属性以及交互行为等上下文之间存在的复杂关系建模，是关键的科学问题。关键科学问题之二：跨媒体数据关联推理和深度挖掘蕴含着相同语义、主题和事件的文本、图像和视频等跨媒体数据在不同网络平台上瞬时涌现，然后迅速传播和演化，最终引发热点话题。发现跨媒体数据与现实生活个体和群体行为之间的相互影响规律，揭示特定事件为内容的跨媒体数据传播与演化机制，对跨媒体数据所蕴含话题、事件和模式进行语义理解，建立跨媒体推理模型，挖掘话题、事件和模式之间的隐性关联，进而对随用户交互及数据流式增加情况下新话题、事件和模式的产生和迁移进行预测预警，是关键的科学问题。关键科学问题之三：跨媒体数据综合搜索和内容合成跨媒体所蕴含的话题、事件和模式往往文本、图像、视频和空间位置等媒体数据从不同侧面进行整体性表现。为了充分利用海量跨媒体数据，需要理解用户以自然语言和跨媒体样例来表达的检索意图，研究考虑内容、质量和热度等属性的跨媒体排序方法和相关反馈机制，建立从一类媒体数据检索另外一类媒体数据的综合检索理论和方法。同时，析取跨媒体数据所蕴含的热点话题中决定性因素和重要阈值，选择重要性单词、文本、图像、视频、空间位置和评价等，提取热点话题的摘要及代表性语义单元，进一步通过类比和联想等手段，合成潜在性热点话题，对其进行多粒度和多视点回溯、仿真和预测，高效利用跨媒体数据。主要研究内容针对跨媒体数据统一表示和建模方法这一关键科学问题，本项目将结合跨媒体特有的自然属性和社会属性，研究跨媒体基元提取与描述方法，实现跨媒体一致性语义结构的统一表示和关联建模，刻...
