论文:Semantic Interaction for Sensemaking: Inferring Analytical Reasoning for Model Steering

会议:VAST 2012

作者:Alex Endert, Patrick Fiaux, Chris North

作为一种认知方式,可视分析通过可视化和交互界面使用户得到原始数据、计算模型以及可视化视图中的信息,因此怎样合理构建“用户-可视化-计算模型”之间的交流方式是可视分析中的重点之一。本文提出了语义交互(Semantic Interaction)这一意义构建(sensemaking)方式,旨在建立一种用户可理解、并且可将用户所理解的意义反馈给计算模型的交互手段。

意义构建

意义构建是人类基于已有知识和直觉,在内心中构建信息间联系的过程。[2]中,作者提出意义构建的过程分两大阶段:foraging 和 synthesis。foraging 阶段强调在已有信息中搜索并过滤有效信息,而 systhesis 阶段则对这些有效信息进行理解、综合和检验。图 1 展示了情报分析(Intelligence Analysis)中意义构建循环的各个阶段及其关系。

img

图1:情报分析师的意义构建循环过程。引自[1]。

语义交互

img

图 2:语义交互模型。用户可以与可视化界面进行交互,系统根据交互结果调整统计模型参数,并将调整后的结果反馈至可视化界面。

上文提到,意义构建由两个分开的阶段组成。现有基于可视分析的意义构建工具与案例主要都围绕单个阶段展开,然而当前没有同时包含两个阶段的工具和模型,因此文章提出了语义交互这一概念,对包含了两阶段的意义构建过程进行建模。

可视化使用空间(平面)形式进行信息表达。从用户角度看,语义交互过程是对平面上可视对象布局进行语义上的解释的过程,即可视对象的空间位置排布带有意义。当用户对含有意义隐喻的可视对象进行操作时,底层的计算模型也会相应发生变化,并将变化反馈至用户。这种方式避免了用户对计算模型参数的直接干预,使用可视化隐喻的方式

img

图 3:传统可视化流水线(上)与含有语义交互的可视化流水线(下)。含语义交互的可视化流水线中,用户交互行为以 soft data 形式融入整个流程,而传统可视化流水线并没有显式地构建出用户交互。

ForceSPIRE 原型系统

作者构建了 ForceSPIRE 可视分析系统以实现语义交互这一概念。该系统为分析师提供了交互式文本分析环境,分析师可以通过多种语义操作对文本进行交互,改变文本间的相似度,并带动底层力引导模型发生相应变化,以发觉文本间的相似性关系,并最终提取出有效信息。

img

图 4:在大屏环境下使用 ForceSPIRE。其系统界面环境与现实生活中对(纸质)文件进行情报分析的场景十分相似。

img

表1:ForceSPIRE中使用的语义交互形式。

img

图 5:某分析师使用 ForceSPIRE 分析大量文本情报中包含的恐怖袭击线索。图中展示了不同分析时间时,分析师的界面使用及意义构建情况。聚在一起的文本情报构成了一个相关意义群。

总结

语义交互提出了一种新的在可视分析进行意义构建的思路,拓展了传统可视化流水线中对交互部分的描述。该方向仍有很多亟待解决的问题,例如在其他类型的可视分析场景中使用语义交互,以及继续挖掘 soft data 中的潜在价值等。

相关文章:

[1] A. Endert, P. Fiaux, and C. North, “Semantic interaction for visual text analytics,” presented at the CHI ’12: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2012.

[2] Pirolli, P. and Card, S. Sensemaking Processes of Intelligence Analysts and Possible Leverage Points as Identified Though Cognitive Task Analysis, Proceedings of the International Conference on Intelligence Analysis, 2005, 6.

[3] ForceSPIRE http://infovis.cs.vt.edu/content/forcespire-semantic-interaction-visual-analytics



Questions & Discussion: ✉️ zjuvis@cad.zju.edu.cn