论文：Semantic Interaction for Sensemaking: Inferring Analytical Reasoning for Model Steering
会议：VAST 2012
作者：Alex Endert, Patrick Fiaux, Chris North
作为一种认知方式，可视分析通过可视化和交互界面使用户得到原始数据、计算模型以及可视化视图中的信息，因此怎样合理构建“用户-可视化-计算模型”之间的交流方式是可视分析中的重点之一。本文提出了语义交互（Semantic Interaction）这一意义构建（sensemaking）方式，旨在建立一种用户可理解、并且可将用户所理解的意义反馈给计算模型的交互手段。
意义构建
意义构建是人类基于已有知识和直觉，在内心中构建信息间联系的过程。[2]中，作者提出意义构建的过程分两大阶段：foraging 和 synthesis。foraging 阶段强调在已有信息中搜索并过滤有效信息，而 systhesis 阶段则对这些有效信息进行理解、综合和检验。图 1 展示了情报分析（Intelligence Analysis）中意义构建循环的各个阶段及其关系。
语义交互
图 2：语义交互模型。用户可以与可视化界面进行交互，系统根据交互结果调整统计模型参数，并将调整后的结果反馈至可视化界面。
上文提到，意义构建由两个分开的阶段组成。现有基于可视分析的意义构建工具与案例主要都围绕单个阶段展开，然而当前没有同时包含两个阶段的工具和模型，因此文章提出了语义交互这一概念，对包含了两阶段的意义构建过程进行建模。
可视化使用空间（平面）形式进行信息表达。从用户角度看，语义交互过程是对平面上可视对象布局进行语义上的解释的过程，即可视对象的空间位置排布带有意义。当用户对含有意义隐喻的可视对象进行操作时，底层的计算模型也会相应发生变化，并将变化反馈至用户。这种方式避免了用户对计算模型参数的直接干预，使用可视化隐喻的方式
图 3：传统可视化流水线（上）与含有语义交互的可视化流水线（下）。含语义交互的可视化流水线中，用户交互行为以 soft data 形式融入整个流程，而传统可视化流水线并没有显式地构建出用户交互。
ForceSPIRE 原型系统
作者构建了 ForceSPIRE 可视分析系统以实现语义交互这一概念。该系统为分析师提供了交互式文本分析环境，分析师可以通过多种语义操作对文本进行交互，改变文本间的相似度，并带动底层力引导模型发生相应变化，以发觉文本间的相似性关系，并最终提取出有效信息。
图 4：在大屏环境下使用 ForceSPIRE。其系统界面环境与现实生活中对（纸质）文件进行情报分析的场景十分相似。
图 5：某分析师使用 ForceSPIRE 分析大量文本情报中包含的恐怖袭击线索。图中展示了不同分析时间时，分析师的界面使用及意义构建情况。聚在一起的文本情报构成了一个相关意义群。
总结
语义交互提出了一种新的在可视分析进行意义构建的思路，拓展了传统可视化流水线中对交互部分的描述。该方向仍有很多亟待解决的问题，例如在其他类型的可视分析场景中使用语义交互，以及继续挖掘 soft data 中的潜在价值等。
相关文章：
[1] A. Endert, P. Fiaux, and C. North, “Semantic interaction for visual text analytics,” presented at the CHI ’12: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2012.
[2] Pirolli, P. and Card, S. Sensemaking Processes of Intelligence Analysts and Possible Leverage Points as Identified Though Cognitive Task Analysis, Proceedings of the International Conference on Intelligence Analysis, 2005, 6.
[3] ForceSPIRE http://infovis.cs.vt.edu/content/forcespire-semantic-interaction-visual-analytics
✉️ zjuvis@cad.zju.edu.cn