STREAM: Exploring the Combination of Spatially-Aware Tablets with Augmented Reality Head-Mounted Displays for Immersive Analytics

论文：STREAM: Exploring the Combination of Spatially-Aware Tablets with Augmented Reality Head-Mounted Displays for Immersive Analytics

作者：Sebastian Hubenschmid, Johannes Zagermann, Simon Butscher, and Harald Reiterer

发表：Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. ACM, 2021

沉浸式分析领域的最新研究表明，头戴式增强现实设备可以用于可视分析。但是，使用默认支持的空中手势与增强现实中的可视化交互是比较困难的。基于触摸的交互可以弥补一些缺点，但受限于二维输入。本文提出了 STREAM（Spatially-aware Tablets combined with Augmented Reality Head-Mounted Displays）：结合空间感知平板电脑与增强现实头戴式显示器，支持 3D 可视化的多模态交互。并且为平板电脑和增强现实环境之间的无缝过渡提出了一种新颖的免视（eyes-free）交互概念。

论文链接

简介

AR与VR设备的革新为可视分析提供了新的可能性。得益于自我中心导航和立体感知功能，头戴式显示器（HMD）可以帮助理解3D可视化。另外，AR设备可以帮助用户保持当前的工作习惯。AR环境还允许无缝结合辅助设备。

交互是可视分析中的重要一环，但这在沉浸式环境中很有挑战性。AR HMD可以使用多模态交互（例如空中手势、头部追踪、自然语言输入等），对一些特定的可视分析任务使用合适的交互方式很有好处（例如用语音输入文本信息）。但是，对于一些任务，这些交互方式并不能满足交互需求（交互精度、自由度），用户使用起来也比较累。触屏可以提供精确、省力的交互方式，但局限于2D，缺乏3D交互。为移动设备添加3D输入能力是一个不错的解决方案。因此，本文使用具有空间感知功能的平板结合AR HMD与3D可视化进行交互。

本文提出了STREAM (Spatially-aware Tablets combined with Augmented Reality Head-Mounted Displays)原型，提供对3D可视化的多模态交互。本文使用由2D散点图连接而成的3D平行坐标可视化，很适合进行2D与3D的交互。空间感知平板在提供触屏操作的同时，也可以与AR HMD配合提供3D场景内的交互。为了填补平板与AR环境间的间隙，本文提出里免视（eyes-free）交互的概念，允许用户在交互时将视线保持在AR显示内容上，避免了在不同的显示内容间来回切换视线。另外，本文的原型还融合了AR可视化与平板显示，支持在平板显示器与AR环境间无缝切换。

贡献

提出STREAM，结合了AR HMD和空间感知平板，提供对3D可视化的多模态交互，并提出了免视交互的概念。
参照开发经验和用户调查，提出了设计见解和潜在研究方向。

可视化设计

本文的可视化设计比较简单，主要是一个由多个2D散点图连接而成的3D平行坐标。

2D 散点图

2D散点图中可以对数据点进行着色、过滤和排序，也可以直接在散点图上选取数据。另外，在该维度上缺失数值的数据点会被放在散点图左侧或下方的轴上。

3D 平行坐标

用户通过数据选取、过滤、着色等操作，可以渐进式探索高维数据集。最终形成的3D可视化成流式外观，与原型的名称STREAM呼应。

交互设计

免视交互 Eyes-free Interaction

免视交互是本文的亮点，也是重要贡献之一。本文中的免视交互指的是用户在使用平板设备进行交互时，可以将实现保持在AR可视化上，而不需要低头看着平板操作。这种设计减少了用户视线在不同显示器间的切换，可以有效提高任务效率和用户体验。

如上右图所示，平板的四个角上有四块很大的区域用于对应的交互，用户可以在不低头看平板的情况下轻松点击一块区域进行想要地交互。同时，在AR环境中会显示一个如上左图所示的提示，告知用户四块区域所对应的操作。另外，系统还支持语音交互。双指同时按下屏幕可以激活语音输入，AR显示中也会同时出现可用的语音命令提示（如上中图）。