如何在 AR 世界里优雅地啪啪啪|严肃装逼

今夜，

我们来聊聊交♂互♀。

这年头，不污没有 KPI 啊！

当你触击屏幕或者点击鼠标点开这篇文章时，就已经发生了交互行为。后悔已经来不及了，快上车吧！

人类和动物的区别在于使用工具。自计算机、手机等工具出现以来，人类是通过双手获取和处理信息，那么未来呢？

增强现实技术（AR）本身作为一种新型的人机交互接口有望取代触摸交互方式。

颤抖吧，「鼠标手」、「低头族」们！

在成熟的 AR 世界里，挥挥手一切全都搞定。

在早期的 AR 研究中，重点主要集中于跟踪、注册和显示。简单地将虚拟物体叠加在真实场景内，并通过显示设备观看虚实效果，没有太多与外界的交互。但是随着计算机性能的提高，显示设备的微型化、便携化，仅「显示」的增强场景不再能满足用户的需求，因此促使多种交互技术在 AR 系统中应用，如利用语音识别技术、手势和人体姿态识别技术等。

交互技术是一些有共同特征的交互任务的抽象表达方式，通过研究人机交互过程中的共性，实现在不同环境下的交互，其研究目的是达到人与机器交互的自然和高效。例如，传统的鼠标采用单击方式对交互进行抽象。新型的手势识别技术可以用特定的手势来实现单击功能，比如医生只需挥动手就可以翻看患者的 X 射线照片，而不需要用传统的遥控器上下翻阅，这为医生在手术过程中对病情资料的查看带来巨大方便。还如用户只需舞动手，就能通过 Kinect 控制虚拟场景中的人物打乒乓球。

增强现实系统中的交互方式大体可分为以下几类：

1、基本命令式交互

通过交互完成选择、漫游、旋转、操控等功能。该技术通过指定动作状态对应指定操作，如选择、移动等。可以通过获取人手的空间位置特征信息，触发相应命令。

2、双手交互

该技术在认知心理学上逐渐受到关注，该交互方式能够给人带来直接、高效的交互体验。双手交互的研究主要集中于双手操作的行为心理学基础和双手交互在人机交互中的应用。如下图基于 AR 的汽车维修，用户可以通过观看虚拟动画提示正确的操作维修和学习。

3、多通道交互

人自身具有多种感官感知功能，虚拟环境可以为用户提供真实的高浸没的感官体验。通过手势、身体姿态、语音甚至对眼睛视点捕捉都可以作为增强现实系统中的交互方式。此外，还可以将触觉、嗅觉、听觉、力反馈等作为输出，从而实现多通道的增强现实交互与用户意图的结合。Tempest 在 TED 大会上分享基于增强显示技术的投影追踪和绘画系统，该系统包括手势跟踪、脸部追踪以及基于 Kinect 深度度图像控制的「global magic dust」。

4、特殊工具的交互方式

可以使用简单的、易于识别的工具或标识点作为交互设备，通过识别不同工具或动作的命令，实现不一徉的增强现实交互体验。比如使用简单自制的红外笔，外加投影跟踪系统就可以实现简单的电子白板，实现只要花费 40 美元，就可以等同拥有上千美元的数位自板、多点触控大屏幕和头戴式 3D 浏览器。

目前，成熟的 AR 设备，我们能拿来举栗子的只有微软 HoloLens 了。

HoloLens 采用的就是多通道交互，其交互模型主要涵盖三大交互元素：凝视 (Gaze) 以及手势 (Gesture) 和语音 (Voice)。