目录
引言
1 相关工作
1.1 工作场景捕捉与共享
1.2 共享远程线索
2 系统设计
2.1 系统结构
图1
2.2 多模态线索框架
图2
图3
2.3 线索虚实扩散算法
3 用户研究
3.1 实验流程
3.2 实验任务与环境
图4
图5
图6
3.3 任务记录
4 实验结果分析
4.1 任务时间
图7
4.2 任务准确率
图8
图9
4.3 调查问卷结果研究
图10
4.4 主观调查
图11
4.5 结果讨论
5 结语
摘要
【目的】 为解决工业传统巡检方式因工作效率低下、巡检不到位造成人员伤亡和财产损失等问题，提出一种基于增强现实技术的远程工业协同系统。【方法】 该系统设计了双向线索的交互模式，在远程专家和本地工作人员之间创建丰富多样的线索和双向注释来增强双方协作的效率，更高效地完成远程协作任务。为保证专家和工作人员在各自场景中手绘的二维线索信息实时映射为三维线索信息，采用一种基于深度相机焦距的线索信息的扩散虚实算法，该算法可实时获取手势绘制信息，工作人员的目光注视可实时呈现在专家端。为验证该系统的可用性与优势，选择在真实复杂的场景下模拟了远程异地协同巡检任务和设备操控任务，并设计完备的实验和用户问卷调研。【结果】 对比实验结果，表明该系统的新型交互模式具有更高的用户认可度，相比于传统纸质维护说明、音视频电话指导可大幅降低工作人员任务负荷，并提高任务完成效率。【结论】 最后研究了多种形式下用户认知的主观反馈，提出在工业场景下引导用户行为的建议。
关键词： 增强现实; 多线索; 远程协同; 可视分析; 人机交互
引言
随着我国铁路运行速度和运营里程大幅度提高，保障铁路运营安全愈发重要，这对现场从业人员的巡检方式和故障处理水平提出了更高的要求。通过巡检能准确地掌握现场情况、发现隐患，有针对性的对缺陷及隐患进行消除。目前，铁路施工及运营单位日常巡检方式仍采用人工或半自动巡检，受人员综合素质的影响，存在工作效率低下、巡检不到位等情况，进而造成人员伤亡和巨额财产损失。现有减缓这些现象的手段包括无人机巡检、巡检机器人等，其中最有帮助的是计算机辅助巡检，它能大大减轻铁路现场作业人员的工作量并提高效率。计算机辅助巡检中远程协作是最常用且最适用的方法，它首先对本地工作环境或工作场景进行捕捉，远程专家通过共享通信线索对本地工作人员进行指导和知识的传递；然而这种远程协作方法的局限在于难以回传准确的现场信息，且指令下达不准确，从而使得作业交互变得不通畅。
目前，增强现实（Augmented Reality，AR）技术已被大量引入工业，在远程协作方面具有良好的效能。AR能将3D模型、视频、图片文字等信息以虚拟元素的形式叠加到真实作业现场，可对标准化作业的生产步骤、特殊维护说明等任务以直观、便捷、可交互的方式呈现在现场作业人员眼前[1]；另一方面，增强现实远程协作指导针对复杂难以排查的问题，可通过专业技术人员的远程诊断让现场操作人员在指导下完成巡检及维修任务[2]，现场工人通过这种技术跟随叠加到真实环境中的注释及指令引导，能快速、准确地完成工作[3]。然而现有远程协作可视化系统大多是单向注释且交互线索单一，多为专家单向传递指令给工人，无法及时捕捉两者之间对指令理解的偏差，在复杂场景的远程交互中对现场作业人员巡检帮助有限，容易给作业人员带来心理压力。本文开发的AR多线索远程工业协同系统有望解决上述问题，实现工业维护任务中专家和工作人员之间双向注释的远程合作，在此基础上通过两项工业场景下的任务探索了该系统的适用性。本文的贡献有以下3点：
（1）设计了基于双向线索的交互模式，在远程专家和工作人员之间创建多样线索和双向注释增强双方协作的效率。
（2）通过多项对比实验及问卷调研，证实此新型交互模式的高效性并具有更高用户认可度。
（3）研究了多种形式下用户认知的主观反馈，实现了一个多线索远程协同系统，通过用户研究证明了系统在复杂工业场景下巡检与施工任务中具有提高工作效率、减轻工作难度的效果，并提出在工业场景下引导用户行为的建议。
1 相关工作
协作分析是可视化（VIS）、计算机支持协同工作（CSCW）与人机交互（CHI）的新兴研究领域[4]。协作任务总体上按任务空间和任务角色分类[5]，任务空间可以分为本地共同工作和远程异地工作；用户角色对称性是指用户在协作过程中所扮演相同角色或执行相同的任务，如果用户所处角色不同则属于角色不对称，如教授任务，关注的问题主要是角色不对称的远程协同工作。该问题的用户角色主要分为工作人员和远程专家（或助手），本地工作人员需在远程专家的帮助与指导下进行对象的操作或知识的学习。
远程协同工作通常分为两个部分：（1）远程专家对本地工作环境或工作场景的捕捉与共享；（2）远程专家和本地工作人员共享远程通信线索[6]。本节将从协同工作的两部分做具体介绍。
1.1 工作场景捕捉与共享
能够精确、迅速捕捉和共享任务环境是建立交互双方共同认知并提供流畅沟通的基础和保证[6]，如何快速高效的完成对工作场景的捕捉与共享是很多远程协作问题所探讨的重要问题。例如早期一些协作方法使用基于视频的接口来实现远程协作的场景共享[7-8]，但这些方法一般很难提供场景的深度信息，造成专家的理解困难[9]。同时，由于静态相机的限制，远程专家往往难以观察到他们感兴趣的目标，从而导致沟通效率降低[10]。随着摄像机的小型化和轻量化发展，越来越多的研究将注意力放在头戴摄像机场景共享上，远程专家对工作环境的观察会被紧密耦合到本地工作人员的头部，这使远程专家可以实时跟踪本地工作人员的动作和注意力，减小远程专家的认知负荷[11]；但过于频繁的摄像机的移动会使远程专家出现头晕的情况[6]，这不利于远程专家长时间指导任务。
目前，被认为能为远程专家提供高效的工作场景的捕捉方法是三维重建技术，例如Gao等[12]等通过使用外部深度传感器捕获关键帧将其集成为三维点云数据集，最后将整个系统重构到虚拟现实（Virtual Reality，VR）世界中；Bai等[11]在场地天花板上安装实时三维全景捕捉器，然后将三维场景实时构建在虚拟现实环境中。上述提到的方法包括其他三维重建技术通常都能提供足够深度的信息以供远程专家对工作人员物理环境的理解和复杂环境的探索能力。三维重建技术的劣势也比较明显，一方面，其重构的工作环境的大小和画面传输质量很难兼容[11]；另一方面，三维重建技术在使用过程中往往会占用大量网络宽带，扫描环境所需设备也会限制远程专家对本地场景的感知[13-14]。
360°全景视图被认为是头戴摄像机和三维场景重建之间的折中，Teo等[14]等对比了三维重建技术和360°全景视图，其认为360°全景视图可以在不消耗大量网络带宽的前提下为用户提供深度有限的二维场景技术，但使用360°全景视图的远程专家可以查看的范围依然被大幅度限制，例如远程专家很难去观察或了解到某个角落的物体或被遮挡的物体。
1.2 共享远程线索
共享远程线索可以在协作者间创建高效的通信并降低双方的认知负荷[11]，与当前音视频会议相比，大部分人还是更喜欢面对面的会议交流，有一部分原因在于线上音视频会议通常无法传递面对面合作中的隐性非语言线索[15]，同时还有更多研究证明了非语言线索可以显著提高远程协作的性能和用户协作体验[16]，非语言线索主要包括视觉线索和环境线索并以视觉线索为主，视觉线索包含手势[13-14,16]、眼睛注视[10,15]、虚拟箭头[10]、数字注释[7,10]、虚拟画笔[17]、虚拟用户形象[18]等。总的来说，合理利用非语言线索对远程协作是有好处的，但一些线索仍可能因为网络或者其他各种原因产生负面影响，下面将对几种常用线索进行讨论。
视觉线索中的虚拟箭头指针和注释线索可以显著增强处于异地交流双方的社会存在感[6]，同时这两个线索常常可以与语音、视频良好兼容以增强双方（尤其是远程专家）交流过程中语义的丰富性和消息传达的及时性[6]。但是指针线索可传递的信息比较单一，而注释线索的主要问题在于绘制速度较慢，同时本地工作人员可能需要花费一定时间去了解远程专家绘制注释线索的含义。
手势和指点线索是人类交流中非常自然且有效的交流方式，人在面对面交流过程中很可能会不经意的进行手势和指点的交流与传递，没有这两个线索交流可能会变得无效且不够生动[19]。但是在虚拟现实（VR）和增强现实（AR）环境中使用手势和指点交流还是不尽如人意，首先受限于目前硬件技术，手势操作的精度较低[5]，其次对于目前大多数系统而言，其空间线索提示的支持较差，远程交流双方对上下文的感知能力较差，导致用户很难相互理解手势的含义[6,16,20]；同时在虚拟现实的虚拟环境中空中的手势有可能会让对方感到困惑，其很难理解手势的动作是作为系统输入还是协作者的指示性交流[21]。最后对于用户而言，长时间在空中完成手势容易感到疲惫感[22]。
除了上文提到的4个重要线索，视觉注释线索也是重要的线索之一。传统的音视频会议系统通常缺乏注视信息的描述能力[23]，导致其交流协作能力有限。远程协作双方的视觉焦点可以通过视场视角、头部和眼睛注视提供，通过注视在协作程序中共享，可以更加明确地揭示用户的注意力，同时还能成为一个指示器，为远程队友提供目标的指引[24]。
2 系统设计
本文系统设计目的是完成一个用户不对称的远程协同工作系统，该系统可以将远程专家和本地工作人员实时联系在一起。远程专家可通过PC端实时获取处于异地的工作人员的物理环境，同时专家可实时向工作人员发送线索信息以支持其完成工作，线索信息包括：语音线索、视频线索、图片注释线索等。
2.1 系统结构
该系统结构图如图1所示，整个系统分为远程专家和本地工作人员两个用户主体，其中专家拥有实时可用的专家知识库系统，该系统数据分为两类：一类为通过传感器、工业相机等手段从工程作业现场实时收集来的工业数据；另一类是专家平时在日常工作中人为获取的数据，如CAD施工图纸、作业文档等。控制工具组为专家提供图像信息调整、基于线索的指针、注释标记以及远程专家的手势信息等，通过控制工具在核心系统中生成虚拟线索。
图1
图1 远程协同增强现实结构图
Fig.1 Structure Diagram of Remote Collaborative Augmented Reality
本地用户通过相机实时采集工作环境信息，生成稳定的视频流实时向核心系统中馈送，核心系统则会根据专家绘制的虚拟线索和本地工作人员实时捕获的环境信息进行视觉线索环境建模以生成对本地工作人员的指导和对远程专家的反馈。
文章来源
您阅读本篇文章共花了：
发表评论