数字媒体技术导论（一般指多媒体）8

《数字媒体技术导论》刘清堂等第2版.清华大学出版社.第八章虚拟现实交互技术，概念:虚拟现实交互简称"VR。综合了计算机三维图形多媒体、计算机仿真、传感、显示、网络等等多种高科技的最新研究与发展成果，利用计算机以及相关设备来模拟一个具有逼真三维视觉、听觉、触觉、嗅觉等多种感言体验的“虚拟世界”，从而是处于虚拟世界中的人产生一种身临其境的感觉。

数字媒体技术导论 （一般指多媒体）

• 第八章 虚拟现实交互技术
  • 概述
    • 概念与特点
      • 概念：虚拟现实交互简称“VR”。综合了计算机三维图形多媒体、计算机仿真、传感、显示、网络等等多种高科技的最新研究与发展成果，利用计算机以及相关设备来模拟一个具有逼真三维视觉、听觉、触觉、嗅觉等多种感官体验的“虚拟世界”，从而是处于虚拟世界中的人产生一种身临其境的感觉。
      • 主要特征：用户能够进入到一个有计算机系统模拟的交互式三维虚拟环境中，并且可以与之进行自然交互。
        • 沉浸性
          • 视觉沉浸：依赖于用户与合成图像的集成（洞穴式显示设备（CAVE））
          • 听觉沉浸：围绕双耳的球形空间
          • 触觉沉浸：充气式手套
          • 指用户感受到被虚拟世界所包围,好像完全置身于虚拟世界之中一样。来源于对虚拟世界的多感知性,视觉感知,听觉感知、力觉感觉触觉感知、运动感知、味觉感知、嗅觉感知
        • 交互性：要借助于虚拟现实交互系统中的特殊硬件设备(如数据手套、力反馈装置等)使用户能够通过自然的方式，产生同在真实世界中一样的感觉，强调人与虚拟世界之间进行自然的交互
        • 想象性：指虚拟的环境是人想象出来的,同时这种想象体现出设计者相应的思想,因而可以用来实理一定的目标。
      • 人类将进入虚拟现实交互的科技新时代，将成为数字媒体技术的重要支撑技术（核试验、新型武器设计、医疗手术的模拟与训练、自然灾害预报）
    • 发展
      • 头盔式显示器（HMD）-阴极射线管（CET)
      • 美国国家航天局（NASA）
      • 军事,航空航天、科技开发,商业、医疗、教育、娱乐
      • 20批纪50年代到70年代，探索阶段 20世纪84年代初期到80年代中期，拟现实交互技术系统化、从实验室走向文用的阶段 2世纪80年代术期到21世纪初，高速发展的阶段
    • 虚拟现实交互系统的构成 以计算机技术为核心
      • 计算机系统：负责虚拟世界的生成和人机交互的实现，高配置要求；低档-3D图形加速卡，中档-SUN/SGI可视化工作站，高档-分布式计算机系统
      • 虚拟现实交互设备：实现人与虚拟世界的自然交互，识别用户各种形式的输人,并实时生成相应的反馈信息。用数据套加空间位置跟踪定位设备,感知运动物体的位置及旋转方向的变化，产生相应图形和声音
      • 虚拟现实工具软件及数据库：包括虚拟世界中物体的几何模型、物理模型、运动建模、三维虚拟立体声的生成、模型管理技术及实时易示技术,虚拟世界数据库的建立与管理
      • 用户借助必要的设备以自然的方式与拟世界中的物进行交互,相互影响,从而产生亲临真实环境的感受和体验。
    • 应用与前景
      • .军事与航空航天领域
        • 武器装备研究与新武器展示方面的应用。
        • 军事训练方面的应用：虚拟战场单兵模拟训练、近战战术训练、诸军兵种联合战略战术演习 提高宇航员训练空间机器人遥控和航天器设计水平，宇航员舱外活动训练、月球与火星探测模拟以及把地球遥感卫星的探测数据转化为三维可视图像的虚拟现实交互系统
      • 教育与训练领域
        • 虚拟校园
        • 虚拟演示教学与实验
        • 远程教育系统
        • 特殊教育：“中国手语合成系统”
        • 技能培训
      • 商业应用领域：产品展示、推销
      • 建筑设计与规划领域：重点是工程项目论证
      • 医学领域
        • 虚拟人体的虚拟现实交互系统:也就是数字化人体
        • 虚报手术的虚拟现实交互系统,可用于指导手术的进行
        • 远程医疗
      • 工业应用领域：虚拟样机就是利用虚拟现实交互技术和科学计算可视化技术,根据产品的计算机辅助设计(CAD)模型和教据以及计算机辅助工程(CAE)仿真和分析的结果,所生成的一种具有沉浸感和真实感并可进行直观交互的产品样机 汽车工业
      • 影视娱乐领域：未来艺术领域
  • 虚拟建模技术
    • 概述
      • 特点
        • 可以有很多物体
        • 有些物体有自己的行为
        • 必须有良好的操纵性能,当用户与物体进行交互时,物体必某种适当的方式来做出反应
      • 三维视觉建模包括
        • 几何建模：基于几何信息来播述物体模型的建模方法
        • 物理建模：涉及物体的物理属性
        • 行为建模：反映研究对象的物理本质及其内在的工作机理
      • 虚拟环境的建立是虚拟现实交互技术的核心内容,拟环境是建立在建模基础之上的 目的是获取实际环境的三维数据,并根据应用的需要,利用获取的三维数据建立相应的虚拟环境模型
    • 几何建模方法
      • 利用虚拟现实交互工具软件来进行建模,如OpenGL、Java3D、VRML
      • 直接从某些商品图形库中选购所需的几何图形,这样可以避免直接用多边形或三角形拼构某个对象外形时烦琐的过程,也可节省大量的时间。
      • 利用常用建模软件来进行建模,如AutoCAD、3ds Max、Maya、Softimage、Pro/E等,用户可交互式地创建某个对象的几何图形
      • 直接利用虚拟现实交互编辑器。如Dimension公司的虚拟现实交互T3和Division 公司的 Amaze 等都具有这种功能
    • 物理建模
      • 分形技术
        • 指可以描述具有自相似特征的数据集，自相似结构可用于复杂的不规则外形物体的建模
        • 优点：用简单的操作就可以完成复杂的不规则物体建模,缺点是计算量太大,不利于实时性，仅用于静态远景的建模。
      • 粒子系统：用简单的体素完成复杂的运动建模，所谓体素,是用来构造物体的原子单位，体素的选取决定了建模系统所能构造的对象范围。 每个粒子具有位置、速度、颜色和生命期。 用于火焰、水流、雨雪、旋风、喷泉等现象及动态运动的物体建模。
    • 运动建模:负责物体 的运动和行为的描述
      • 运动学方法：通过几何变换
      • 听力学仿真：运用物理定律而非几何变换来描述物体的行为，物体的质量和惯性、力和力矩以及其他的物理作用计算出来的，适合物体间交互较多的环境建模
    • 主要研究对象是对物体几何信息的表示与处理,它是涉及表示几何信息数据结构,以及相关的构造与操纵数据结构的算法建模方法。
  • 实验绘制技术
    • 基于几何图形的实时绘制技术
      • 预测计算
      • 展机计算
      • 场景分块
      • 可见消隐
      • 细节层次模型
        • （LOD)是对同一个场景或场景中的物体使用具有不同细节的描述方法得到的一组模型。 用于封闭空间模型，开放空间模型，复杂场景快速绘制、飞行模拟器、交式式可视化和虚拟现实交互系统中 缺点：所需存储量大
    • 基于图像的实时绘制技术
      • 全景技术
      • 图像的插值及视图变换技术
      • 优点：观察点和观察方向可以隨意改变，不受限制 缺点：三维建模费时费力、工程量大，对硬件高要求，生成的数据量大
        • 基于图像的绘制技术(IBR)是采用一些预先生成的场景画面，对接近于视点或视线方向的画面进行变换、插值与变形,从而快速得到当前视点处的场景画面、与基于几何的传统经制技术相比,优势在1、图形绘制技术与场景复杂性无关,仅与所要生成西面的分辨率有关。 2、预先在储的图像(或环境映照），可以是计算机生成的，也可是用相机实际拍摄的，也可是两者混合。 3、对计算机资源要求不高。
    • 追求的是图形的真实感与高质量。 实时生成,需里限时计算技术来实现。 实时三维图形绘制技术指利用计算机为用户提供一个能从任意视点及方向实时观察三推场量的手段。”运动病“
  • 虚拟声音交互技术
    • 在虚拟场景中的能使用户准确地判断出声源的精确位置,符合人们在真实境界中听觉方式的声音系统称为三维虚拟声音系统。
    • 三维虚拟声音系统的核心技术 三维虚拟声音定位技术
      • 全向三维定位特征：指在三维虚拟空间中,使用户能准确地判断出声源的精确位置,符合人们在真实境界中的听觉方式
      • 三维实时跟踪特性：指在三维虚拟空间中,实时跟踪虚拟声源位置变化或量象变化的能力
      • 沉浸感与交互性：沉浸感是指加入三维虚拟声音后,能使用户产生身临其境的感觉,这可以更进一步使人沉浸在虚拟环境之中,有助于增强临场效果。交互特性是指随着用户的临场反应和实时响应的能力。
    • 人类的听觉模型与 头相关转移函数
      • 人类的听觉模型：取决于混响时间差、混响强度差、对进入人耳朵的声音产生频谱的耳廓
        • 混响时间差是指直画到达两个耳朵的时间之差。 混响强度差指声源对左右耳作用的压强之差。 声波频率较低，混响强度差很小。
      • 头相关转移函数：测量外界声音及鼓膜上的声音的频谱差异,获得声音在耳附近的频谱波形,后用这些数据对声波与人耳的交互方式进行编码,得出转移函数,确定出双耳的信号传播延迟的特点,以此对声源进行定位。
        • 转移函数是与头相关的,故称为头相关转移函数（HRTF)，影响因素是耳廓,头的衍射和反射、肩膀的反射及躯体的反射等
    • 语音识别与合成技术
      • 语音识别技术(ASR)是指将人说话的语音信号转换为参可被计算机程序所识别的文字信息，识别出说话人的语音指令以及文字内容的技术。包括参数提取、参考模型建立、模式识别
      • 语音合成技术（TTS)是指将文本信息转变为语音数据,以语音的方式播放出来的技术。先对文本进行分析,再进行韵律建模,后从原始语音库中取出相应的语音基元,利用特定的语音合成技术对语音基元进行韵律特性的调整和修改,最终合成
    • 三维虚拟声音的使用主要 依赖于用户对听觉空间中 各种信息源的定位能力
    • 可以在很大程度上增强用户在趣拟世界中的沉浸感和交互性；也可以减弱大脑对于视觉的依赖性，降低沉浸感对视觉信息的要求,使用户能从既有视觉感受又有听觉感受的环境中获得更多信息
  • 虚拟现实工具软件与自然交互技术
    • 工具软件：WTK（种简洁的跨平台软件开发系统,建立高性能的、实时的、综合三维工，终端用户工具程）,MRT , World Visions,Free WRl, VRT,DVES等
      • 它直接通过连续的系统图片库最快速传输图片成为可能。
      • 光学操纵杆、跟踪器、头部跟踪器、力矩球、Logitech鼠标、Microsoft鼠标
      • 硬件：主机、图形加速器、虚拟现实交互设备：有MD、数据手套、三维空间鼠标
      • 软件：实质是指集成了WTK函数库的C编译器,可调用CAD软件中的模型,也可调用各种图像编辑器所编辑的二维图像
    • 自然交互技术
      • 手势识别
        • 基于数据手套的识别
          • 优点是系统的识别率高, 缺点是做手势的人要穿戴复杂的数据手套和空间位置跟踪定位设备，价格贵
        • 基于视图（图像）的手势识别系统
          • 采用轮廓的办法识别出手上的每一个手指,进而再用边界特征识别的方法区分每一个较小的、集中的手势。 优点是输入设备比较便宜、不干扰用户,但识别率低,实时性差，特别是复杂手势。
      • 面部表情识别
        • 用模板匹配，尺度空间技术、神经 网络、运动模型参数估计
        • 人脸检测可以描述为:给定一幅静止图像或一段动态图像序列,从未知的图像背景中分割、提取并确认可能存在的人脸。
          • 基本思想是建立人脸模型。 基于特征的人脸检测方法和基于图像的人脸检测方法。
      • 眼动跟踪
        • 方法有眼电图、虹膜-巩膜边缘、角膜反射、瞳孔-角膜反射、接触镜；被用于军事领域(如飞行员观察记录等)、阅读及帮助残族人进行交互
        • 基本工作原理是利用图像处理技术,使用能锁定眼睛的特殊摄像机,通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而达到记录、分析视线追踪过程的目的。
        • 目标是要使人机交互从精确的、二维的交互变为非精确的、三维的自然交互
      • 触觉、力觉反馈传感技术：包括触觉反馈和力量反馈所产生的感知信息。触觉感知是指人与物体对象接触所得到的全部感觉,包括有触摸感、压感、振动感、刺痛感等。触摸反馈一般指作用在人皮肤上的力，力量反馈是作用在人的肌肉、关节和筋腱上的力量
      • 自然交互性,即人处在虚拟世界中,与虚拟世界进行交互,甚至意识不到计算机的存在
  • 虚拟现实交互设备
    • 生成设备：基于高性能个人计算机，基于高性能图形工作站，基于分布式计算机的虚拟现实交互系统
      • 视觉通道信号生成与显示
      • 听觉通道信号生成与显示
      • 触觉通道信号生成与显示
    • 感知设备
      • 视觉感知设备：是向用户提供立体宽视野的场景显示，有头盔式显示器、洞穴式立体显示装置、响应工作台立体显示装置、墙式立体显示装置。 基本原理是通过深度信息的恢复来实现的。
        • 显示立体图像：一种是同时显示技术,即同时显示左右两幅图像;另一种是分时显示技术,即以一定的频率交替显示两幅图像
      • 听觉感知设备：是提供虚拟世界中的三维真实感声音的输入及播放，耳机和专用声卡组成
        • 通常用专用声卡将单通道或普通立体声源信号处理成具有双耳效应的三维虚报立体声音
        • 由立体声音发生器与播放设备组成的。
      • 触觉和力觉感知设备
        • 触觉感知：接触感、物体的质感、纹理感、温度感；手指触觉反馈装置可分为五类:基于视觉、电刺激式、神经肌肉刺激式、充气式和振动式。
        • 力觉感知：要求能反馈力的大小和方向；力觉反馈，使用户能够体验到真实的力度感和方向感，用于尖端医学、军事领域
        • 一方面利用触觉和力觉信息去感知虚拟世界中物体的位置和方位;另一方面还可利用触觉和力觉去操纵和移动物体以完成某种任务。
    • 空间位置跟踪定位设备
      • 光学跟踪系统;标志系统和激光测距系统等
      • 机械跟踪系统
        • 工作原理是通过机械连杆装置上的参考点与被测物体相接触的方法来检测其位置的变化。
        • 用钢体结构，不受声、光、电磁波等外界的干扰，缺点：笨重，有惯性，不能进入的(机械系统的死角);几个用户同时工作时也会相互产生影响
      • 声学跟踪系统
        • 飞行时间(TOF)测量法和相位相王(PC)测量法
      • 惯性位置跟踪系统
        • 用机械方法，完全通过运动系统内部的推算，适合于不需要位置信息的场合，优：抗干扰性强、无线化
      • 图像提取跟踪系统
        • 最容易使用，最难开发，不约束用户，对被跟踪物体的距离和环境的背景要求高
      • 任务是检测位置与方向，跟踪用户的头部位置与方位来确定视点位置与视线方向。 优点;体积小，价格便宜，不影响用户自由运动、不受视线阻挡，除导电及导磁体。 缺点：系统延迟长，跟踪范围小，易受干扰（金属导体、导磁体）
    • 面向自然的人机交互设备
      • 数据手套
        • VPL数据手套：光纤体积小、重量轻
        • 赛伯手套
        • DHM手套：响应速度快、分辨率高、精确度高、价格贵
      • 跟踪衣：识别全身运动而设计的输入装置，光电转换
      • 三维模型数字化仪，又称 三维扫描仪或三维数字化仪
        • 工作原理是:由三维模型数字化仪向被扫描的物体发射激光,通过摄像机从每个角度扫描并记录下物体各个面的轮廓信息，同步记录下位置及方向的变换信息，将数据送入计算机中，再处理，得到对应的三维模型
      • 体感交互设备
        • 直接使用肢体动作与数字设备和环境互动
        • 核心在于它让计算机有了更精准有效的“眼睛”去观察这个世界,并根据人的动作来完成各种指令
        • U1设计、体验操作动作操作设计
• 虚拟现实交互的概念与特点、发展，虚拟现实交互系统的构成，虚拟建模概述、几何建模、物理建模、运动建模，实施绘制技术，虚拟声音交互技术、虚拟现实工具软件与自然交互技术，虚拟现实交互设备，虚拟技术的最新发展前沿技术。