毛宁波 张煜* 侯雨潇 王丽

    (1.西安交通大学机械工程学院，西安 710049；2.北京富乐科技开发有限公司院士专家工作站，北京 101101)

    虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)与混合现实(mixed reality,MR)技术可统称为扩展现实(extended reality,XR)技术，已被广泛用于游戏、制造、教育、医学等领域。该技术在医学影像三维可视化、沉浸式交互、信息实时获取及反馈等方面的优势使之在医学领域的应用越来越广泛，特别是在手术规划与手术模拟、医学教育与技能培训中展现出巨大的应用潜力。

    由于骨骼解剖结构和生理功能的复杂性，骨科手术风险高、难度大。特别是在脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术操作过程中，由于解剖结构复杂、难以辨认，常易造成副损伤。多项研究表明XR 技术已经逐步应用于各种骨科手术的术前规划、术中导航、术后康复、教学培训等环节，包括脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术。为缩短手术时间、降低围手术期风险、缩短年轻骨科医师及医学生的培训时间等方面提供了新的方法。

    本文对XR 技术的相关概念、相关技术的发展历程进行概述。重点围绕VR、AR、MR 的技术特点，介绍其在骨科手术过程及教学培训等方面的应用情况；针对目前XR 技术在医学领域面临的挑战，提出未来需要解决的关键问题，展望未来在骨科领域的应用前景。

    1 XR技术概述

    VR、AR 与MR 技术统称为XR 技术，是指广泛运用了多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，通过计算机将真实与虚拟相结合，为使用者带来感官和认知方式上的沉浸式体验。

    VR 技术利用计算机技术模拟三维虚拟世界，使用户完全沉浸其中，所有画面都是虚拟的，通过跟踪手持控制器、触觉反馈装置、触觉手套等输入设备，用户可以与这个虚拟世界进行交互。VR 技术于20世纪60年代开始萌芽，1989年由美国的杰伦·拉尼尔(Jaron Lanier)正式提出，早期主要应用在军事训练、飞机制造、航空航天等专业领域，2014 年涌现出大量VR设备制造厂商[1]。

    AR 技术是把虚拟信息叠加到真实世界，将虚拟信息与真实世界巧妙融合，实现对真实世界的增强。AR的三大关键技术：虚实融合显示、跟踪注册和图像配准、人机交互。AR 技术源于1968 年的头戴式显示设备设计理念[2] ......