显示系统和方法2014800275892

(10)申请公布号 (43)申请公布日 (21)申请号 201480027589.2 (22)申请日 2014.03.14 61/801,219 2013.03.15 US G09G 5/00(2006.01) (71)申请人 奇跃公司 地址 美国佛罗里达州 (72)发明人 B·T·朔文格特 S·A·米勒 (74)专利代理机构 北京市中咨律师事务所 11247 代理人 杨晓光 于静 (54) 发明名称 显示系统和方法 (57) 摘要 一个实施例涉及一种用户显示设备，其包括 可安装在所述使用者的头部上的外壳框架、可安 装在所述外壳框架的透镜和耦合到所述外壳框架 的投影子系统以至少部分地基于所述用户头部运 动的检测和所述用户头部运动的预测中的至少一 个来确定在所述用户的视场中显示对象出现的位 置，并基于已确定的所述显示对象出现的位置将 所述显示对象投影到所述用户。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2015.11.12 (86)PCT国际申请的申请数据 PCT/US2014/028977 2014.03.14 (87)PCT国际申请的公布数据 WO2014/144526 EN 2014.09.18 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书10页 说明书31页 附图25页 CN 105229719 A 2016.01.06 CN 105229719 A 1/10 页 2 1.一种在虚拟图像系统或增强现实系统中操作的方法，所述方法包括 ： 对于被呈现给最终用户的多个帧中的至少一些帧中的每一个帧，确定虚拟对象相对于 所述最终用户的参考帧在所述最终用户的视场中出现的位置 ；以及 至少部分地基于已确定的所述虚拟对象在所述最终用户的视场中出现的位置，调整至 少一个后续帧的呈现。 2.如权利要求 1 所述的方法，其中相对于呈现给所述最终用户的先前帧，在时间上新 引入所述虚拟对象到所述最终用户的视场。 3.如权利要求 2 所述的方法，其中所述新引入的虚拟对象被确定以有可能吸引所述最 终用户的注意 4.如权利要求 1 所述的方法，其中所述虚拟对象相对于至少一个先前帧中的方位处于 帧中新的方位。 5.如权利要求 1 所述的方法，进一步包括 ： 基于指示所述最终用户对所述虚拟对象的注意的输入来选择所述虚拟对象。 6.如权利要求 5 所述的方法，其中所述指示最终用户对所述虚拟对象的注意的输入至 少部分地基于 ：相对于先前呈现给所述最终用户的所述虚拟对象的方位，呈现给所述最终 用户的所述虚拟对象在新的方位出现。 7.如权利要求 5 所述的方法，其中所述指示最终用户对所述虚拟对象的注意的输入至 少部分地基于 ：相对于先前呈现给所述最终用户的所述虚拟对象的位置，多快地改变所述 虚拟对象呈现给所述最终用户的位置。 8.如权利要求 1 所述的方法，其中相对于先前呈现给所述最终用户的所述虚拟对象的 先前位置，所述虚拟对象以新的位置呈现给所述最终用户。 9.如权利要求 1 所述的方法，其中所述至少一个后续帧的呈现的调整包括将所述至少 一个后续帧的中心移向已确定的所述最终用户的视场中所述虚拟对象所出现的位置来呈 现所述至少一个后续帧。 10.如权利要求 1 所述的方法，其中所述至少一个后续帧的呈现的调整包括将所述至 少一个后续帧的中心移至已确定的所述最终用户的视场中所述虚拟对象所出现的位置来 呈现至少所述一个后续帧。 11.如权利要求 1 所述的方法，进一步包括 ： 至少部分地基于已确定的所述最终用户的视场中虚拟对象所出现的位置，预测所述最 终用户的头部运动的发生。 12.如权利要求 11 所述的方法，进一步包括 ： 估计指示所预测的所述最终用户头部运动的所估计的速度的至少一个值 ； 确定至少部分地补偿所预测的所述最终用户头部运动的所估计的速度的至少一个值 ； 以及 至少部分地基于已确定的值渲染所述至少一个后续帧。 13.如权利要求 12 所述的方法，进一步包括 ： 估计所预测的所述最终用户头部运动中的速度的至少一个变化，其中所述速度的至少 一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间，并且其中估计指示 所预测的头部运动的所估计的速度的至少一个值包括估计指示所估计的速度的至少一个 权 利 要 求 书CN 105229719 A 2/10 页 3 值，其至少部分地适应所预测的所述最终用户头部运动的速度中所估计的变化。 14.如权利要求 13 所述的方法，其中估计所预测的所述最终用户头部运动中的至少一 个速度变化包括，估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结 束前的第二定义的时间之间的所述至少一个变化。 15.如权利要求 1 所述的方法，进一步包括 ： 估计指示所预测的所述最终用户头部运动的所估计的加速度的至少一个值 ； 确定至少部分地补偿所预测的所述最终用户头部运动的所估计的加速度的至少一个 值 ；以 及 至少部分地基于已确定的值渲染所述至少一个后续帧。 16.如权利要求 1 所述的方法，进一步包括 ： 接收指示所述最终用户的身份的信息 ；以及 基于所接收的指示所述最终用户的身份的信息，检索用于所述最终用户的至少一个用 户特定的历史属性，其中所述用户特定的历史属性是指示用于所述最终用户的先前头部运 动速度、用于所述最终用户的先前头部运动加速度以及用于所述最终用户的先前眼睛运动 到头部运动的关系之中的至少一个。 17.如权利要求 1 所述的方法，其中所述虚拟对象是虚拟文本对象、虚拟数字对象、虚 拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象 或物理对象的虚拟视觉表示中的至少一个。 18.一种在增强现实系统中操作的方法，所述方法包括 ： 接收指示所述最终用户的身份的信息 ； 至少部分地基于所接收的指示所述最终用户的身份的信息检索用于所述最终用户的 至少一个用户特定的历史属性 ；以及 至少部分地基于所检索的用于所述最终用户的至少一个用户特定的历史属性向所述 最终用户提供帧。 19.如权利要求 18 所述的方法，其中所接收的信息是指示所述最终用户的眼睛的至少 一部分的图像的图像信息。 20.如权利要求 19 所述的方法，其中向所述最终用户提供帧包括经由至少一个光纤提 供帧，并且接收指示所述最终用户的眼睛的至少一部分的图像的图像信息包括经由还向所 述最终用户提供帧的所述至少一个光纤所述至少一个光纤接收所述图像信息。 21.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 的历史属性是提供用于所述最终用户的至少一个头部运动属性的指示的至少一个属性，其 中所述头部运动属性指示所述最终用户的至少一个先前头部运动。 22.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 的历史属性是提供用于所述最终用户至少一个先前头部运动的至少一个先前头部运动速 度的指示的至少一个属性。 23.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 的历史属性是提供跨越所述最终用户至少一个先前头部运动的范围内至少一部分的头部 运动速度的变化的指示的至少一个属性。 24.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 权 利 要 求 书CN 105229719 A 3/10 页 4 的历史属性是提供所述最终用户至少一个先前头部运动的至少一个先前头部运动加速度 的指示的至少一个属性。 25.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 的历史属性是提供所述最终用户至少一个先前头部运动和至少一个先前眼睛运动之间的 关系的指示的至少一个属性。 26.如权利要求 18 所述的方法，其中所检索的用于所述最终用户的至少一个用户特定 的历史属性是提供所述最终用户至少一个先前头部运动和至少一个先前眼睛运动之间的 比率的指示的至少一个属性。 27.如权利要求 18 所述的方法，进一步包括 ： 预测所述最终用户头部运动的至少一个终点 ；以及 至少部分地基于所检索的用于所述最终用户的至少一个用户特定的历史属性来向所 述最终用户提供帧，包括渲染至少一个后续帧到至少一个图像缓冲器，所述至少一个后续 帧被移向所预测的头部运动的终点。 28.如权利要求 27 所述的方法，进一步包括渲染多个后续帧，以至少部分适应用于所 述最终用户的至少一个头部运动属性将其移向所预测的头部运动的终点，所述头部运动属 性指示所述最终用户的至少一个先前头部运动。 29.如权利要求 28 所述的方法，其中指示所述最终用户的至少一个先前头部运动的所 述头部运动属性是用于所述最终用户的历史头部运动速度。 30.如权利要求 28 所述的方法，其中指示所述最终用户的至少一个先前头部运动的所 述头部运动属性是用于所述最终用户的历史头部运动加速度。 31.如权利要求 28 所述的方法，其中指示所述最终用户的至少一个先前头部运动的所 述头部运动属性是用于所述最终用户的头部运动和眼睛运动之间的历史比率。 32.如权利要求 27 所述的方法，进一步包括至少部分地基于虚拟对象在所述最终用户 的视场中出现的位置，预测所述最终用户的头部运动的发生。 33.如权利要求 18 所述的方法，进一步包括，当虚拟对象在时间上相对于先前呈现给 所述最终用户的帧被新引入所述最终用户的视场中时，确定虚拟对象出现的位置。 34.如权利要求 18 所述的方法，进一步包括相对于先前呈现给所述最终用户的虚拟对 象的方位，确定所述虚拟对象在呈现给所述最终用户的新方位中出现的位置。 35.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 检测呈现给最终用户的帧中的一些像素之间的间隔将不同于所述帧中其它像素之间 的间隔的指示 ； 基于已检测到指示调整第一组像素 ；以及 提供具有已调整的第一组像素给至少一个后续帧的至少一部分以至少部分地补偿呈 现给最终用户的间隔的差异。 36.如权利要求 35 所述的方法，其中所述像素特征可被所述最终用户感知。 37.如权利要求 35 所述的方法，其中所述像素集合的特征是所感知的尺寸和所感知的 亮度之中的至少一个。 38.如权利要求 35 所述的方法，进一步包括监测超过标称头部运动值的头部运动。 39.如权利要求 35 所述的方法，进一步包括 ： 权 利 要 求 书CN 105229719 A 4/10 页 5 基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向 与已检测的头部运动的方向相同 ；以及 增加至少一个后续帧的第一组像素的尺寸。 40.如权利要求 35 所述的方法，进一步包括调整第一组像素的可变的聚焦组件。 41.如权利要求 35 所述的方法，进一步包括调整第一组像素的可变尺寸的源。 42.如权利要求 35 所述的方法，进一步包括调整第一组像素的抖动。 43.如权利要求 35 所述的方法，进一步包括 ： 基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向 与已检测的头部运动的方向相同 ；以及 响应于已检测的头部运动增加所述至少一个后续帧的第一组像素的亮度。 44.如权利要求 35 所述的方法，进一步包括 ： 基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向 与已检测的头部运动的方向相反 ；以及 响应于已检测的头部运动，减少所述至少一个后续帧的第一组像素的尺寸。 45.如权利要求 35 所述的方法，进一步包括 ： 基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向 与已检测的头部运动的方向相反 ；以及 响应于已检测的头部运动，减少所述至少一个后续帧的第一组像素的亮度。 46.如权利要求 35 所述的方法，其中所述检测的指示基于检测所述用户的头部运动属 性已经超过头部运动属性的标称值。 47.如权利要求 46 所述的方法，其中所述头部运动属性是所述头部运动的速度和所述 头部运动的加速度之中的至少一个。 48.如权利要求 35 所述的方法，其中所述检测的指示基于通过惯性传感器接收到的信 号。 49.如权利要求 35 所述的方法，其中所述检测的指示基于通过成像器接收到的信号。 50.如权利要求 35 所述的方法，其中所述至少一个后续帧的提供是基于光栅扫描型 帧、螺旋扫描型帧以及利萨茹扫描型帧之中的至少一个。 51.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 渲染第一完整帧到图像缓冲器，其中所述第一完整帧包括用于像素的顺序呈现以形成 虚拟对象的图像的像素信息 ； 开始所述第一完整帧的呈现 ；以及 在完成所述第一完整帧的呈现之前通过对所述第一完整帧的更新的呈现来动态的中 断所述第一完整帧的呈现，在对所述第一完整帧的更新中所述像素信息的一部分已经从所 述第一完整帧改变。 52.如权利要求 51 所述的方法，其中所述已更新的第一完整帧的像素信息在至少一个 方面与所述第一完整帧的像素信息不同。 53.如权利要求 51 所述的方法，其中呈现所述已更新的第一完整帧来代替所述第一完 整帧的对应部分。 54.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的第二场来 权 利 要 求 书CN 105229719 A 5/10 页 6 代替所述第一完整帧的对应场。 55.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的场的一部 分来代替所述第一完整帧的对应场的对应部分。 56.如权利要求 53 所述的方法，进一步包括呈现光栅扫描的所述已更新的第一完整帧 的场的一部分来代替所述光栅扫描的所述第一完整帧的对应场的对应部分。 57.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的线来代替 所述第一完整帧的对应线。 58.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的螺旋线来 代替所述第一完整帧的对应螺旋线。 59.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的线的一部 分来代替所述第一完整帧的对应线的对应部分。 60.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的至少一个 像素来代替所述第一完整帧的对应像素。 61.如权利要求 53 所述的方法，进一步包括呈现所述已更新的第一完整帧的利萨茹图 样扫描的一个完整周期来代替所述第一完整帧的利萨茹图样扫描的一个完整周期的对应 部分。 62.如权利要求 51 所述的方法，其中所述第一完整帧的呈现的所述动态的中断是响应 于已检测的所述最终用户的头部运动超过标称头部运动值。 63.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 渲染具有第一场和第二场的第一完整帧到图像缓冲器，其中所述第一场至少包括第一 螺旋扫描线并且所述第二场至少包括第二螺旋扫描线，所述第二螺旋扫描线与至少所述第 一螺旋扫描线交错 ； 从存储所述第一完整帧的帧缓冲器读出 ；以及 在完成读取第一完整帧之前，通过读出对第一完整帧的更新来动态的中断所述第一 完整帧的读出，在对第一完整帧的更新中所述像素信息的一部分已经从所述第一完整帧改 变。 64.如权利要求 63 所述的方法，其中所述读出的所述动态中断是基于已检测的最终用 户的头部运动，其中所述已检测的头部运动超过标称头部运动值。 65.如权利要求 63 所述的方法，进一步包括用已更新的第二螺旋扫描线来代替所述第 一完整帧的第二螺旋扫描线。 66.如权利要求 63 所述的方法，进一步包括 ： 相对于第一螺旋扫描线相移第二螺旋扫描线以交错所述第一和第二螺旋扫描线。 67.如权利要求 63 所述的方法，进一步包括 ： 相对于所述第二螺旋扫描线相移第三螺旋扫描线以交错所述第一、第二和第三螺旋扫 描线。 68.如权利要求 63 所述的方法，进一步包括 ： 相对于所述第三螺旋扫描线相移第四螺旋扫描线以交错所述第一、第二、第三和第四 螺旋扫描线。 69.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 权 利 要 求 书CN 105229719 A 6/10 页 7 渲染具有第一场和第二场的第一完整帧到图像缓冲器，其中所述第一场至少包括第一 利萨茹扫描线并且所述第二场至少包括第二利萨茹扫描线，所述第二利萨茹扫描线与至少 所述第一利萨茹扫描线交错 ； 读出存储所述第一完整帧的帧缓冲器 ；以及 基于已检测的超过标称头部运动值的所述最终用户的头部运动，在完成所述第一完整 帧的读取之前通过对所述第一完整帧的更新的读出动态地中断所述第一完整帧的读出，在 对所述第一完整帧的更新中所述像素信息的一部分已经从所述第一完整帧改变。 70.如权利要求 69 所述的方法，进一步包括 ： 相移所述利萨茹扫描线以交错所述利萨茹扫描线。 71.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 对于多个帧中的每一个帧，响应于已检测的最终用户头部运动，为各个帧的至少两部 分中的每一部分确定各自的分辨率 ；以及 基于已确定的所述各个帧的至少两部分各自的分辨率来呈现所述虚拟对象。 72.如权利要求 71 所述的方法，其中所述各个帧的部分是所述帧的场、所述帧的线、所 述帧的像素之中的至少一个。 73.如权利要求 71 所述的方法，进一步包括 ： 调整呈现所述帧的第一部分和所述帧的第二部分之间的驱动信号的特征，以创建所述 虚拟对象的图像中的可变的分辨率。 74.如权利要求 73 所述的方法，其中所述驱动信号的特征是所述驱动信号的振幅和所 述驱动信号的斜率中的至少一个。 75.如权利要求 73 所述的方法，进一步包括 ： 使用螺旋扫描图样以各自的分辨率像素数据渲染所述帧。 76.如权利要求 71 所述的方法，进一步包括 ： 基于已处理的眼睛追踪数据数据、已确定的虚拟对象相对于最终用户参考帧在所述最 终用户的视场中出现的位置、已确定的当新引进最终用户的视场时所述虚拟对象出现的位 置、已确定的相对于在至少一个先前图像中所述虚拟图像的方位所述虚拟对象在图像中新 的方位中出现的位置中的至少一个，为最终用户评估至少第一图像中的注意点。 77.如权利要求 76 所述的方法，其中处理追踪数据的眼睛追踪数据指示所述用户眼睛 的朝向和所述用户头部的朝向中的至少一个 78.如权利要求 76 所述的方法，进一步包括 ： 相对于所述至少一个后续的图像的其他部分，在所述至少一个后续的图像的一部分中 增加至少一个后续图像中的分辨率，所述部分至少邻近于所述已评估的注意点。 79.如权利要求 76 所述的方法，进一步包括 ： 相对于所述至少一个后续的图像的其他部分，在所述至少一个后续的图像的一部分中 减小至少一个后续图像中的分辨率，所述部分至少远离所述已评估的注意点。 80.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 向最终用户显示至少一个虚拟对象 ； 当至少一个已检测到的头部运动超过标称头部运动值和预测的头部运动被预测超过 头部运动值时，暂时地消隐所述至少一个虚拟对象的显示的一部分。 权 利 要 求 书CN 105229719 A 7/10 页 8 81.如权利要求 80 所述的方法，进一步包括处理经由至少一个传感器提供的头部追踪 数据以确定所述已检测的头部运动和所述预测的头部运动中的至少一个，其中所述头部追 踪数据至少指示所述最终用户的头部朝向。 82.如权利要求 80 所述的方法，进一步包括对于被呈现给所述最终用户的至少一些 帧中的每一个帧，确定虚拟对象相对于最终用户参考帧在所述最终用户的视场中出现的位 置； 评估已确定的位置是否需要所述最终用户转动所述最终用户的头部 ；以及 基于所述评估预测头部运动。 83.如权利要求 80 所述的方法，进一步包括 ： 确定当被新引进所述最终用户的视场时虚拟对象出现的位置 ； 评估已确定的位置是否需要所述最终用户转动所述最终用户的头部 ；以及 基于所述评估预测头部运动。 84.如权利要求 80 所述的方法，进一步包括 ： 相对于至少一个先前图像中虚拟对象的方位，确定在图像中所述虚拟对象在新方位中 出现的位置 ； 评估已确定的位置是否需要所述最终用户转动所述最终用户的头部 ；以及 基于所述评估预测头部运动。 85.如权利要求 80 所述的方法，其中所述显示的一部分暂时地消隐包括在所述头部运 动或所预测的头部运动的至少一部分期间闪烁显示。 86.如权利要求 80 所述的方法，其中所述显示的一部分暂时地消隐包括在所述头部运 动或所预测的头部运动的至少一部分期间闪烁背光。 87.一种在增强现实系统中至少投影虚拟图像的投影机装置，所述投影机装置包括 ： 投影机组件 ； 支撑所述投影机组件使所述投影机组件在至少一个自由轴上可移动的支撑件 ； 被耦合以选择性地移动所述投影机组件的至少一个执行机构 ；以及 控制子系统，其被通信地耦合以控制所述执行机构，使得响应于最终用户头部运动超 过标称头部运动值的检测和所述最终用户头部运动被预期超过标称头部运动值的预测中 的至少一个来移动所述投影机组件。 88.如权利要求 87 所述的投影机装置，其中所述投影机组件进一步包括至少第一光 纤，所述第一光纤具有后端和前端，所述后端被耦合以接收图像，所述前端被定位以由此处 传送图像。 89.如权利要求 88 所述的投影机装置，其中所述支撑组件包括接收至少第一光纤的压 电环，其靠近但与第一光纤前端向后侧隔开，使得所述第一光纤靠近其前端的一部分从所 述压电环延伸并且以定义的谐振频率自由振荡。 90.如权利要求 89 所述的投影机装置，其中所述支撑组件包括常平架，并且所述投影 机组件可沿着至少一个轴平移。 91.如权利要求 89 所述的投影机装置，其中所述支撑组件包括常平架，并且所述投影 机组件关于至少一个轴可旋转可平移。 92.如权利要求 89 所述的投影机装置，其中所述支撑组件包括常平架，并且所述投影 权 利 要 求 书CN 105229719 A 8/10 页 9 机组件至少在三个自由轴中可移动。 93.如权利要求 87 所述的投影机装置，其中所述控制子系统被通信地耦合以接收经由 至少一个传感器提供的头部追踪数据，所述头部追踪数据至少指示所述最终用户的头部朝 向。 94.如权利要求 87 所述的投影机装置，其中所述至少一个控制子系统 ： 对于呈现给所述最终用户的至少一些图像中的每一个图像，确定虚拟对象相对于最终 用户参考帧在所述最终用户的视场中出现的位置 ； 评估所述已确定的位置是否需要所述最终用户转动所述用户的头部 ；以及 基于所述评估预测头部运动的发生。 95.一种在虚拟图像呈现系统中操作的方法，所述方法包括 ： 过渲染用于已定义的视场的帧，使得用于所述帧的像素组的像素信息超过以最大分辨 率的显示的最大区域 ； 基于已检测的头部运动和所预测的头部运动中的至少一个，确定所述帧的一部分以呈 现给最终用户 ； 选择性地仅读出所述帧的已确定部分。 96.如权利要求 95 所述的方法，其中将呈现给所述最终用户的所述帧的所述部分至少 部分地基于确定视场中的虚拟对象出现的位置。 97.如权利要求 95 所述的方法，其中将呈现给所述最终用户的所述帧的所述部分至少 部分地基于当在时间上相对于呈现给所述最终用户的先前帧新引入虚拟对象到所述最终 用户的视场中时，确定所述虚拟对象所出现的位置。 98.如权利要求 95 所述的方法，其中将呈现给所述最终用户的所述帧的所述部分至少 部分地基于确定所述虚拟对象相对于在至少一个先前帧中的方位在所述帧中的新方位中 出现的位置。 99.如权利要求 95 所述的方法，其中将呈现给所述最终用户的所述帧的所述部分至少 部分地基于确定在所述最终用户的视场中至少具有定义的最小速度的虚拟对象的位置。 100.如权利要求 95 所述的方法，进一步包括 ：基于指示所述最终用户对虚拟对象的注 意的输入来选择所述虚拟对象，其中将呈现给所述最终用户的所述帧的所述部分基于选择 的虚拟对象。 101.如权利要求 100 所述的方法，其中指示所述最终用户的注意的输入可至少部分地 基于呈现给所述最终用户的所述虚拟对象的方位相对于先前呈现给所述最终用户的所述 虚拟对象的方位多快地改变。 102.如权利要求 95 所述的方法，进一步包括读出用于至少一个后续帧的所述帧缓冲 器的一部分，其将所述后续帧的中心向将所述帧的已确定的部分移动来呈现。 103.一种用户显示装置，包括 ： 可安装在用户头部上的外壳框架 ； 可安装在所述外壳框架上的透镜 ；以及 投影子系统，其被耦合至所述外壳框架以至少部分基于所述用户的头部运动的检测和 所述用户的头部运动的预测中的至少一个来确定显示对象在所述用户视场中出现的位置， 并基于已确定的所述显示对象出现的位置将所述显示对象投影到所述用户。 权 利 要 求 书CN 105229719 A 9/10 页 10 104.如权利要求 103 所述的用户显示设备，其中响应于所述用户头部运动的检测或所 述用户头部运动的预测中的至少一个超过或被预测超过标称头部运动值来移动所述显示 对象出现的位置。 105.如权利要求 103 所述的用户显示设备，其中所述用户头部运动的预测基于用户移 动焦点的预测。 106.如权利要求 103 所述的用户显示设备，其中所述用户头部运动的预测基于所述用 户的一组历史属性。 107.如权利要求 103 所述的用户显示设备，进一步包括第一摄像机对，其可安装在所 述外壳框架上以追踪所述用户的眼睛的运动，并基于追踪的眼睛运动估计所述用户的眼睛 的焦点深度。 108.如权利要求 107 所述的用户显示设备，其中所述投影子系统基于所述估计的焦点 深度投影所述显示对象。 109.如权利要求 103 所述的用户显示设备，进一步包括第二摄像机对，其可安装在所 述外壳框架上以捕获如所述用户的眼睛看到的视场图像，其中所述视场图像包含至少一个 物理对象。 110.如权利要求 109 所述的用户显示设备，其中所述投影子系统以一种方式投影所述 显示对象，使得所述显示对象和通过第二对摄影机捕捉到的所述物理对象相互混合并一起 出现在同一帧。 111.如权利要求 110 所述的用户显示设备，其中所述出现的位置至少部分地基于所述 物理对象。 112.如权利要求 111 所述的用户显示设备，其中所述显示对象和所述物理对象具有预 先确定的关系。 113.如权利要求 107 所述的用户显示设备，其中所述捕获的视场图像可以被用于收集 关于所述用户头部运动的信息，其中所述关于所述用户头部运动的信息包括所述用户注意 的中心、所述用户头部的朝向、所述用户头部的方向、所述用户头部运动的速度、所述用户 头部的加速度以及与所述用户的本地环境有关的所述用户头部的距离。 114.如权利要求 103 所述的用户显示设备，其中所述透镜包括至少一个透明的表面以 选择性地允许透射光，使得所述用户能够观察本地环境。 115.如权利要求 114 所述的用户显示设备，其中所述投影子系统以一种方式投影所述 显示对象，使得所述用户如同通过透镜的透明表面进行观察的那样来观察所述显示对象和 本地环境两者。 116.如权利要求 103 所述的用户显示设备，进一步包括至少一个惯性传感器以捕获指 示所述用户头部运动的惯性测量组，其中所述惯性测量组包括所述用户头部运动的速度、 所述用户头部运动的加速度、所述用户头部运动的方向、所述用户头部的方位和用户头部 的朝向。 117.如权利要求 103 所述的用户显示设备，进一步包括至少一个光源以照亮所述用户 的头部和所述用户的本地环境中的至少一个。 118.如权利要求 103 所述的用户显示设备，其中所述投影子系统调整与所述显示对象 相关联的像素组的感知的尺寸、亮度和分辨率以补偿所述检测的头部运动和所述预测的头 权 利 要 求 书CN 105229719 A 10/10 页 11 部运动中的至少一个。 119.如权利要求 103 所述的用户显示设备，其中所述显示对象是虚拟对象和增强虚拟 对象中的一个。 权 利 要 求 书CN 105229719 A 1/31 页 12 显示系统和方法 技术领域 [0001] 本发明一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实 环境的系统和方法。 背景技术 [0002] 许多显示系统可以从与观看者或用户的头部姿势有关的信息 ( 即，用户的头部朝 向和 / 或位置 ) 中受益。 [0003] 例如，头戴式显示器 ( 或头盔显示器，或智能眼镜 ) 至少松散地耦合到用户头部， 并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到，被 显示的数据可以更新以考虑头部姿势的变化。 [0004] 作为示例，如果佩戴头戴式显示器的用户浏览显示器上的 3D 对象的虚拟表示并 围绕3D对象出现的区域走动，所述3D对象可以为每个视点来重新渲染，给予用户他或她正 在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空 间 ( 例如，丰富的虚拟世界 )，头部姿势的测量可以用来重新渲染场景，以匹配用户头部位 置和朝向的动态改变，并提供虚拟空间的增强的沉浸感。 [0005] 尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统，高的头部追踪的 准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之 间整个系统的延迟非常是至关重要的。如果延迟高，所述系统可以创建用户的前庭和视觉 感觉系统之间的失配，并产生晕车或虚拟幻境头晕。 [0006] 一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现 实或混合的现实方法。在一个这样的配置中，通常被称为“视频透视”显示器，摄像机捕获 现实场景的元素，计算系统叠加虚拟组件到被捕获的现实场景上，并且非透明显示器显示 合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器，其中，用户可以通过显示 系统中的透明 ( 或半透明 ) 元素看以直接看到来自环境中的显示对象的光线。透明元素， 通常被称为“组合器”，叠加来自显示器的光到用户的现实世界的视觉。 [0007] 在视频和光透视两种显示器中，检测头部姿势可以使得显示系统渲染虚拟对象以 使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时，根据头部姿 势来重新渲染虚拟对象，以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光 透视显示器的情况下，用户的现实世界视觉基本具有零延迟，而他或她的虚拟对象视觉具 有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高，在快 速头部运动期间，虚拟对象的显现位置将出现不稳定。 [0008] 除了头戴式显示系统之外，其他显示系统可从准确的和低延迟的头部姿势检测中 获益。这些包括头部追踪显示系统，其中显示器不戴在用户身体上，但是，例如，安装在墙上 或其它表面上。头部追踪显示器表现得像到现场的窗口，并为当用户相对所述“窗口”移动 其头部时，场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统， 其中，头戴式显示器将光投影到现实世界。 说 明 书CN 105229719 A 2/31 页 13 发明内容 [0009] 本发明的实施例针对有助于一个或多个用户与虚拟现实和 / 或增强现实互动的 设备、系统和方法。 [0010] 一个实施例针对在虚拟图像系统或增强现实系统中操作的方法，所述方法包括， 对于被呈现给最终用户的多个帧中的至少一些中的每一个帧，确定所述最终用户的视场中 的虚拟对象相对于最终用户的参考帧出现的位置，以及至少部分地基于已确定的所述最终 用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈 现给所述最终用户的帧，虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象 可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧，虚拟对象可以处 于帧中的一个新的方位。或者，相对于如先前呈现给所述最终用户的所述虚拟对象的先前 方位，虚拟对象可以处于一个新的位置以呈现给所述最终用户。 [0011] 所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择 所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前 呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的新方位的出现。或者，指 示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述 虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。 [0012] 至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最 终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者，至少一个后续帧 的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对 象已确定出现的位置的至少一个后续帧。 [0013] 所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确 定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最 终用户头部运动的所估计的速度的至少一个值，确定至少部分地补偿所预测的最终用户头 部运动的所估计的速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续 帧。 [0014] 所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个 变化，其中，速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束 之间，并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测 的速度的至少一个值，其至少部分地适应所预测的最终用户头部运动中的速度所估计的变 化。 [0015] 估计所预测的最终用户头部运动中的速度的至少一个变化可包括，估计在所预测 的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的 至少一个变化。 [0016] 所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度 的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少 一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。 [0017] 所述方法可以进一步包括接收指示最终用户的身份的信息，以及基于所接收的指 示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性，其中用户 说 明 书CN 105229719 A 3/31 页 14 特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加 速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。 [0018] 所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签 对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表 示之中的至少一个。 [0019] 另一个实施例针对增强现实系统中的操作方法，该方法包括 ：接收指示最终用户 的身份的信息，至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最 终用户的用户特定的历史属性，以及至少部分地基于所检索的至少一个用于最终用户的用 户特定的历史属性向最终用户提供帧。所接收的信息可以是指示最终用户的眼睛的至少一 部分的图像的图像信息。 [0020] 所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其 提供了用于最终用户的至少一个头部运动属性的指示，其中头部运动属性指示最终用户的 至少一个先前头部运动。或所检索的至少一个用于最终用户的用户特定的历史属性可以 是至少一个属性，其提供了用于最终用户的至少一个先前头部运动的至少一个先前头部运 动速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少 一个属性，其提供最终用户的跨越至少一个先前头部运动的范围内的至少一部分的头部运 动速度的变化指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是 至少一个属性，其提供用于最终用户的至少一个先前头部运动的至少一个先前头部运动加 速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一