可视化相同环境的表面数据和全景图像数据的方法
[0029]在根据本发明的方法的另一实施方式中，所述全景数据包括视频数据，所述视频数据与包括多个全景图像的视频流相关，特别是其中，所述视频流是360°视频流和/或实时视频流，并且所述全景元素显示多个全景预览图像的视频流，特别是实时视频流。
[0030]在根据本发明方法的进一步实施方式中，所述地形表面是三维表面，特别是地球表面的一部分。在进一步的实施方式中，所述地形表面的所述表示是地图、航拍图像或地图和航拍图像的结合，特别是以鸟瞰图绘制。在进一步的实施方式中，所述全景位置数据包括玮度值和经度值，和/或描述所述全景图像的高度、航向、旁向倾角、航向倾角、相片旋角、北距和/或东距的值。在进一步的实施方式中，所述表面数据包括描述所述三维表面的几何形状的高程数据，并且根据所述高程数据计算所述全景元素的高度。
[0031]本发明还涉及一种计算机程序产品，该计算机程序产品包括存储在机器可读介质上的程序代码，或该计算机程序产品由包括程序代码段的电磁波实现，并且所述计算机程序产品具有用于提供根据本发明的方法的地图视图模式和全景视图模式的计算机可执行指令。
【附图说明】
[0032]在下文中，本发明将通过参考示例性实施方式和附图进行详细描述，在附图中:
[0033]图1示出了根据本发明的方法的地图视图模式的示例性可视输出，该示例性可视输出示出了环境的地形表面的表示和相同环境的全景图像的预览；
[0034]图2示出了根据本发明的方法的全景视图模式的示例性可视输出；
[0035]图3示出了全景图像；
[0036]图4示出了地形表面的表示和图3的全景图像的位置和方向；
[0037]图5a和图5b不出了图4的地形表面的表不以及显不图3的全景图像的预览的全兀ο
[0038]图6a和图6b示出了立方全景元素；
[0039]图7示出了半圆柱全景元素；
[0040]图8示出了具有朝向用户的视点的三个全景元素的地形表面的表示；
[0041]图9a和图9b示出了使用户能够隐藏或显示全景元素的方法；
[0042]图10例示了用于切换至全景模式的全景元素的接近；
[0043]图11例示了用于切换至全景模式的全景元素的进入；
[0044]图12示出了全景视图模式；
[0045]图13示出了用于当在表面上使全景元素可视化时进行消隐的示例；
[0046]图14示出了在全景视图模式下表面数据的渲染；
[0047]图15示出了例示地图视图模式期间用户输入的效果的流程图；以及
[0048]图16示出了例示全景视图模式期间用户输入的效果的流程图。
【具体实施方式】
[0049]图1示出了根据本发明的方法的地图视图模式的可视输出1的示例。图1示出了作为鸟瞰地图2的环境的三维地形表面的表示和显示相同环境的全景图像的预览图像3的全景元素30。
[0050]所述全景元素30包括在立方体的所有六个表面中具有图像的立方体地图。该立方体地图用于对环境在所有方向的表示进行显示，特别是全景图像的预览3或全景图像本身。使用用于在地图2上定位全景元素30的相同坐标参照系，将全景元素3显示在与地图2相同的3D场景中。为此，所提供的全景数据包括全景位置数据，即至少二维位置(玮度和经度或北距(northing)和东距(easting))以及可选的高度、航向、旁向倾角(roll)、航向倾角(pitch)。当已知全景图像位于地面上或地面附近时，全景的高度可选地能够根据3D地图几何结构来计算。
[0051]图2示出了在根据本发明的示例性全景视图模式下观看到的相对应的360°全景图像4的一部分。在全景图像4中，环境的多个对象(全景对象43，44)以及图像的遮住部分48可见，图像的遮住部分48是图像的描述被用于拍摄图像的像机组件的部分的部分，在此示例中，遮住部分48是安装了像机的汽车的部分。没有任何图像数据的部分(数据间隙49)也是可见的。用户可以通过所使用的计算机系统的合适的输入装置(例如，通过使用箭头键、计算机鼠标，或者当使用具有触摸屏和加速度计或陀螺仪的便携式设备时通过向希望的方向移动所述设备和/或在触摸屏上进行典型的移动)缩放或调整观看方向来选择观看全景图像4的特定部分。可选地，能够在全景图像4中显示附近的另一个全景图像的视点位置、指南针或者例如在可视输出的角部中显示指示当前观看方向的小型概览地图。具体地，这些选项可由用户开启/关闭。
[0052]图3以更抽象的方式示出了全景图像4。在图4中，描绘了三维表面2的表示。根据本发明，全景图像4基于图像数据，并且三维表面2的表示基于表面数据。表面数据与坐标参照系相关，并且图像数据包括描述相对于表面数据的坐标参照系的位置的全景位置数据。在图4中，全景图像4相对于三维表面2的所述表示的位置和方向由箭头45表示。
[0053]全景图像4可以是多个单个图像的图像拼接的结果或由单个360°像机或光球(photosphere)像机拍摄。可选地，全景图像4可以是例如立体图(anaglyph)的立体3D图像。全景图像4可以是对特定的兴趣点进行拍摄或沿道路行驶时按照固定间隔进行拍摄，全景像机例如安装在汽车(如图1和2所示)或自行车的顶部上。另选地，全景图像4可以由诸如全景网络像机的固定像机生成。
[0054]全景图像4可选地可以是视频流的一部分，使得全景图像显示该视频流的预览。该视频流可以是实时视频，特别是例如包含来自全景监控像机的直播图像的直播视频流。另选地，可得到在不同的时间点拍摄的相同环境的多个全景图像，所述时间可具体地由用户选择。例如，这对于监视建筑工地的进展可以是有帮助的。
[0055]图5a示出了图4的三维表面2的表示，其中全景元素30根据全景位置数据被置于所述表示的顶部。全景元素30显示与图3的全景图像4的一部分相对应的预览图像3。所显示的预览图像取决于全景元素30相对于用户当前视点的位置和方向。在图5b中，视点已经改变。用户观看与图5a中相同的三维表面2的表示和相同的全景元素30，但是是从不同的方向观看的。因此，所显示的预览图像3对应于全景图像的不同部分。
[0056]在图6a和6b中，描绘了全景元素30的第一示例性实施方式。根据地图视点的视野和方向，同时显示立方体地图的1个到6个表面31、32、33、34、36、37之间的表面。这里，全景元素30是以如下方式朝向用户视点的立方体，S卩，上表面37和四个侧表面中的一个(即，前表面36)朝向视点。但是，这些表面36、37没有被可视化，只有用于显示预览图像的下表面31和三个其余侧表面32至34的内表面被可视化。
[0057]在图7中描绘了全景元素30的另选实施方式。该全景元素是半圆柱体，而非立方体。因此，用于显示预览图像的内表面包含下表面31和弯曲表面35的内表面。虽然在这里没有示出，但是许多其它形状也是可能的，特别是多种棱柱形元素，例如五边形棱柱或八边形棱柱。
[0058]图8示出了三维表面2的表示(这里通过虚线区域以简化的方式指示)，该三维表面2的所述表示具有根据各个全景位置数据位于所述表示的顶部的三个全景元素30、30’、30”。三个全景元素30、30’、30”朝向用户的视点(虚拟像机5)，使得每个全景元素的四个显示表面对用户是可见的。
[0059]另选地，全景元素30、30’、30”的方向能够相对于表面固定，使得根据视点5相对于全景元素的位置，同时可见的显示表面的数量可以改变。因此，在立方体全景元素的情况下，根据立方体的第四个内表面是否可见和/或外表面是否遮住对内表面中的一个的观看，显示表面的数量可以是三个或四个(包括下表面)。
[0060]可选地，用户可以选择要显示哪个全景元素。这在图9a和图9b中示出。在一个实施方式中，最初只渲染三维表面2的表示，全景图像的位置由表面上的图标71指示。然后，用户可点击这些图标71中的一个，并且相应的全景元素30将被显示。同样地，例如通过用鼠标右击，可以取消对所显示的全景元素的选择以不再显示该全景元素。另选地，每个全景元素30都包括退出图标72和/或下拉菜单73，如图9a所示。
[0061]在可选实施方式中，例如通过点击图标或从下拉菜单73选择选项，用户也可选择全景元素30的外观。例如，能够提供允许用户选择全景元素30的尺寸、全景元素30是否应当是立方体或半圆柱体、全景元素30是否应当相对于视点或坐标参照系被
文档序号 :
【 9646374 】
技术研发人员：A·M·诺德斯托加,O·希尔特
技术所有人：虚拟现实软件
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：A·M·诺德斯托加,O·希尔特
技术所有人：虚拟现实软件
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除