可视化相同环境的表面数据和全景图像数据的方法
[0062]图9b示出了根据本发明的方法的地图视图模式的可视输出1。提供了包括菜单75的全景元素30。当前被隐藏的其它全景元素的位置由地图2上的图标71指示。用户能够利用光标70从菜单75选择菜单选项。如本文所述，这些菜单选项可以包括隐藏全景元素(退出图标72)的选项、隐藏菜单75的选项、改变全景元素尺寸的选项、切换至全景视图模式的选项、将预览图像3显示为立体3D图像的选项、使全景元素30透明的选项、将视野移动至下一全景元素的选项、以及显示关于全景图像数据的信息的选项。
[0063]图10示出了视点(虚拟像机5)接近全景元素30。从现有技术已知，用户能够相对于表面2移动虚拟像机5。由于全景元素30根据坐标数据定位在表面上，所以虚拟像机5还可相对于全景元素30移动，使得当在表面上方移动时，用户能够接近全景元素30。当虚拟像机5足够接近并朝向全景元素30时，全景图像4最终将充满屏幕。
[0064]根据本发明的优选实施方式，接近或进入全景元素30触发从地图视图模式切换到全景视图模式。这意味着用户进入全景视图模式而不需要任何进一步的动作，然后用户能够通过向左转或向右转来观看整个360°全景。
[0065]这在图11中通过俯视图例示。被地图视图模式的用户视点(地图视点5)接近的全景元素被自动进入，并且地图视图模式的视点5成为全景视图模式的视点(全景视点6)。全景视点6具有视角60 ;然后向用户显示全景图像4的位于视角60中的那些部分40。如图12所示，用户能够转动视点6来观看全景图像4的其它部分。不需要渲染全景图像的当前不可见的部分49。
[0066]地图视图模式和全景视图模式之间的切换可包含阿尔法混合。例如，当从全景视图模式切换至地图视图模式时，全景视点6背离全景图像4的移动可以是动画，全景图像变得透明，由此在表面上露出视图。
[0067]图13例示了在地图视图模式下三维表面2和全景元素30的哪些部分不需要渲染。首先，视点5具有视野50，视野50外的表面的部分不需要渲染。然后，全景元素30遮住对表面2的正常情况下应位于视野50内的部分29的观看。最后，全景元素30的外表面39从视点5均不可见，使得不需要渲染它们。
[0068]另选地，全景元素30的所有表面或一些表面可以是部分透明的，以便允许用户观看到不然被隐藏起来的表面2的部分29或不然被隐藏起来的全景元素的部分。这还允许在所有显示表面上同时显示全景预览图像3。具体地，显示表面31至35中的每一个被分配特定的透明度。
[0069]正常情况下将显示预览图像3的部分的内表面的特定部分可以显示表面2的所述表示的部分23。例如，如果在全景图像4的图像数据中存在间隙，则可以显示表面2的在没有全景元素30的情况下将可见的部分。另外，如果全景图像4的特定区域示出像机装置的部分(参见图2)，则可以用表面表示的部分替换这些区域。这将通常应用于全景元素30的下表面。另选地，这些部分可以是部分透明的，由此示出全景图像4和表面2 二者。
[0070]每个全景图像都可以包含指示从像机到屏幕上的像素的距离的单独的数据。该数据可以在每个像素描述深度而非颜色的深度图中。全景中的深度信息还可以提取自地图中的地形数据或建筑几何结构。图14示出了在全景图像数据中使用深度数据来显示在全景视图模式下或在全景预览中表面的表示的部分23或对象25。线45表示全景图像的深度图。在全景图像中描绘的全景对象43、44被分配描述它们至视点6的距离的深度值。
[0071]根据深度数据和全景坐标数据，能够计算全景对象相对于坐标参照系的位置。因此，表面的表示的位于视点6和这些对象43、44之间的对象25或图块可以显示在这些对象43、44前。另外，如上文针对全景元素所描述的，可以识别图像数据中的间隙或全景图像4的示出像机装置的部分的区域并且用表面表示的部分23来替换。另选地，表面的表示的对象25或图块可以部分透明地显示。
[0072]图15示出了以非常简化的方式例示在地图视图模式100期间用户输入的效果的流程图。在开始地图视图模式之后，等待110用户输入。在该示例中，用户输入是视点相对于地图和全景元素的移动120。这触发对视点是否接近或甚至进入全景元素的检查130。如果结果是全景元素与视点之间的距离已经小于预定阈值，则这针对各个全景图像(B)触发切换160至全景视图模式。
[0073]另外，通过计算必须显示的内容来准备渲染从新的视点的可视输出。首先，计算141被调整为新的视点的全景元素的尺寸和方向。并且，考虑关于全景元素的外观的所有其它可应用的选项，例如显示哪个表面或在到视点的新的距离处每个表面应当具有哪个透明级别。
[0074]接下来，计算142地形表面的哪个部分从新的视点可见，由此还考虑哪个部分现在被全景元素挡住以及哪些部分不再被全景元素挡住。同时，计算143要在全景元素上显示的预览图像。根据全景图像的外观及其相对于视点的距离和方向，预览图像将对应于全景图像的特定部分。可选地，还能够根据到视点的距离和/或全景元素的尺寸来选择分辨率级别。
[0075]然后，基于上述计算来渲染160新的可视输出，并且等待110进一步的用户输入。很明显，导致各个动作(上文参照图9a和图9b描述了它们中的一些)的其它用户输入也是可能的，但这里为了清楚起见将它们省略。
[0076]图16示出了以非常简化的方式例示在全景视图模式200期间用户输入的效果的流程图。
[0077]在开始全景视图模式200之后，特别是在用户从地图视图模式(A)切换至全景视图模式之后，系统等待用户输入210。在该示例中，用户输入是视点的移动220，例如视野转向至图像的一侧或图像的放大或缩小。这触发了对视点是否达到或超过用于退出全景元素的预定缩放级别的检查230。如果已达到或超过该缩放级别，则这触发切换回地图视图模式。
[0078]另外，通过计算必须显示的内容来准备渲染从新的视点的全景图像的可视输出。首先，如果对新的视点可应用，则基于全景图像数据的深度数据并且根据单个对象和/或图块至视点的距离和方向来计算241地图对象和/或图块的位置和方向。
[0079]接下来，计算242全景图像的从新的视点可见的部分，由此还考虑哪个部分现在被地图对象和/或图块挡住。然后，所有数据间隙(即还没被地图对象和/或图块挡住的全景图像没有图像数据的部分)被确定并且被其它地图数据替换243，由此显示地形表面的表不的部分。
[0080]然后，渲染260新的可视输出，并且等待210进一步的用户输入。
[0081]虽然上文部分地参照一些优选实施方式例示了本发明，但是应当理解，能够进行实施方式的不同的特征的多种修改和组合。所有这些修改都在随附权利要求的范围内。
【主权项】
1.一种用于可视化三维场景中的表面数据和全景图像数据的方法，该方法包括以下步骤: 向用户提供地图视图模式(100)和全景视图模式(200)，其中， 籲所述表面数据 □与地形表面(2)的表示相关联， □包括表示所述地形表面(2)的特征的多个表面图块(21)和/或多个表面对象(25)，并且 □相对于坐标参照系被参照； ?所述全景图像数据 □与至少一个全景图像(4)，特别是360°全景图像相关联，并且 □包括描述相对于所述坐标参照系的位置的全景位置数据； 籲所述地图视图模式(100)包括可视化从地图视点(5)观看的所述地形表面(2)的所述表示的至少一部分的表面数据；并且 籲所述全景视图模式(200)包括可视化从全景视点(6)观看的所述全景图像(4)的至少一部分的全景图像数据， 其特征在于， 所述地图视图模式(100)包括显示至少一个全景元素(30)，所述全景元素(30) 籲包括用于在所述地图视图模式(100)期间可视化全景图像数据的多个显示表面(31至35)，并且 籲根据所述全景位置数据相对于所述地形表面(2)的所述表示被定位， 其中，所述方法包括以下步骤:根据所述全景元素(30)相对于所述地图视点(5)的当前位置和方向，在所述显示表面(31至35)上显示所述全景图像(4)或全景预览图像(3)，所述全景预览图像(3)基于所述全景图像数据并且对应于相应的全景图像(4)的至少一部分。2.根据权利要求1所述的方法， 其特征在于， 在所述全景图像(4)中，表示所述地形表面(2)的特征的至少一个全景对象(43、44)被描绘，并且与表示相同特征的至少一个表面图块(21)和/或表面对象(25)链接，特别是其中， 籲所述全景图像数据
文档序号 :
【 9646374 】
技术研发人员：A·M·诺德斯托加,O·希尔特
技术所有人：虚拟现实软件
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：A·M·诺德斯托加,O·希尔特
技术所有人：虚拟现实软件
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除