一种数字媒体内容播放转移的方法、装置和系统的制作方法
技术领域:
本发明涉及通信与信息领域,特别涉及一种在数字媒体设备之间数字媒体内容播放转移的方法、转入装置、转出装置、及相关的系统。
背景技术:
数字多媒体和网络的发展,丰富了人们日常生活中的娱乐体验。目前的技术让人们在家里能够观看高清电视,电视节目的来源可能来自数字光盘、有线电视、互联网等等, 能够体验立体声、5. I声道、7. I声道乃至更逼真的声音效果,而且人们还能够使用平板电子设备TV、手机来实现这些体验,现有技术还包括,人们能够通过网络在不同设备之间转移数字内容进行播放,以及通过遥控器、手势控制设备的播放,例如,控制切换上一频道、下一频道节目等等。
传统的对多个设备的控制方法,当前常见的是,分别使用设备各自的遥控器进行控制,而这些遥控器往往是互不通用的,遥控器大多不具备网络功能,例如传统的电视机、 音响;也有一些支持网络的遥控器,例如在具有计算和网络能力的设备(如手机、TV)上加载支持互通协议的软件,来控制另一设备。手势控制是当前比较新颖的一种方式一台设备上的摄像头监视手势动作并进行分析识别,最后转换成对该设备的控制。
随着技术的发展,多个设备之间的内容播放共享、转移需求越来越多,上述操控方式显得并不够方便或者人们需要在一堆遥控器中挑选出对应设备的那一个遥控器并随着控制不同的设备而不断地更换遥控器,或者只能由熟悉电脑基本操作的人们通过操作TV、 手机来控制设备,或者以简单的手势来控制单一的设备。人们更希望使用更简单、更自然的操作方式来控制内容的共享播放、转移播放。
如果能够提供一种更简单、更自然的操控方式来实现对设备间的内容播放转移、 协同播放等功能的控制,并且这种操纵方式结果精准,将使得人们的娱乐生活更轻松、更享受;此外,人们还希望在掌握新设备功能时更容易理解、更容易上手。发明内容
本发明的目的在于提供一种数字媒体内容播放转移的方法、装置、系统,能更好地解决以手势动作来精准地控制数字媒体内容播放转移的问题。
根据本发明的一个方面,提供了一种数字媒体内容播放转移的方法,包括
第一设备检测用户用于转出数字媒体内容播放的人体动作,并将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备;
接收第二设备响应所述第一消息的第二消息,并根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
优选地,第一设备检测到用户用于转出数字媒体内容播放的人体动作后,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到所述第一消息中,发送至第二设备,以供第二设备根据所述第一消息中的第一位置关系信息确定用来接收其第二消息的一个第一设备。
优选地,第一设备接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息,并根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
优选地,所述第一 /第二位置关系信息是手臂、手、第一 /第二设备之间形成的角度信息,或者,所述第一 /第二位置关系信息是手或手臂与第一 /第二设备之间的距离信肩、O
优选地,第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/捏起动作、收回动作的手势动作。
根据本发明的另一方面,提供了一种数字媒体内容播放转移的方法,包括
第二设备检测用户用于转入数字媒体内容播放的人体动作,并向第一设备发送用于表示其播放数字媒体内容能力的第二消息;
接收来自第一设备的用于响应所述第二消息的第三消息,并根据所述第三消息, 将第一设备的数字媒体内容播放转移至本设备播放。
优选地,在第二设备检测人体动作前,还包括
第一设备检测用户用于转出数字媒体内容播放的人体动作,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到用于通知第二设备准备转入数字媒体内容的第一消息中,发送至第二设备;
第二设备收到来自一个或多个第一设备的一个或多个第一消息后,根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收所述第二消息的一个第一设备。
优选地,第二设备检测到用户用于转入数字媒体内容播放的人体动作后,得到第二设备与用户间的第二位置关系信息,并将所述第二位置关系信息封装到所述第二消息中,发送至第一设备。
优选地,第一设备收到来自一个或多个第二设备的第二消息后,根据所述第二消息中的第二位置关系信息,确定用来转移其数字媒体内容播放的一个第二设备,并将第三消息发送至所确定的第二设备。
优选地,第二设备收到所述第三消息后,当所述第三消息是用于转移数字媒体内容播放的消息时,将数字媒体内容播放转移至本设备播放。
优选地,所述第一 /第二位置关系信息是手臂、手、第一 /第二设备之间形成的角度信息,或者,所述第一 /第二位置关系信息是手或手臂与第一 /第二设备之间的距离信肩、O
优选地,所述第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/ 捏起动作、收回动作的手势动作;所述第二设备利用其摄像部件检测人体动作,所述人体动作是包括抛丢/指向/手指张开动作的手势动作。
根据本发明的另一方面,提供了一种数字媒体内容播放转移的转出装置,包括
第一检测模块,用于检测用户用于转出数字媒体内容播放的人体动作;
第一收发模块,用于将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备,并接收第二设备响应所述第一消息的第二消息;
转出模块,用于根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
优选地,所述转出模块包括
转出提取子模块,用于接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息;
转出选择子模块,用于根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
根据本发明的另一方面,提供了一种数字媒体内容播放转移的转入装置,包括
第二检测模块,用于检测用户用于转入数字媒体内容播放的人体动作;
第二收发模块,用于向第一设备发送用于表示其播放数字媒体内容能力的第二消息,并接收来自第一设备的用于响应所述第二消息的第三消息;
转入模块,用于根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
优选地,所述第二收发模块还用于接收一个或多个来自第一设备的一个或多个包含第一设备与用户间的第一位置关系信息的第一消息,根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收所述第二消息的一个第一设备。
根据本发明的另一方面,提供了一种数字媒体内容播放转移的系统,包括上述转出装置和转入装置。
与现有技术相比较,本发明的有益效果在于
本发明可以使用户对数字媒体内容的体验更方便、操控更自然易用,不但能够准确地实现用户操纵数字媒体内容播放转移的目的,还可以使用户把一个设备上播放的不同种类数字媒体内容如视频、音频等转移到不同设备上播放,从而达到提高人们娱乐生活的效果。
图
图
图
图
图
图
图
图
图
图具体实施方式
以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图I是本发明第一实施例提供的数字媒体内容播放转移的方法原理框图,如图I 所示,步骤包括
步骤101、第一设备检测用户用于转出数字媒体内容播放的人体动作,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到用于通知第二设备准备转入数字媒体内容的第一消息中,发送至第二设备。
步骤102、第二设备收到来自一个或多个第一设备的一个或多个第一消息后,根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收其用于表示其播放数字媒体内容能力的第二消息的一个第一设备。
步骤103、第二设备检测用户用于转入数字媒体内容播放的人体动作,并向所确定的一个第一设备发送所述第二消息。
所述步骤103具体为第二设备检测到用户用于转入数字媒体内容播放的人体动作后,得到第二设备与用户间的第二位置关系信息,并将所述第二位置关系信息封装到所述第二消息中,发送至所确定的一个第一设备,以便第一设备收到来自一个或多个第二设备的第二消息后,根据所述第二消息中的第二位置关系信息,确定用来转移其数字媒体内容播放的一个第二设备,并将第三消息发送至所确定的第二设备。
步骤104、接收来自第一设备的用于响应所述第二消息的第三消息,并根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
所述步骤104具体为第二设备收到所述第三消息后,当所述第三消息是用于转移数字媒体内容播放的消息时,将第一设备的数字媒体内容播放转移至本设备播放。
进一步地,所述第一 /第二位置关系信息是手臂、手、第一 /第二设备之间形成的角度信息,或者,所述第一/第二位置关系信息是手和/或手臂与第一/第二设备之间的距离信息。
进一步地,所述第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/捏起动作、收回动作的手势动作;所述第二设备利用其摄像部件检测人体动作,所述人体动作是包括抛丢/指向/手指张开动作的手势动作。
也就是说,本发明所述第一设备具有转移数字媒体内容播放的触发能力,触发能力是指能够接收或识别准备转移播放的人体动作,包括手在触摸屏上抓、划过这样的动作, 以及在摄像头的抓取动作等。所述第一设备还具有网络能力,网络能力能够使其与其它设备互相发现、连接,并在收到已经触发了准备转移播放的人体动作后,向其它设备广播消息。所述第一设备还具有根据第二消息判定对端设备的能力。本发明所述第二设备具有网络能力和识别能力,网络能力能够使其与其它设备互相发现、连接,并能够接收来自其它设备的广播消息。所述第二设备还具有识别能力,所述识别能力是指能够识别出数字媒体内容播放即将转移到本设备,这一识别能力结合了上下文应用场景包括识别手的抛丢动作、 手的指向动作或者手在触摸屏上张开等动作。所述第二设备还具有根据第一消息判定对端设备的能力。
图2是本发明第一实施例提供的数字媒体内容播放转移的应用场景示意图,各设备及其相互关系如图2所示,系统中有两个设备都是电视机TV=TVl和TV2,本实施例中以先后向TV1、TV2发出手势为例进行详细说明。
TVl作为第一设备,正在播放数字媒体内容,所述数字媒体内容可以是本地存储的视频文件、或者是来自IP网络的视频流、或者是本地的音频文件、或者是来自IP网络的音频流,也可以作为计算机主机的显示器正在显示操作系统的桌面等。
TVl上具有一个摄像部件(例如摄像头),用户可以在摄像头前用手做抓取动作等。 TVl能够把摄像头捕获的动作识别出来,知道用户在做抓取等动作。
TVl具有转移数字媒体内容播放的触发能力,所述触发能力指TVl能够通过摄像头获取运动图像,从而按预定义识别判断出准备转移播放数字媒体内容的指示。
TVl上设有网络接口,支持IEEE 802. llb/g/n或者IEEE 802. 3,从而可以连接到 IP网络。
TVl内的模块还具有网络业务能力,网络业务能力能够与其它设备互相发现、连接,并在收到已经触发了准备转移播放的指示后,向其它设备广播消息。
TV2作为第二设备,也具有一个摄像部件(例如摄像头)。与TVl—样,用户可以在摄像头前用手做抛出、释放、或指向动作等。
TV2也具有识别转移数字媒体内容播放的能力,就是说TV2能够通过摄像头获取运动图像,从而按预定义识别出有数字媒体内容要转移到本TV2播放,也就是获知数字媒体内容即将转移到本设备,这一识别结合了上下文应用场景,包括识别手的抛出动作、手的释放动作、手的指向动作或者手在触摸屏上张开(假设TV2设有触摸屏)等。
TV2上设有网络接口,支持IEEE 802. llb/g/n或者IEEE 802. 3,从而可以连接到 IP网络。
TV2内的模块还具有网络业务能力,网络业务能力能够与其它设备互相发现、连接,并能够接收TVl的广播消息、响应广播消息,还能够在识别到用户发出的转移动作后, 向TVl发送确认消息,最终与TVl进行数字媒体内容的播放转移。
在功能模块上,所述系统包括转出装置,所述第一设备TVl是系统的转出装置,其包括
第一检测模块,用于检测用户用于转出数字媒体内容播放的人体动作;
第一收发模块,用于将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备,并接收第二设备响应所述第一消息的第二消息;
转出模块,用于根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
进一步地,所述转出模块包括
转出提取子模块,用于接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息;
转出选择子模块,用于根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
在功能模块上,所述系统还包括转入装置,所述第二设备TV2是系统的转入装置, 其包括
第二检测模块,用于检测用户用于转入数字媒体内容播放的人体动作;
第二收发模块,用于向第一设备发送用于表示其播放数字媒体内容能力的第二消息,并接收来自第一设备的用于响应所述第二消息的第三消息;
转入模块,用于根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
进一步地,所述第二收发模块还用于接收一个或多个来自第一设备的一个或多个包含第一设备与用户间的第一位置关系信息的第一消息,根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收所述第二消息的一个第一设备。
所述第一检测模块和第二检测模块都具有动作输入功能子模块,例如触屏、摄像头,还具有识别功能子模块。所述动作输入子模块把采集到的动作交给识别功能子模块,由识别功能子模块识别出动作的含义,例如识别出要转移数字媒体播放、数字媒体的播放将转移到本设备等。
所述第一收发模块和第二收发模块都具有网络业务功能子模块和网络接口,前述的识别功能子模块与网络业务功能子模块相连,把识别出的动作意图交给网络业务功能子模块,由网络业务功能模块组织形成网络报文,并命令网络接口发出网络消息,并且网络业务功能子模块能够接收网络消息。网络接口则负责在各类网络上发送、接口网络报文。
在本实施例中,TVl可识别出的动作分别为
第一组
I)抓用户对着摄像头用手做抓取动作,或是捏起动作;
2)收回用户对着摄像头用手掌和手臂做收回动作手臂先对着摄像头伸直,然后前臂向用户身体中线方向屈回。
在本实施例中,TV2可识别出的动作分别为
第二组
I)丢用户对着TV2摄像头用手做抛丢动作;
2)放用户先保持第一组中的抓起或捏起手势,然后对着TV2摄像头用手做释放动作;
3)指用户对着TV2摄像头用手做指向动作;
4)张开如果TV2屏有一触摸屏的话,先收拢5指,然后用手指在触摸屏上做张开动作。
在通过摄像头识别动作意图方面,手势动作的识别可采用直方图法或隐马尔科夫模型法。首先用户的手势动作要落在摄像头捕获范围内,这样摄像头能够生成手势视频并交给识别功能子模块,识别功能子模块对视频中的手势图像通过颜色、或轮廓、或结构光分析等方法识别出手的位置,检测分割出手势对象,提取出手势特征,跟踪到手势运动;然后对手指方向、运动方向序列进行处理,最后完整地识别出手势动作,此时可采用与预定义的手势动作空间对比等方法,确定用户的的动作操作意图。
除了上述的手势动作,还可以用眼球运动、身体姿势等动作。
上述两组动作分别从每组中各选其一组合,都能够各自完成数字媒体内容的转移控制,例如先选择第一组的I)在TVl上做动作,然后对着TV2摄像头做第二组里的动作2)。
TVl和TV2的网络业务能力包括
I)使得TVl和TV2能够通过网络互相发现;
2)通过网络协商控制操作;
3)进行数字媒体内容的传输。
TVl接收或识别准备转移数字媒体内容播放的人体动作后,发出让TV2准备接收或识别人体动作(例如手势动作)的第一消息,所述消息中包含有其与用户的第一位置关系信息(例如手势位置信息)。然后,TV2接收或识别出数字媒体内容播放将转移到本设备的人体动作后,向TVl发送第二消息,通知TVl已经准备好接收数字媒体内容播放,所述第二消息中包含有其与用户的第二位置关系信息(例如手势位置信息)。最后,TVl向TV2确认数字媒体内容播放的转移,完成播放的转移。
其中,所述手势位置信息可以是手势与设备的角度参数,也可以是手势与设备之间的距离参数。这样,当存在多个第一设备和/或多个第二设备时,本端可以根据对端的手势位置信息,判定最佳的对端设备,并响应消息。
图3是本发明实施例提供的手势与摄像头角度示意图,如图3所示,考虑到本发明所解决问题的场景中,第一设备或第二设备可能都不只一个,而操作的用户不需要精确地调整自己的位置、姿势正向对着每一设备,以系统中存在两个第二设备为例,如图3,有 TVU TV2两个设备,以用户为座标中心,设备与用户手势存在角度。在这一实施例中,设备在识别手势时,能够标识出用户手势延伸线与摄像头之间的角度、距离,这可以利用现有技术中的增加红外光进行测量、激光测量、测量等等技术来实现。
图3中,任一具有识别功能的设备,先识别出手臂,以手臂的手的另一端点作为座标原点,若手掌(手指)自左到右运动(用户观察),则角度变化为从0°到360°,若手掌 (手指)自上向下运动,则角度变化为从0°到180°。这里,设备所要计算的,是摄像头、 手、手臂另一端点这三点所构成的三角形中,摄像头-手这条线和手-手臂这条线的夹角。 这个夹角的角度越大,表示手势的指向越趋向于这个三角形中的摄像头,即趋向于指向摄像头所在的设备。角度大小和对应的意义如下
<0° :表示手指向并不对着本设备;
0° -90° :表不手指向不一定对着本设备;
90°到180° :此种情景,手、手臂、摄像头越来越趋向在一条直线上,表示手指向很可能指向了本设备;
180° :此种情景,手、手臂、摄像头在一条直线上,可以确定手指向了本设备。
作为另一实施例,在图3中,仍如上述规定座标原点,这里,也可以选用其它点作为座标原点。规定若手掌(手指)自左到右运动(用户观察),则角度变化为从0°到360°, 若手掌(手指)自上向下运动,则角度变化为从0°到180°,这里,也可以选用其它的方向规定方向。设备所要计算的是摄像头、手、手臂另一端点这三点所构成的三角形中,摄像头-手这条线和手-手臂这条线、手臂另一端点-摄像头这条线共三条线的长度,长度的计算方面,识别模块可以直接测量这三个长度,也可以通过测量基准距离然后按比例计算。
可选地,位置关系还可以包括手或手臂到摄像头的距离。
图4是本发明第一实施例提供的操控方法的网络消息流程示意图,如图4所示,步骤包括
在图4中,第一设备为TVl,第二设备有2个分别为TV2和音响系统AudioSystem。 在这一实施例中,数字媒体内容在TVl上播放,用户操控数字媒体内容播放从TVl转移到 TV2,对用户来说,他的场景与体验是用手势对正在播放视频的TVl屏幕上做抓取、收回动作,然后手朝向TV2摄像头方向做抛出动作,于是,原来在TVl上播放的数字媒体内容现在在TV2上播放出来,用户可以直接观看TV2上播放出来的视频内容。这个过程,不需要用户10识别屏幕上的菜单、更不需要用户点击屏幕按钮等,也不需要用户使用遥控器。用户在使用手势操作时,并不要求用户正对着TV2的摄像头操作,用户只需要手势方向是近似对着TV2 就可以了,不必担心多个具有识别功能的设备(如另外还有一个Audio System)在转移数字媒体内容播放时出现冲突。
在各实施例中,所述装置之间通过网络互相连接,并能够互相通讯中,也可以具有互相发现的能力。
具体来说,这一功能的处理流程为
步骤401、用户在TVl上演示第一动作,TVl识别这一动作,识别出用户的转移意图,即当前TVl的视频播放将要被转移到另一设备上播放。
这里的第一动作,可以是上述第一组动作中的任一个动作。TVl可以至少支持其中的一个动作。对这些动作的识别,在TVl中是结合上下文预定义的,部分动作识别结合使用了图像识别算法,从而TVl能够识别出动作所表示的含义,即当前视频播放将要被转移到另一设备上播放。
这一步骤依赖于TVl即第一设备的转移数字媒体内容播放的触发能力,触发能力是指能够接收或识别准备转移播放的人体动作,触发其它设备得知准备转移播放数字媒体内容指示。
所述步骤401中,第一设备摄像头可以一直保持监视、识别(因其可能接收了来自其它设备的内容),也可以通过启动手势或者其它启动方式来开始摄像头的监视功能。所述步骤401中,第一设备完成了接收准备转移播放数字媒体内容的指示,或者说,第一设备完成识别准备转移播放数字媒体内容的指示(如抓取动作)。
步骤402、TVl识别用户用于转出数字媒体内容播放的人体动作后,广播第一消息READY PLEASE。
TVl识别出动作,识别了转移数字媒体内容播放意图后,启动网络业务功能,在预先规定的地址和端口上发送广播/组播报文消息,报文消息中包括用于通知其它设备准备识别接收动作的信息。这一消息在本发明中称为READY PLEASE,用于通知其它设备做好识别、接收准备,并通报本设备的播放数字媒体内容的能力。所述第一消息中包括的信息有
本设备名称、地址、端口 这是数字媒体内容播放的READY PLEASE消息的发出地址,以及后续接收准备响应消息的地址;
识别的手势位置关系包括手势相对于摄像头的角度、距离等手势与摄像头位置关系的数据,其识别方法、表示方法等可以采用如图3所述方法,也可以采用其它的表示这种位置关系的数据;
数字媒体内容类别的指示可以是图象、或运动图像、或声音、或桌面或其组合之中的一个;
数字媒体内容属性当数字媒体内容类别是图像时包括图像编码方式,当数字媒体内容类别是运动图像时包括图像编码方式、帧率等,当数字媒体内容类别是声音时包括声音编码方式和/或采样率等等,当数字媒体内容类别是桌面时包括桌面大小、分辨率等等,当数字媒体内容类别是组合方式时,包括组合当中的各类别的相应参数;
发送数字媒体内容的传输协议参数包括地址、端口、及其它协议参数集,如果最终确认了数字媒体内容的转移,将使用这里列出的参数来发送数字媒体内容;
超时时间表示这一 READY PLEASE报文消息的有效时间,也就是说超过指定时间之后,这次转移意图将无效(取消)。
在完成所述步骤402之前,TV2、Audio System的网络能力能够使得TVl与TV2、 Audio System完成互相连接,同样地依赖设备的网络能力,在本设备上收到已经触发了准备转移数字媒体内容播放的指示后,TVl通过网络发出让其它设备(包括TV2、Audio System)准备接收或识别手势动作的消息指示,也就是其它设备需要确认是否能够接收数字媒体内容的转移。
简言之,在所述步骤402中,第一设备TVl发出让其它设备确认是否能够接收数字媒体内容播放转移的指示。
步骤403、第二设备TV2、Audio System识别第二动作。
所述第二动作可以是上述第二组动作中的任一个动作,TV2、Audio System至少支持其中的一个动作。对这些动作的识别,在TV2、Audio System中是结合上下文预定义的, 这种上下文包括在收到了 TVl的第一消息后摄像头开始启动识别功能,动作识别结合使用图像识别算法,从而TV2、Audio System能够识别出动作所表示的含义,即当前视频播放将要被转移到本设备上播放。
要说明的是,这个实施例里,存在多个第二设备,即可以有多个电视机设备和/或机顶盒设备和/或音响设备等等具有前述功能,这里用了 TV2、Audio System两个设备,所述TV2、Audio System都能够识别第二个动作。
所述步骤403中,第二设备识别出数字媒体内容播放将转移到本设备播放。
步骤404、第二设备TV2、Audio System识别用户用于转入数字媒体内容播放的人体动作后,TV2、Audio System 发送第二消息PAIRED OK 或 PA IRFAI LURED。
所述步骤404中,所述第二消息有两种第一种是PAIRED 0K,表示设备可以接收数字媒体内容播放;另一种是PAIR FAILED,表示设备虽然识别出了动作,但不能接收转移的数字媒体内容播放。本实施例中,TV2、Audio System向TVl发送PAIRED 0K。
TV2、Audio System识别出针对本设备的动作,即识别出了数字媒体内容播放转移到本设备的意图后,若本设备能够接收前述TVl发出的第一消息中指明的数字媒体内容, 就启动网络业务功能,并在预先规定的地址和端口上向TVl发送第二消息PAIRED 0K,所述第二消息中包括用于回答TVl的信息本设备确认可以接受数字媒体内容。若本设备不能够接收前述TVl发出的第一消息中指明的数字媒体内容,则启动网络业务功能,在预先规定的地址和端口上向TVl发送第二消息PAIR FAILURE,所述消息中包括用于回答TVl的信息本设备因为何种原因不能够接收数字媒体内容播放。当然设备TV2、Audio System也可以对TVl的消息不响应,即不发送任何消息。
TV2、Audio System 只能向一个 TVl 发送第二消息。也就是说,TV2、AudioSystem 可能收到多个像TVl这样的第一设备发出的第一消息,这时候TV2、AudioSystem根据所收到的第一消息中的第一设备给出的手势位置信息,判断选择出最精准的一个第一设备,并向这个第一设备响应第二消息PAIRED 0K。
所述TV2、Audio System根据多个第一设备给出的手势位置信息判断的步骤,可根据图3所述实施例进行处理,例如,若干个TVl给出的角度数据如下
TVl(I) :100。
TVl⑵170°
TVl ⑶80。
此时,TV2、Audio System选择TVl⑵作为目标设备并发送准备响应消息。
如果TVl给出的是距离参数而不是角度参数,则TV2、Audio System可以根据三角公式进行计算,计算出所述角度后,再对TVl进行选择。
进一步地,所述第二消息PAIRED OK中包括第二设备的播放数字媒体内容的能力, 例如有以下信息
本设备名称、地址、端口 这是PAIRED OK消息的发出地址,以及后续消息交互的地址;
识别的手势位置关系包括手势相对于摄像头的角度、距离等手势与摄像头位置关系的数据,识别方法、表示方法等可以如图3实施例的方法,当然也可以用其它的表示这种位置关系的数据。
能够接收的数字媒体内容类别的指示可以是图象、或运动图像、或声音、或桌面或其组合之中的一个,这是TV2、Audio System向TVl确认内容类别;
数字媒体内容属性数字媒体内容类别是图像时包括图像编码方式,数字媒体内容类别是运动图像类别时包括图像编码方式、帧率等,数字媒体内容类别是声音时包括编码方式和/或采样率等,数字媒体内容类别是桌面时包括桌面大小、分辨率等,这是TV2向 TVl确认内容属性;
接收发送来的数字媒体内容的传输协议包括地址、端口、及其它协议参数集, 如果最终建立了数字媒体内容的转移,将使用这里列出的参数来接收,这是TV2、Audio System向TVl确认内容传输协议;
超时时间表示这一报文消息的有效时间,也就是说超过指定时间之后,这次的能够接收数字媒体内容的意图将无效(取消)。
所述步骤404中,第二设备向第一设备确认已经准备好接收数字媒体内容播放。
步骤405、TVl 对 PAIRED OK 消息予以响应PAIRED CONFIRM 或 PAIR REFUSED
TVl 再向 TV2 或 Audio System 发送第三消息 PAIRED CONFIRM 或 PAIRREFUSED,所述PAIRED CONFIRM由TVl发给那些TVl愿意发给数字媒体内容的TV2或Audio System,或所述PAIR REFUSED由TVl发给那些TVl不会转移数字媒体内容的TV2或Audio System。 本实施例中,TVl 向 TV2 发送 PAIRED CONFIRM,向 Audio System 发送 PAIR REFUSED,即 TVl 选择将数字媒体内容转移至TV2播放。
TVl接收来自多个第二设备如图中的TV2、Audio System的PAIRED 0K,并根据其中的第二设备所识别的手势位置信息来判断最佳的那一个第二设备,例如根据图3所述实施例,根据收到的准备完成消息中所报告的角度最接近直线和/或距离最小来选择TV2或 Audio System,并向所选择的 TV2 或 Audio System 响应 PAIR CONFIRM。
例如,如下的TV2、Audio System给出的角度数据
TV2(1) 100°
TV2 (2) 170°
Audio System :80°
则TVl选择TV2⑵作为目标设备并响应消息。
如果TV2或Audio System给出的是距离参数而不是角度参数,则TVl可以根据三角公式进行计算,计算出角度后,再对目标设备进行选择。
当然,TVl也可以提供操作界面,由用户自己来选择目标设备,例如在屏幕列出选项,由用户选中设备,然后继续后面的流程。
步骤406、将TVl当前的数字媒体内容播放转移至TV2播放。
在TVl与TV2之间通过网络消息确认之后,TVl与TV2之间开始转移数字媒体内容播放直到完成或被中止。
数字媒体内容播放的转移,使用前述TVl与TV2之间消息协商的媒体传输协议,例如,可以使用实时传输协议/实时传输控制协议(Real Time TransportProtocol/ Real Time Transport Control Protocol,RTP/RTCP)、HTTP 方式的自适应流媒体(HTTP Adaptive Streaming,HAS)、文件传输协议(File TransportProtocol,FTP)、WiFi 联盟的显不技术(WiFi Display)、无线家庭数字接口 (Wireless Home Digital Interface, WHDI) > 无线高清协议(Wireless HighDefinition, WiHD)等等。
转移过程中,TVl和TV2之间可以传递编码解码参数、播放的内容的时移参数等信肩、O
当TVl上的数字媒体内容播放结束或传输结束时,TVl可以发送消息给TV2,通知 TV2播放结束,关闭网络连接。
第一实施例中,作为第一设备的TVl,先识别出针对自己的手势、发出播放转移的多播请求消息(第一消息),然后TV2作为第二设备识别出针对自己的手势,向TVl第二消息。进一步地,还可以仅对第一设备TVl施以手势动作,TVl识别出针对自己的手势后,发出第一消息,以便触发播放转移协商。
图5是本发明第二实施例提供的数字媒体内容播放转移内容播放的方法原理框图,如图5所示,步骤包括
步骤501、第一设备检测用户用于转出数字媒体内容播放的人体动作,并将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备;
所述步骤501具体为第一设备检测到用户用于转出数字媒体内容播放的人体动作后,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到所述第一消息中,发送至第二设备,以供第二设备根据所述第一消息中的第一位置关系信息确定用来接收其第二消息的一个第一设备。
步骤502、接收第二设备响应所述第一消息的第二消息,并根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
所述步骤502具体为第一设备接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息,并根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
进一步地,所述第一 /第二位置关系信息是手臂、手、第一 /第二设备之间形成的角度信息,或者,所述第一/第二位置关系信息是手或手臂与第一/第二设备之间的距离信肩、O
进一步地,第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/ 捏起动作、收回动作的手势动作。
图6是本发明第二实施例提供的数字媒体内容播放转移内容播放的应用场景示意图,各设备及其相互关系如图6所不,系统中有两个设备都是电视机TV TV1和TV2。
TVl作为第一设备具有一个摄像部件(例如摄像头),用户可以在摄像头前用手做抓、或收回动作等。在本实施例中,TVl可识别出的动作分别为
I)抓用户对着摄像头用手做抓取动作,或是捏起动作;
2)收回用户对着摄像头用手掌和手臂做收回动作手臂先对着摄像头伸直,然后前臂向用户身体中线方向屈回。
TVl接收或识别出数字媒体内容播放即将转出本设备的人体动作后,向TV2发送第一消息,用于通知TV2做好接收准备,并通报本设备的播放数字媒体内容的能力,以便进行数字媒体内容播放的转移。
图7是本发明第二实施例提供的操控方法的网络消息流程示意图,如图7所示,本实施例中有两个第一设备TVl和TV3,一个第二设备TV2,步骤包括
步骤701、用户向TVl演示第一动作,TVl和TV3都识别这一动作,识别出用户的转移意图,即当前视频播放将要被转移到另一设备上播放。
步骤702、TVl和TV3分别识别用户用于转出数字媒体内容播放的人体动作后,分别广播第一消息=READY PLEASE,用于通知其它设备做好识别、接收准备,并通报本设备的播放数字媒体内容的能力。
步骤703、TV2、Audio System 只能向一个 TVl 发送第二消息PAIRED OK 或 PAIR Failured0也就是说,TV2收到多个像τνι和TV3这样的第一设备发出的第一消息后,TV2 根据所收到的第一消息中的第一设备给出的手势位置信息,判断选择出最精准的一个第一设备,并向这个第一设备响应第二消息。本实施例中,TV2向τνι确认已经准备好接收数字媒体内容播放,即向TVl发送第二消息PAIRED 0K。
步骤704、TV1对PAIRED OK消息予以响应PAIRED CONFIRM,即TVl将数字媒体内容播放转移至TV2播放。
步骤705、将TVl当前的数字媒体内容播放转移至TV2播放。
在TVl与TV2之间通过网络消息确认之后,TVl与TV2之间开始转移数字媒体内容播放直到完成或被中止。
本发明还提供了第三实施例在存在正在播放数字内容的第一设备(TVl)的情形下,用户首先对多个第二设备(TV2等)做出手势动作,TV2等设备识别出手势后,触发网络消息(第二消息):PAIRED 0K,该消息以多播/广播方式发送,消息报文中携带的内容同前述第一实施例中所述;正在播放数字内容的第一设备TVl在收到这样的PAIRED OK消息后,使用前述实施例中的判断方式根据位置关系信息判断并选择一个目标第二设备(如选择了 TV2),TVl向TV2响应消息PAIRED CONFIRM,消息报文中携带对收到的PAIRED OK中的协商信息。在TV1、TV2建立了一对一连接后,后续的播放转移控制与前述实施例类似。下面通过图8至图10进一步说明。
图8是本发明第三实施例提供的数字媒体内容播放转移的方法原理框图,如图8 所示,步骤包括
步骤801、第二设备检测用户用于转入数字媒体内容播放的人体动作,并向第一设备发送用于表示其播放数字媒体内容能力的第二消息。15
所述步骤801具体为第二设备检测到用户用于转入数字媒体内容播放的人体动作后,得到第二设备与用户间的第二位置关系信息,并将所述第二位置关系信息封装到所述第二消息中,发送至第一设备,以便第一设备收到来自一个或多个第二设备的第二消息后,根据所述第二消息中的第二位置关系信息,确定用来转移其数字媒体内容播放的一个第二设备,并将第三消息发送至所确定的第二设备。其中,所述第二设备利用其摄像部件检测人体动作,所述人体动作是包括抛丢/指向/手指张开动作的手势动作。
步骤802、接收来自第一设备的用于响应所述第二消息的第三消息,并根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
所述步骤802具体为第二设备收到所述第三消息后,当所述第三消息是用于转移数字媒体内容播放的消息时,将数字媒体内容播放转移至本设备播放。
图9是本发明第三实施例提供的数字媒体内容播放转移的应用场景示意图,各设备及其相互关系如图9所示,有两个设备都是电视机TV =TVl和TV2。
TV2作为第二设备具有一个摄像部件(例如摄像头),用户可以在摄像头前用手做抛出、释放、或指向动作等。在本实施例中,TV2可识别出的动作分别为
I)丢用户对着TV2摄像头用手做抛丢动作;
2)放用户先保持第一组中的抓起或捏起手势,然后对着TV2摄像头用手做释放动作;
3)指用户对着TV2摄像头用手做指向动作;
4)张开如果TV2屏有一触摸屏的话,先收拢5指,然后用手指在触摸屏上做张开动作。
首先,TV2接收或识别出数字媒体内容将转移到本设备播放的人体动作后,向TVl 发送第二消息,通知TVl已经准备好接收数字媒体内容播放,所述第二消息中包含有其与用户的第二位置关系信息(例如手势位置信息)。然后,TVl向TV2确认数字媒体内容播放的转移,完成播放的转移。
其中,所述手势位置信息可以是手势与设备的角度参数,也可以是手势与设备之间的距离参数。这样,当存在多个第一设备或多个第二设备时,本端可以根据对端的手势位置信息,判定最佳的对端设备,并响应消息。
图10是本发明第三实施例提供的操控方法的网络消息流程示意图,如图10所示, 第一设备为TVl,第二设备有2个分别为TV2和Audio System。在这一实施例中,数字媒体内容在TVl上播放,用户操控数字媒体内容播放从TVl转移到TV2,对用户来说,他的场景与体验是用手势朝向TV2摄像头方向做抛出动作,于是,原来在TVl上播放的数字媒体内容现在TV2上播放出来,用户可以直接观看TV2上播放出来的视频内容。步骤包括
步骤701、第二设备TV2、Audio System识别第二动作,识别出数字媒体内容播放将转移到本设备播放。
步骤702、第二设备TV2、Audio System识别用户用于转入数字媒体内容播放的人体动作指令后,TV2、Audio System发送第二消息PAIRED 0K,向第一设备确认已经准备好接收数字媒体内容播放。
所述步骤702中,所述第二消息有两种第一种是PAIRED 0K,表示设备可以接收数字媒体内容;另一种是PAIR FAILED,表示设备虽然识别出了动作,但不能接收转移的数字媒体内容。本实施例中,TV2、Audio System向TVl发送PAIRED 0K,所述第二消息中包括第二设备识别的手势位置信息。
步骤703、TVl 对 PAIRED OK 消息予以响应PAIRED CONFIRM 或 PAIR REFUSED
TVl 向 TV2 或 Audio System 发送第三消息 PAIRED CONFIRM 或 PAIR REFUSED。本实施例中,TVl 向 TV2 发送 PAIRED CONFIRM,向 Audio System 发送 PAIR REFUSED,即 TVl 选择将数字媒体内容播放转移至TV2播放。
当TVl接收来自多个第二设备如图中的TV2、Audio System的PAIRED OK时,可以根据其中的第二设备所识别的手势位置信息来判断最佳的那一个第二设备。当然,TVl也可以提供操作界面,由用户自己来选择目标设备,例如在屏幕列出选项,由用户选中设备, 然后继续后面的流程。
步骤704、将TVl上当前的数字媒体内容播放转移至TV2播放。
在TVl与TV2之间通过网络消息确认之后,TVl与TV2之间开始转移数字媒体内容播放直到完成或被中止。
作为第四实施例,还可以同时对第一设备、第二设备施以手势动作,两类设备(可能是不只一个的设备)同时开始识别手势,并触发播放转移协商,这时候的网络消息流程跟前述第一实施例是类似的,在此不再赘述。
从数据传递的角度看,数据媒体内容播放转移指,举例如下
(I)TVl把文件/数据一次发送给TV2,或,
(2) TVl把文件/数据以流的方式发送给TV2,或
(3) TVl把另一设备上的内容源地址告诉TV2、TV2从内容源地址下载,或
(4) TVl把另一设备上的内容源地址告诉TV2、TV2接收来自内容源的媒体流,等坐寸ο
上述实施例中,TVl作为第一设备,而本发明并不限定于第一设备是象TVl这样的设备,手机、带触屏(摇控器)的其它播放器,甚至是电脑等等都可以作为第一设备,前述流程中的触发功能,也可以在电脑上由键盘、鼠标来实现。
上述实施例中,TV2、Audio System作为第二设备,而本发明并不限定于第二设备是象电视机等这样的设备,只要配置有一摄像头,且具有实施例中描述的各种能力,手机、 机顶盒、投影仪、电脑等等都可以作为第二设备。
上述实施例,可以实现家庭内不同设备之间内容的传递共享,如手机向TV传递图像、同时向音响传递声音,在具有多个TV的展厅等场所,在一个物理位置上向不同的TV转移多个内容的播放等等。
上述流程,并不是限定只能用实施例来实现,也不是用来限定具体流程执行的方法,本发明还可以用类似的方式实现,比如表示模块的名字、各种消息的类型等,那不过是命名形式、具体的报文内容等有所不同。
上述实施例,网络相关的,可适用于基于ffiEE 802. 3、IEEE 802. llb/g/n、 P0WELINE、CABLE、PSTN、3GPP (3rd Generation Partnership Project,第三代合作伙伴计划)网络、3GPP2网络等通讯网络所支持的IP网络,各装置的操作系统可适用于UNIX类操作系统、WINDOWS类操作系统、ANDROID类操作系统、IOS操作系统,对消费者接口可适用于 JAVA语言接口等。
为了清楚起见,这里没有示出和描述设备的所有的常规特征。当然,应当理解,在任何实际设备的研制中,必需做出特定实现方式的决定以便实现研制者的特定目标,例如符合与应用及业务相关的约束,这些特定的目标随着不同的实现方式而变化,并且随着不同的研制者而变化。而且,应当理解,这种研制工作是复杂和耗时的,但是尽管如此,对于受到本发明公开内容启发的普通技术人员而言所进行的技术工作是常规的。
根据这里描述的主题,能够利用各种类型的操作系统、计算平台、计算机程序、和/ 或通用机器来制造、操作和/或执行各种部件、系统、装置、处理步骤和/或数据结构。此外,本领域的普通技术人员将会明白,也可以利用不太通用的装置,而不脱离这里公开的发明构思的范围和精神实质。其中,所包含的方法由计算机、装置或机器执行,并且该方法可以被存储为机器可读的指令,它们可以存储在确定的介质上,例如计算机存储装置,包括但不限于R0M(只读存贮器、FLASH存储器、转移装置等)、磁存储介质(例如,磁带、磁盘驱动器等)、光学存储介质(例如,⑶-ROM、DVD-ROM、纸卡、纸带等)以及其他熟知类型的程序存储器。此外,应当认识到,该方法可以利用软件工具的选择由人类操作者执行,而不需要人或创造性的判断。
尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。
权利要求
1.一种数字媒体内容播放转移的方法,其特征在于,包括第一设备检测用户用于转出数字媒体内容播放的人体动作,并将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备;接收第二设备响应所述第一消息的第二消息,并根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
2.根据权利要求I所述的方法,其特征在于,第一设备检测到用户用于转出数字媒体内容播放的人体动作后,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到所述第一消息中,发送至第二设备,以供第二设备根据所述第一消息中的第一位置关系信息确定用来接收其第二消息的一个第一设备。
3.根据权利要求2所述的方法,其特征在于,第一设备接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息,并根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
4.根据权利要求3所述的方法,其特征在于,所述第一/第二位置关系信息是手臂、手、 第一/第二设备之间形成的角度信息,或者,所述第一/第二位置关系信息是手或手臂与第一/第二设备之间的距离信息。
5.根据权利要求I或2所述的方法,其特征在于,第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/捏起动作、收回动作的手势动作。
6.一种数字媒体内容播转移的方法,其特征在于,包括第二设备检测用户用于转入数字媒体内容播放的人体动作,并向第一设备发送用于表示其播放数字媒体内容能力的第二消息;接收来自第一设备的用于响应所述第二消息的第三消息,并根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
7.根据权利要求6所述的方法,其特征在于,在第二设备检测人体动作前,还包括第一设备检测用户用于转出数字媒体内容播放的人体动作,得到第一设备与用户间的第一位置关系信息,并将所述第一位置关系信息封装到用于通知第二设备准备转入数字媒体内容的第一消息中,发送至第二设备;第二设备收到来自一个或多个第一设备的一个或多个第一消息后,根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收所述第二消息的一个第一设备。
8.根据权利要求6或7所述的方法,其特征在于,第二设备检测到用户用于转入数字媒体内容播放的人体动作后,得到第二设备与用户间的第二位置关系信息,并将所述第二位置关系信息封装到所述第二消息中,发送至第一设备。
9.根据权利要求8所述的方法,其特征在于,第一设备收到来自一个或多个第二设备的第二消息后,根据所述第二消息中的第二位置关系信息,确定用来转移其数字媒体内容播放的一个第二设备,并将第三消息发送至所确定的第二设备。
10.根据权利要求9所述的方法,其特征在于,第二设备收到所述第三消息后,当所述第三消息是用于转移数字媒体内容播放的消息时,将数字媒体内容播放转移至本设备播放。
11.根据权利要求10所述的方法,其特征在于,所述第一/第二位置关系信息是手臂、 手、第一/第二设备之间形成的角度信息,或者,所述第一/第二位置关系信息是手或手臂与第一/第二设备之间的距离信息。
12.根据权利要求11所述的方法,其特征在于,所述第一设备利用其摄像部件检测人体动作,所述人体动作是包括抓起/捏起动作、收回动作的手势动作;所述第二设备利用其摄像部件检测人体动作,所述人体动作是包括抛丢/指向/手指张开动作的手势动作。
13.一种数字媒体内容播放转移的转出装置,其特征在于,包括第一检测模块,用于检测用户用于转出数字媒体内容播放的人体动作;第一收发模块,用于将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备,并接收第二设备响应所述第一消息的第二消息;转出模块,用于根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。
14.根据权利要求13所述的装置,其特征在于,所述转出模块包括转出提取子模块,用于接收来自一个或多个第二设备的一个或多个第二消息,提取所述一个或多个第二消息中的一个或多个第二位置关系信息;转出选择子模块,用于根据所述一个或多个第二位置关系信息确定用来将其数字媒体内容转移播放的一个第二设备。
15.一种数字媒体内容播放转移的转入装置,其特征在于,包括第二检测模块,用于检测用户用于转入数字媒体内容播放的人体动作;第二收发模块,用于向第一设备发送用于表示其播放数字媒体内容能力的第二消息, 并接收来自第一设备的用于响应所述第二消息的第三消息;转入模块,用于根据所述第三消息,将第一设备的数字媒体内容播放转移至本设备播放。
16.根据权利要求15所述的装置,其特征在于,所述第二收发模块还用于接收一个或多个来自第一设备的一个或多个包含第一设备与用户间的第一位置关系信息的第一消息, 根据所述一个或多个第一消息中的一个或多个第一位置关系信息,确定用来接收所述第二消息的一个第一设备。
17.一种数字媒体内容播放转移的系统,其特征在于,包括上述转出装置和转入装置。
全文摘要
本发明公开了一种数字媒体内容播放转移的方法、装置和系统,涉及通信与信息领域,所述方法包括第一设备检测用户用于转出数字媒体内容播放的人体动作,并将用于通知第二设备准备转入数字媒体内容播放的第一消息发送至第二设备;接收第二设备响应所述第一消息的第二消息,并根据所述第二消息,将其数字媒体内容播放转移至第二设备,由第二设备播放。本发明可以使用户对数字媒体内容的体验更方便、操控更自然易用,不但能够准确地实现用户操纵数字媒体内容播放转移的目的,还可以使用户把一个设备上播放的不同种类数字媒体内容如视频、音频等转移到不同设备上播放,从而达到提高人们娱乐生活的效果。
文档编号H04N21/422GK102984592SQ20121051626
公开日2013年3月20日 申请日期2012年12月5日 优先权日2012年12月5日
发明者刘海军 申请人:中兴通讯股份有限公司
文档序号 :
【 7867545 】
技术研发人员:刘海军
技术所有人:中兴通讯股份有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:刘海军
技术所有人:中兴通讯股份有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除