多媒体数据处理方法、装置和系统与流程

文档序号:24689897发布日期:2021-04-16 10:21
多媒体数据处理方法、装置和系统与流程

1.本发明涉及图像显示技术领域,具体而言,涉及一种多媒体数据处理方法、装置和系统。


背景技术:

2.视频拼接器设备的软件中视频显示是很重要的部分,用来观看每路输入信号的真实情况以及内容,是业务的必备功能。但是由于视频拼接器设备的输入源比较多,在视频传输与播放时压力非常之大。
3.针对上述由于视频拼接器同时监视多路输入视频,导致的数据处理压力大的问题,目前尚未提出有效的解决方案。


技术实现要素:

4.本发明实施例提供了一种多媒体数据处理方法、装置和系统,以至少解决由于视频拼接器同时监视多路输入视频,导致的数据处理压力大的技术问题。
5.根据本发明实施例的一个方面,提供了一种多媒体数据处理方法,包括:将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;将压缩后的多路多媒体数据进行合并,生成数据流;将数据流发送至客户端。
6.可选的,将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据包括:将多路多媒体数据由第一类分辨率进行合并拼接,得到分辨率为第二类分辨率的多媒体数据,其中,第一类分辨率小于第二类分辨率;将分辨率为第二类分辨率的多媒体数据确定为合并后的多媒体数据。
7.进一步地,可选的,依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据包括:将分辨率为第二类分辨率的多路多媒体数据中有效视频源的数量确定布局模式;依据布局模式将多路有效视频源根据帧率和画质进行分别进行压缩,得到分辨率为第三类分辨率的多路多媒体数据,其中,第三类分辨率小于第二类分辨率,第三类分辨率大于第一类分辨率。
8.可选的,将压缩后的多路多媒体数据进行合并,生成数据流包括:依据预设合并规则,将分辨率为第三类分辨率的多路多媒体数据进行合并,生成数据流,其中,预设合并规则包括:视频总分辨率规则、输入顺序规则和排放规则。
9.进一步地,可选的,视频总分辨率规则包括:当多路多媒体数据中的输入源数量小于或等于第一预设值时,确定视频总分辨率为第一分辨率;当多路多媒体数据中的输入源数量大于或等于第二预设值且小于或等于第三预设值时,确定视频总分辨率为第二分辨率;当多路多媒体数据中的输入源数量大于第三预设值时,确定视频总分辨率为第三分辨率;其中,第一预设值小于第二预设值,第三预设值大于第二预设值;第三类分辨率包括:第
一分辨率、第二分辨率和第三分辨率;第一分辨率小于第二分辨率,第二分辨率小于第三分辨率;输入顺序规则包括:依据多路多媒体数据的序号顺序依据从左至右,从上至下的顺序排列;排放规则包括:依据多路多媒体数据中的输入源数量计算行列数,并依据行列数排放多路多媒体数据。
10.可选的,该方法还包括:接收客户端返回的性能参数;依据性能参数对数据流的帧率和画质进行调整,得到调整后的数据流。
11.根据本发明实施例的另一方面,还提供了一种多媒体数据处理装置,包括:第一合并模块,用于将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;压缩模块,用于通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;第二合并模块,用于将压缩后的多路多媒体数据进行合并,生成数据流;发送模块,用于将数据流发送至客户端。
12.可选的,第一合并模块包括:第一合并单元,用于将多路多媒体数据由第一类分辨率进行合并拼接,得到分辨率为第二类分辨率的多媒体数据,其中,第一类分辨率小于第二类分辨率;确定单元,用于将分辨率为第二类分辨率的多媒体数据确定为合并后的多媒体数据。
13.进一步地,可选的,压缩模块包括:布局确定单元,用于将分辨率为第二类分辨率的多路多媒体数据中有效视频源的数量确定布局模式;压缩单元,用于依据布局模式将多路有效视频源根据帧率和画质进行分别进行压缩,得到分辨率为第三类分辨率的多路多媒体数据,其中,第三类分辨率小于第二类分辨率,第三类分辨率大于第一类分辨率。
14.根据本发明实施例的另一方面,还提供了一种视频传输系统,包括:视频处理器和客户端,其中,视频处理器,用于将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;将压缩后的多路多媒体数据进行合并,生成数据流;将数据流发送至客户端;客户端,与视频处理器连接,用于接收数据流,对数据流进行解码,对解码后的数据流进行重组切割得到待输出的多路多媒体数据。
15.在本发明实施例中,通过将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;将压缩后的多路多媒体数据进行合并,生成数据流;将数据流发送至客户端,达到了实现多路视频同时传输、显示的目的,从而实现了视频拼接器同时监视多路输入视频的技术效果,进而解决了由于视频拼接器同时监视多路输入视频,导致的数据处理压力大的技术问题。
附图说明
16.此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
17.图1是根据本发明实施例的多媒体数据处理方法的流程示意图;
18.图2是根据本发明实施例的多媒体数据处理方法中原理的示意图;
19.图3是根据本发明实施例的多媒体数据处理方法中输入的数量依据排放规则进行排放的示意图;
20.图4是根据本发明实施例的多媒体数据处理装置的示意图;
21.图5是根据本发明实施例的视频传输系统中合并一帧图像的示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
23.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.本申请涉及的技术名词:
25.视频编码:视频编解码器,是指一个能够对数字视频进行压缩或者解压缩的程序或者设备。
26.视频编码方式就是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。视频流传输中最为重要的编解码标准有国际电联的h.261、h.263、h.264。
27.实施例1
28.根据本发明实施例,提供了一种多媒体数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
29.图1是根据本发明实施例的多媒体数据处理方法的流程示意图,如图1所示,该方法由视频处理设备执行,其中,视频处理设备例如是视频拼接器、视频切换器,或视频处理器等用于进行视频处理的设备,该方法包括如下步骤:
30.步骤s102,将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;
31.具体的,图2是根据本发明实施例的多媒体数据处理方法中原理的示意图,如图2所示,本申请实施例提供的多媒体数据处理方法可以适用于视频拼接器中(应理解,本文以视频拼接器为例,本方案对于其他类型的用于视频处理的设备在不矛盾的情况下也可适用),其中,视频拼接器包括aux(auxiliary,辅助输出或辅助输出接口)和预监卡,通过预监卡能够同时监视多路输入视频图像,如:16、40、60、120路,需要说明的是,在本申请实施例中优选的通过预监卡能够同时监视120路视频图像;预监卡可以包括:fpga和mpu(micro processor unit,微处理器),本申请实施例仅以上述示例进行说明,以实现本申请实施例提供的多媒体数据处理方法为准,具体不做限定。
32.作为可选地一例,该步骤s102可以由aux执行。
33.在本申请实施例中多媒体数据可以包括:视频输入数据或图像输入数据。
34.如图2所示,aux接收至少一路多媒体数据,即,input1,input2和input3。
35.可选的,步骤s102中将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据包括:将多路多媒体数据由第一类分辨率进行合并拼接,得到分辨率为第二类分辨率的多媒体数据,其中,第一类分辨率小于第二类分辨率;将分辨率为第二类分辨率的多媒体数据确定为合并后的多媒体数据。
36.具体的,基于接收到的至少一路多媒体数据,预监卡中的fpga通过serdes接收多媒体输入端口aux合并拼接的所有子卡视频输入数据,aux发送至fpga的视频输入数据是将每路视频输入数据以第一类辨率合并拼接为第二类分辨率的数据,在本申请实施例中,第一类分辨率可以为480x270的分辨率;第二类分辨率可以为4k分辨率。
37.步骤s104,通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;
38.具体的,基于得到的合并后的多媒体数据,fpga将多路视频信号分别依据分辨率压缩、并将多路图像合并为一路视频,得到压缩后的多路多媒体数据。
39.可选的,步骤s104中依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据包括:将分辨率为第二类分辨率的多路多媒体数据中有效视频源的数量确定布局模式;依据布局模式将多路有效视频源根据帧率和画质进行分别进行压缩,得到分辨率为第三类分辨率的多路多媒体数据,其中,第三类分辨率小于第二类分辨率,第三类分辨率大于第一类分辨率。
40.具体的,预监卡根据有效视频源数量决定nxn布局模式,创建新的宽480xn高270xn的新视频缓冲。把4k原始视频中的有效输入源分别裁剪出来紧凑重组在新视频缓冲中。
41.步骤s106,将压缩后的多路多媒体数据进行合并,生成数据流;
42.其中,如图2所示,预监卡fpga通过bt1120将4k原始视频传输给预监卡的微处理器(microprocessor unit,mpu),由mpu对合并后的多媒体数据进行帧率和画质的处理,生成数据流。通过先压缩再合并的方式,将分辨率为4k的视频分为多路视频,并分别对多路视频进行压缩,最终将压缩后的多路视频进行合并,能够有效降低步骤s106中数据流的大小;
43.可选的,步骤s106中将压缩后的多路多媒体数据进行合并,生成数据流包括:依据预设合并规则,将分辨率为第三类分辨率的多路多媒体数据进行合并,生成数据流,其中,预设合并规则包括:视频总分辨率规则、输入顺序规则和排放规则。
44.其中,视频总分辨率规则包括:当多路多媒体数据中的输入源数量小于或等于第一预设值时,确定视频总分辨率为第一分辨率;当多路多媒体数据中的输入源数量大于或等于第二预设值且小于或等于第三预设值时,确定视频总分辨率为第二分辨率;当多路多媒体数据中的输入源数量大于第三预设值时,确定视频总分辨率为第三分辨率;其中,第一预设值小于第二预设值,第三预设值大于第二预设值;第三类分辨率包括:第一分辨率、第二分辨率和第三分辨率;第一分辨率小于第二分辨率,第二分辨率小于第三分辨率;
45.具体的,视频总分辨率规则包括:将视频总分辨率控制在两个标准上,当输入源数量(input)≤64(本申请实施例中的第一预设值)时,视频总分辨率固定为:1920*1080(本申请实施例中的第一分辨率);
46.当65(本申请实施例中的第二预设值)≤输入源数量(input)≤128(本申请实施例
中的第三预设值)时,视频总分辨率固定为:1920*2160(本申请实施例中的第二分辨率);
47.当输入源数量(input)>128时,视频总分辨率固定为:1920*n(本申请实施例中的第三分辨率);
48.输入顺序规则包括:依据多路多媒体数据的序号顺序依据从左至右,从上至下的顺序排列;
49.具体的,按照input1、input2、input3
……
从小到大的顺序排放,在大屏显示时中按照从左到右、从上到下的方式排列。
50.排放规则包括:依据多路多媒体数据中的输入源数量计算行列数,并依据行列数排放多路多媒体数据。
51.具体的,按照input的数量(即,本申请实施例中的输入的数量)动态计算行列数,以求每个小图(input)能有更大的分辨率;每行最多8个。
52.其中,排放规则示例如下:
53.当输入的数量为[1,4]个时,采用2
×
2方式,如图3所示,图3是根据本发明实施例的多媒体数据处理方法中输入的数量依据排放规则进行排放的示意图:
[0054]
同理,设置如下:
[0055]
当输入的数量为[5,16]个时,采用4
×
4方式;
[0056]
当输入的数量为[17,25]个时,采用5
×
5方式;
[0057]
当输入的数量为[26,36]个时,采用6
×
6方式;
[0058]
当输入的数量为[37,49]个时,采用7
×
7方式;
[0059]
当输入的数量为[50,64]个时,采用8
×
8方式;
[0060]
当输入的数量为[65,72]个时,采用9
×
8方式;
[0061]
当输入的数量为[73,80]个时,采用10
×
8方式;
[0062]
当输入的数量为[81,88]个时,采用11
×
8方式;
[0063]
当输入的数量为[89,96]个时,采用12
×
8方式;
[0064]
当输入的数量为[97,104]个时,采用13
×
8方式;
[0065]
当输入的数量为[105,112]个时,采用14
×
8方式;
[0066]
当输入的数量为[113,120]个时,采用15
×
8方式;
[0067]
当输入的数量为[121,128]个时,采用16
×
8方式。
[0068]
步骤s108,将数据流发送至客户端。
[0069]
可选的,本申请实施例提供的多媒体数据处理方法还包括:接收客户端返回的性能参数;依据性能参数对数据流的帧率和画质进行调整,得到调整后的数据流。
[0070]
其中,fpga将合并后的视频在硬件内部传输给预监卡的嵌入式程序。嵌入式程序根据与客户端之间的交互,获取客户端的性能参数,依据客户端的性能参数,对数据流的帧率和画质进行处理,然后打包成rtsp流(real time streaming protocol,实时串流协议,专为娱乐和通信系统使用,以控制流媒体服务器,用于建立和控制终端之间的媒体会话)。
[0071]
在本发明实施例中,通过将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;将压缩后的多路多媒体数据进行合并,生成数据流;将数据流发送至客户端,达到了实现多路视频同时传输、显示的目的,
从而实现了视频拼接器同时监视多路输入视频的技术效果,进而解决了由于视频拼接器同时监视多路输入视频,导致的数据处理压力大的技术问题。
[0072]
实施例2
[0073]
根据本发明实施例的另一方面,还提供了一种多媒体数据处理装置,图4是根据本发明实施例的多媒体数据处理装置的示意图,如图4所示,包括:第一合并模块42,用于将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;压缩模块44,用于通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;第二合并模块46,用于将压缩后的多路多媒体数据进行合并,生成数据流;发送模块48,用于将数据流发送至客户端。
[0074]
可选的,第一合并模块42包括:第一合并单元,用于将多路多媒体数据由第一类分辨率进行合并拼接,得到分辨率为第二类分辨率的多媒体数据,其中,第一类分辨率小于第二类分辨率;确定单元,用于将分辨率为第二类分辨率的多媒体数据确定为合并后的多媒体数据。
[0075]
进一步地,可选的,压缩模块44包括:布局确定单元,用于将分辨率为第二类分辨率的多路多媒体数据中有效视频源的数量确定布局模式;压缩单元,用于依据布局模式将多路有效视频源根据帧率和画质进行分别进行压缩,得到分辨率为第三类分辨率的多路多媒体数据,其中,第三类分辨率小于第二类分辨率,第三类分辨率大于第一类分辨率。
[0076]
可选的,第二合并模块46包括:第二合并单元,用于依据预设合并规则,将分辨率为第三类分辨率的多路多媒体数据进行合并,生成数据流,其中,预设合并规则包括:视频总分辨率规则、输入顺序规则和排放规则。
[0077]
进一步地,可选的,视频总分辨率规则包括:当多路多媒体数据中的输入源数量小于或等于第一预设值时,确定视频总分辨率为第一分辨率;当多路多媒体数据中的输入源数量大于或等于第二预设值且小于或等于第三预设值时,确定视频总分辨率为第二分辨率;当多路多媒体数据中的输入源数量大于第三预设值时,确定视频总分辨率为第三分辨率;其中,第一预设值小于第二预设值,第三预设值大于第二预设值;第三类分辨率包括:第一分辨率、第二分辨率和第三分辨率;第一分辨率小于第二分辨率,第二分辨率小于第三分辨率;输入顺序规则包括:依据多路多媒体数据的序号顺序依据从左至右,从上至下的顺序排列;排放规则包括:依据多路多媒体数据中的输入源数量计算行列数,并依据行列数排放多路多媒体数据。
[0078]
可选的,本申请实施例提供的多媒体数据处理装置还包括:接收模块,用于接收客户端返回的性能参数;调整模块,用于依据性能参数对数据流的帧率和画质进行调整,得到调整后的数据流。
[0079]
实施例3
[0080]
根据本发明实施例的另一方面,还提供了一种视频传输系统,包括:视频处理器和客户端,其中,视频处理器,用于将接收到的多路多媒体数据进行合并,得到合并后的多媒体数据;通过预监卡将合并后的多媒体数据进行拆分,得到多路多媒体数据,并依据多路多媒体数据分别进行压缩,得到压缩后的多路多媒体数据;将压缩后的多路多媒体数据进行合并,生成数据流;将数据流发送至客户端;客户端,与视频处理器连接,用于接收数据流,对数据流进行解码,对解码后的数据流进行重组切割得到待输出的多路多媒体数据。
[0081]
具体的,本申请实施例中的视频传输系统可以如实施例1中的图2所示。
[0082]
其中,客户端依据预设合并规则对数据流进行切割,通过重组切割后的数据流得到待输出的多媒体数据具体可以包括:
[0083]
客户端收到视频流数据后根据实施例1中的的“分辨率规则、顺序规则、排放规则”进行切割。例如:客户端检测到当前有3个input时,就知道了分辨率是1920*1080,且合并方式如图5所示的一帧图像,图5是根据本发明实施例的视频传输系统中合并一帧图像的示意图。
[0084]
基于图5,可以计算出input1、input2、input3在大图的坐标、尺寸。
[0085]
input1:x=0,y=0,w=1920/2=960,h=1080/2=540
[0086]
input2:x=input1.w,y=0,w=1920/2=960,h=1080/2=540
[0087]
input3:x=0,y=input1.h,w=1920/2=960,h=1080/2=540
[0088]
计算出每个input的坐标、尺寸后就可以从大图中切割出每个input所对应的视频内容。
[0089]
实施例4
[0090]
根据本发明实施例的另一方面,还提供了一种存储介质,其中,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述实施例1中的方法。
[0091]
实施例5
[0092]
根据本发明实施例的另一方面,还提供了一种处理器,其中,处理器用于运行程序,其中,程序运行时执行上述实施例1中的方法。
[0093]
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0094]
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0095]
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0096]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0097]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0098]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或
部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0099]
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1