开会无阻碍,沟通面对面        会议新视界,交流零距离
国内正品行货,全国低价,三年质保,装后付款,国内一线城市提供上门安装服务,远程指导!项目负责人联系电话:023-68791071

视频会议系统研发涉及到的关键技术

发布者:admin 发布时间:2017/11/30 阅读:3326

视频会议系统的研发是个复杂而艰巨的过程,我们现在列举一下,视频会议系统开发当中涉及到的一些关键技术:音视频编码技术、数据融合和处理技术、帧缓冲映射技术、3G智能手机移植技术、恒定视频质量的码率控制技术、丢包后处理技术、去块效应滤波器技术、文档协同浏览技术、分层视频编码技术、混音技术、音视频硬解码技术和P2P技术。

(1)音视频编码技术

通过终端的音视频捕捉设备,把音视频模拟数据转换成数字信号,不管是PC还是3G手机通过捕捉设备捕捉的声音和图像的数字信号,其冗余性都非常大,为了减少网络传输的带宽,音视频都需要经过压缩编码去除其冗余的数据,视频主要通过空间和时间上的预测编码去除冗余数据,音频主要通过哈夫曼编码和量化去除冗余数据,然后在网络上传输经过压缩的数据,最后在播放或显示之前进行解码,把原始的数据进行还原。其音视频编解码流程图如下图所示:

(2)数据融合和处理技术

视频会议系统主要包括MCU(多点控制单元)服务器和终端。其中终端包括:一般的PC终端(通过IP网络连接互联网)、硬件视频会议终端(H.323或SIP协议的终端)、3G手机与平板电脑终端(通过3G网连接)等设备。MCU服务器连接互联网与3G网络(包括 WCDMA、TD-SCDMA、CDMA2000),由于不同的终端采用不同的网络接入方式,因此为了使各种终端能互联互通,接入系统的终端都需遵循统一的会议通信协议(H323协议或SIP协议等)。系统首先通过多媒体码流提取连接终端的协议信息,然后对所属的协议进行登记和判断,接着通过协议栈模块把该协议相关信息发送到协议编解码器进行解码和编码,从而进行相应的数据交换,最后通过多媒体码流输入输出模块发送多媒体码流给连接的终端,从而达到不同的终端、不同的协议、不同的网络的数据高度融合和无缝连接。

(3)帧缓冲映射技术

视频会议服务器主要提供给终端实时数据,因此要求视频会议服务器具有很强的存储转发功能,传统的数据流转发方式,由于需要较大的内存维持数据流,不能支持大量并发数据。该技术在视频会议服务器的内存为每个终端建立相应的缓冲区,作为接收和转发数据的存储空间。而视频会议的音视频都是以数据帧来进行编码和解码,因此缓冲区的最小单位是以数据帧来区分。为了达到大量并发的数据处理能力,为每个连接的终端和数据帧缓冲,用Hash表进行一一映射对应,当需要转发数据的时候,只要通过查找终端的Hash映射表就可以快速搜索到相应的帧缓冲,为视频会议服务器处理大量并发的数据提供最有效的手段。

(4)3G智能手机移植技术

3G智能手机使用的操作系统一般与PC的操作系统不一样,其开发环境一般都在PC上进行,通过模拟器在PC上进行手机系统的应用程序开发,而在这些操作系统上运行的应用程序一般都比较缺乏,为了在系统上有更多的应用,通常把PC上的应用程序通过相应的代码修改和重新编译,实现PC应用程序的手机移植。智能手机的应用程序移植主要采用跨平台的开发语言进行开发,如JAVA和C语言, 通过跨平台语言的多平台交叉编译以及一些特定的优化,使在PC上运行的应用系统能移植到手机系统上。

(5)恒定视频质量的码率控制技术

通常的视频码率控制是从整体上对图像质量进行优化,优化过程中可能导致每帧图像内各宏块的信噪比分布不集中,图像各部分质量有较大波动,造成主观视觉质量下降。该技术通过估计P帧类型图像复杂度或者I帧类型图像的复杂度以及量化参数来调节视频质量,从而获得一致性的图像质量和更好的视觉感受。

(6)丢包后处理技术

在无QOS保障的网络中,由于视频会议传输需要较大的数据流量,数据很容易出现延迟或者丢包的现象,如对丢包后的数据不进行处理,数据还原的质量会出现一定影响,因此对丢包后的数据进行处理是数据传输处理当中非常重要的部分,通常采用丢包后数据重发技术或者丢包后处理技术来进行丢包恢复,数据重发技术一般通过协议来完成,如TCP或可靠的UDP来实现,但这种方式会增加更多的带宽和更大的延迟,另外一种方式是丢包后处理技术,通过前向纠错、视频错误掩饰以及其他的方式实现丢包后的数据还原,该方式既能还原较大的数据量,而且不产生延迟,实现了数据实时性与可靠性之间最佳的平衡点,满足低带宽的实时交互式视频会议传输的要求。

(7)文档协同浏览技术

文档协同浏览通常是通过文档分发到各个客户端,从而实现文档的共享,但该方式须把文档传输到各个客户端才能实现文档的协同浏览,因此如果文件较大,会造成较大时间等待。本项目的文档协同浏览技术是通过虚拟打印技术进行的,虚拟打印技术是通过底层的驱动来模拟一个打印机输出设备,当文档调用虚拟打印机进行打印的时候,通过驱动层对将要输出到打印口的数据进行截获,从而把文档转化成图片,然后进行传输和协同浏览。该方式由于模拟的是打印机打印文档,因此支持任意文档格式,提高了系统的适用性。该技术还能把文档进行分页处理,共享端浏览的文档只须传输当前所看的页面,避免了整个文档的传输,既节省了带宽也增加了协同浏览的实时性。

(8)分层视频编码技术

分层视频编码是把视频图像分割成一个基层和一到多个增强层来创建视频图像的,这些视频流分别搭载在网络上的不同数据包中,基层数据包丢失所造成的影响和非可分层编码的结果是一致的,不过增强层数据包丢失造成的影响就要小得多。由于增强层是以基层而不是前帧图像为基础的,因此,增强层的数据包丢失只会引起暂时性的清晰度的下降,而不会对视频图像的基本架构带来影响,从而大大提高视频的抗丢包能力。

分层视频编码还能通过不同的层,产生不同的帧率和分辨率的视频编码压缩流,以适应不同带宽,不同显示分辨率的应用需求。传统的非分层视频编码对图像的编码只是通过空间和时间上对数据进行压缩,其数据与帧数、分辨率没有直接相关性,数据的大小只能传输固定的帧数和分辨率;而分层视频编码通过分层的模式把帧数、分辨率作为直接的参考,视频的帧和不同分辨率的图像直接插入到数据流,可以随着带宽的不同,采用不同的帧数和分辨率,有效节约了带宽和提高了视频图像的质量。如图:对于专网的会议终端,可以采用1080P分辨率、30帧/秒进行高清视频的传输,而在3G网络,可以采用270P分辨率、30帧/秒进行视频传输,这样的方式更能满足不同带宽的终端的需求,提高了终端的网络利用率。

(9)去块效应滤波器技术

视频压缩算法是通过分块来实现压缩,由于编码存在一定的失真,经过压缩编码还原后,会在解码后的图像中形成块效应,会引起图像的质量的下降,因此需对解码后的图像进行去块效应,平滑图像边缘,改善还原后的图像质量。去块效率滤波器主要采用:对真实边界不滤波,对伪边界根据像素穿越边界的渐变度和编码方式进行滤波;根据滤波强度,选择不同的滤波系数对边界两侧像素进行滤波操作等,从而使还原后的图像消除块效应,改善图像的感观质量。

(10)混音技术

视频会议当中,人们希望视频会议能够模拟真实的会议环境,在有多人同时发言的情况下,终端能同时听到每个人说话的声音,这就需要增加混音功能,所谓的混音就是将不同的音频流在某节点处通过线性叠加的方法混合成一个音频流,这样在播放的时候达到模拟真实会场场景的目的。

(11)音视频硬解码技术

软解码是通过软件让CPU来对视频进行解码处理;而硬解码是指不借助于CPU,而通过专用的子卡设备来独立完成视频解码任务。硬解码相对软解码,不占用CPU,效率更高,因此硬解码是高清视频的必要选择。PC的硬解码主要是采用第三方的压缩卡来实现,而在3G智能手机的显示芯片一般都已经集成硬解码,因此3G智能手机手机上可以直接通过操作相应的硬件编解码器来实现高效的音视频编解码。

(13)P2P技术

P2P技术是指节点之间都是同级节点,同时对网络上的其它节点充当客户端和服务器的一种技术。这种设计模型不同于传统的客户端-服务器模型,在客户端-服务器模型中通信通常来往于一个中央服务器。而P2P的客户端的数据除控制数据外一般都不直接通过服务器,这样视频会议服务器就不会成为带宽和信息处理的瓶颈,提升了系统的容量。P2P技术更适合于点对点视频通信、3G可视电话等“非中心化”的业务。



上一条:视频会议软件中的协同文档技术 下一条:视频会议开发需具备的知识