BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

百度袁华良:百度开放云直播产品架构和关键技术

| 作者 韩婷 关注 0 他的粉丝 发布于 2016年7月13日. 估计阅读时间: 9 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

伴随着直播行业的迅猛发展和各种新特性的增加,直播再也不是仅仅满足于主播单向传播的模式,它的互动性和实时性更强。这也为技术上带来了新的挑战,越来越多的开发者开始关注如何快速搭建一个完整的直播系统。

在7月2号由百度开发者中心、百度开放云联合举办的第64期“百度开放云移动游戏和直播技术解读”沙龙上,来自百度开放云数字媒体解决方案架构师袁华良,介绍了百度直播产品LSS背后的技术,以及如何利用LSS快速搭建直播系统。

演讲者简介:

袁华良,百度开放云数字媒体解决方案架构师,加入百度前,担任华为公司云计算解决方案架构师,专注于交通、教育、医疗等行业云计算解决方案。目前主要负责百度开放云数字媒体解决方案的研究与设计工作,提供端到端的一系列解决方案。

一、背景:网红经济给移动直播带来的挑战

从早期的美女秀场直播,到电竞直播,再到今天几乎全民参与的泛娱乐直播,人们猎奇斗艳的精神需求,网络带宽和智能设备的快速普及,资本大鳄和BAT等巨头的竞相投入,让直播以迅雷不及掩耳之势成功跻身移动互联网风口浪尖。

泛娱乐直播被赋予了更多娱乐和社交的属性,只要你有一部能上网的手机,就可以随时随地发起或观看直播,而且今天的直播也不再满足于主播单向传播的模式,互动性和实时性更强,也为技术上带来了新的挑战。

  • 实时互动要求直播内容从主播端到观看端做到超低时延,目前业内最高水平可将时延控制在1~3s。
  • 稳定流畅是评估直播性能的核心技术指标,但多种网络形式及带宽环境(WiFi,2G/3G/4G等),以及不同的直播生产及消费工具的并存,给直播的稳定流畅性带来了诸多挑战。
  • 视频质量和带宽损耗一般成正比,即视频质量越高,带宽损耗越大。如何在最低的带宽损耗下获得最高的视频质量,就成为直播平台和云计算服务商追求的目标。同时,移动端有限的计算资源也给视频压缩的有效性带来一定的考验。
  • 美颜处理已成为全民直播的必备功能。人脸检测、皮肤检测、皮肤光滑等一系列计算复杂的像素处理过程,对实时性也是很大的挑战。

伴随着直播行业的迅猛发展,各大云服务商也纷纷推出了自己的直播云服务,而百度开放云早在去年9月就发布了一站式的视频直播解决方案——音视频直播LSS。

二、百度直播产品架构

针对移动直播所带来的挑战,百度进行了一系列的探索,推出了直播产品LSS。LSS是一个直播PaaS平台,提供直播从采集端到服务端,最后再到播放端的一站式全套SDK。

LSS的架构图如下图所示,前端可以通过手机、PC端进行采集,推到离它最近的CDN节点,然后经过上传加速,传至云平台,进行一系列处理,再通过合并,还原到离用户最近的CDN节点中,发送到播放器端。

三、六大技术点

LSS的关键技术点可以总结为:首屏秒开、上传下载加速、多码率满足复杂环境需求、分场景实时转码、全流程监控、智能多媒体处理六点。

首屏秒开

首屏秒开的原理:GOP Cache。

直播的数据,其实是一组图片,包括I帧、P帧、B帧,当用户第一次观看的时候,会寻找I帧,而播放器会到服务器寻找到最近的I帧反馈给用户。因此,GOP Cache增加了端到端延迟,因为它必须要拿到最近的I帧。

那么怎么解决这个问题呢?难道我要牺牲GOP Cache长度来降低延时吗?通过以下表格的数据可以看到,GOP Cache的长度越长,画面质量越好,难道说就不能兼得吗?答案当然是NO。

那我们是怎么做的呢?如下图所示,我们会在第一个I帧接入的时候做处理,这样既满足画面质量又满足首屏秒开的要求。

上传下载加速

提到上传下载加速,不得不提的是CDN。CDN的数量以及采用的调度算法都是决定分发效果的重要因素。

百度自建的CDN节点接入了市面上几乎所有的运营商,有一万多台的缓存服务器,同时还融合了第三方国外的CDN节点。

很多人有一个误解,认为CDN节点的数量越多,质量就越好。其实,影响其质量的,不仅仅是CDN节点的数量,还有CDN节点质量及其采用的调度算法,否则无法达到良好的分发效果。视频直播LSS所采用的CDN节点调度算法,和百度搜索的算法是相同的,可以达到毫秒级响应。

如下图所示,详细来说,我们第一个节点是推流到离用户最近的CDN节点,推流到CDN结点之后,会通过上传加速到北京和广州的两个集群,然后推给用户播放。这里的处理有一个亮点:传统的RTMP使用TCP时,三步握手等都会导致启动非常慢。比如AIMD在网络情况不好的时候,为了避免拥塞,在遇到连续丢包时,TCP的拥塞窗口就会呈现指数下降,传输数据的吞吐率就会显著下降,那么直播的画面就会卡顿。所以,我们采用了百度自有的私有协议,在CDN的边缘节点与原站之间加速上传下载,可以将传输的速率增大五到十倍,去保证直播延时在三秒之内。

多码率

最终的观众所处的网络情况是非常复杂的,有可能是WiFi,有可能4G、3G、甚至2G,那么怎么满足多方需求呢?

如下图所示,我们采用的是推流的最佳配制。主播一路推流,可同时输出多路直播流,可通过转码模板定制每路输出的音视频处理细节,最多支持5路.未来,我们还会支持主播根据当前网络环境推荐最佳推流配置。

分场景的实时转码

场景的分类是非常细致的,包括户外视频、电影、电视剧、动画、人像等,它们有什么区别呢?
户外视频,是由摄像机拍摄采集。摄像机实际上是一个低通滤波器,图像内物体边界比较平滑,而游戏、教育更多的是电脑合成的视频,这种画面的内会包含非常锐化的边界。

对于人像,我们需要对肤色进行调整,在不同场景下的编转码的参数也应该进行调整。

比如说我可能在户外视频、电影、电视剧我推荐的GOP length是5秒,但是在在线教育类直播中,由于使用相对静止的课件教学,GOP的长度可以更长。再比如说下图的Deblocking filter(去块效应滤波器),在户外直播的情况下,因为边界不是非常锐化,那么Deblocking filter的强度可以相对较大,来去除分块边界效应。而如果在游戏直播画面,采用跟户外相同强度的去块效应滤波器的话,那么边界会模糊,用户观看的视觉效果也会受到影响。

如下图所示,这是一个真实的截图。一个游戏场景,通过调整与优化编转码的策略,峰值信噪比提高1.5dB从效果上看,清晰度有明显提升的。

全流程的监控

监控的目的保证上传和下载的流畅性。传统的监控系统监控的数值可能是时间、标准等。对于视片流的监控,则要针对帧率、码率、包括首帧时间等方面做监控。

监控上传流畅性,我们有一套算法,我们会对整个的上传的流畅性进行打分。如果能平滑到30帧每秒的话,可以打100分,以此类推,我们可以监控与评估线上每条流的流畅性。

智能多媒体处理

智能多媒体处理在直播中的应用是比较广泛的,通过智能的多媒体增加直播话题的趣味性,提供美颜和直播道具。百度的深度学习研究院比较擅长机械学习、人脸识别、语音识别等等。他们可以帮助我们识别到人的几个特征点,包括鼻子、眼睛、嘴巴等。LSS和他们进行了深度结合,通过识别,再添加上各种各样的道具、模型,就形成了下图中的画面。

智能多媒体处理另外一个用途是黄反检测。如何保证平台不会涉及到色情的问题呢?色情图片,例如露点、低俗的图片,和一些正常图片,如婴儿的裸体、艺术裸体图片的差别是比较小的。怎么提高准确性,保证用户的内容不会被误判为色情内容呢?

百度通过贴吧、搜索、图库、视频等产品,存储了大量的百万级的图片,通过人工智能深度学习算法不断地训练、优化,形成了黄反检测的机制,用于视频直播方面,可以保证不会误判。

如何提高产品流量和曝光度

LSS还与百度相关产品进行了生态的结合,来提高流量及品牌曝光度。包括百度搜索、百度贴吧、百度推广等。百度贴吧有用户群人物画像,可以精准的引流;百度推广,可以提供视频直播平台的推广;百度搜索,可以进行线上的实时的直播处理,例如,华为P9发布会当天,如果用户在线上搜索其相关内容,就可以看到它的直播。

百度云计算战略发布会】将于7月13日拉开帷幕,李彦宏将亲自揭秘百度在云计算领域的布局版图。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT