BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

龚宇华:视频通话技术面临的挑战与未来
录制于:

| 受访者 龚宇华 关注 0 他的粉丝 作者 InfoQ 关注 13 他的粉丝 发布于 2018年5月22日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
09:38

个人简介 龚宇华,声网的SDK架构师。毕业于北京大学地理系,毕业之后当过几年编辑,后来通过自学iOS,进入了互联网行业,2014年的时候加入了现在这家公司,也就是声网,开始一起创业,其想法就是去提供一个稳定的移动互联网实时音视频服务,让所有开发者都能很方便的使用这项功能。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

   

1. 龚老师您好,首先请您做个简单的自我介绍?

龚宇华:我叫龚宇华,是声网的SDK架构师。我毕业于北京大学地理系,毕业之后当过几年编辑,后来通过自学iOS,进入了互联网行业,2014年的时候加入了现在这家公司,也就是声网,开始一起创业,我们的想法就是去提供一个稳定的移动互联网实时音视频服务,让所有开发者都能很方便的使用这项功能。

   

2. 请您介绍一下声网的视频通话功能这个技术特点?

龚宇华:首先视频通话必须是要延时很低。因为人在交流的时候延时超过半秒以上就能够感知到,而且会觉得对交流有影响,声网的SDK的特点首先就是延时非常低。

第二,声网SDK是全球化部署的,不管是在世界哪个地方,中国、美国还是中东、印度都是可以使用我们的服务的,同一套API,同一个SDK。

视频传输它非常占带宽,那么在这个情况下,我们有一个带宽自适应的功能,就是当带宽不够的时候,我们会把视频分辨率下降到能够不影响正常交流,同样我们在移动端的分辨率最高也能支持到720P,最大限度满足用户的需求。

   

3. 请您为我们介绍一下,如果要是有普通的开发者入门视频通话领域需要具备哪些技能?

龚宇华:视频通话是一个专业性非常强的领域,对一个普通开发者来说,如果想自己打造一套视频通话系统是有很多困难的。

首先是音频、视频采集、编解码和播放是非常专业的领域,需要多年的深耕。另外,因为视频通话肯定要通往世界不同的地方,得把数据传过去,传输又对实时性有要求,所以还需要自己去构造一套完整的分布全球的传输网络,这些对于普通开发者来说都是门槛比较高的。那么声网就去帮开发者做了这些事情,提供了一站式的服务,开发者使用声网的SDK,最快只要半小时就能实现靠谱的视频通话功能。

   

4. 开发者对于接入的视频通话模块有哪些性能指标要求和很关注的地方?

龚宇华:首先肯定是延时低,这个前面刚说过,实时通话延时要求很高。然后是高并发,能够支持多主播、多窗口,海量观众。接下来是稳定性,跨运营商、跨国不受影响。还有是跨平台的支持,iOS、安卓至少是都要支持的,加上PC端和Web端能互相打通。最后是还得给开发者提供一个,能看到这套数据监控的服务,他能自己去看这些数据,能看到这个服务的质量是怎么样的。

   

5. 请您介绍一下视频通话中加入AR效果面临怎样的技术挑战?

龚宇华:现在苹果和安卓推出了各自的AR开发平台,AR本身现在门槛比较低。那么在视频通话中如果要用AR,怎么去获得频道内其他人的视频数据,怎么把它渲染到AR的环境当中,这个是开发者自己需要解决的事情。声网SDK提供了视频帧的回调,就是把频道内其他人的视频帧都通过回调来告诉开发者,开发者拿着数据就可以去渲染到AR当中。

   

6. 即将到来的5G和硬件性能的进一步提升会给视频通话带来哪些想象空间?

龚宇华:视频通话质量有非常关键的两个指标,一个是分辨率,一个是刷新率,相当于清晰度和流畅度。清晰度越高,流畅度越高,当然数据量就越大,在5G普及以后,带宽进一步提升,分辨率和刷新率都有上升的空间。另外,移动设备硬件性能的提升也非常重要,比如说视频编解码有一些效果更好但是复杂度也更高的算法,就有应用的可能了。另外,硬件能力提升后,视频与AR、VR这些新技术结合可以催生出一些新的使用的场景,这个也是视频通话将来一个发展的方向。

   

7. 在您看来AR还存在哪些比较有潜力的应用领域,如何看待AR的发展前景?

龚宇华:我们现在接触到的AR大部分是游戏项目,其实AR是在很多领域都有应用的前景。比如说电商领域,买家具之前,可以先在家里试一下这个家具虚拟的摆放效果;比如时尚领域,在买衣服之前,可以虚拟的试穿一下,就不需要去商店试穿了,化妆、发型等等都可以先利用AR试一下。还有比如教育领域也是一个很大的应用场景,可以在周围这些现实中的物体上加一些信息,提高教育的效率。AR因为现在刚开始发展,它应用场景也非常多,将来肯定是越来越融入人们的生活当中的。

   

8. AR在国内外的发展情况如何,能否列举一两款现象级的AR应用?

龚宇华:国内外AR的技术一直在发展,包括苹果和Google分别推出了AR 开发库,对开发者来说,开发门槛已经降低很多。说到现象级应用大家想到的都是前几年火爆全球的Pokémon GO,这是当时让大家都眼前一亮的一个AR的应用,但是国内目前还没有能够称得上现象级的AR的应用。这可能还是因为AR毕竟是去年才刚开始降低门槛,大家还处在一个探索的阶段,仍然是需要国内外开发者去探索和努力的方向。

   

9. 声网是否有打算把VR与实时语音结合?

龚宇华:VR和AR有着不一样的地方, VR是虚拟现实,人处在这个虚拟现实当中,必须要周围的一切感受越真实越好,语音在里面也是一个非常重要的部分。现在有很多游戏有语音功能,假设有个队友在我人物的右边说话,我就应该听到他的声音在右边,如果游戏语音没有方向感,VR的体验就会大打折扣。声网语音SDK提供了这样的接口,能够实现多声道的立体感的语音,让用户可以“听声辨位”。这些都是对VR体验的是质的提升。

   

10. 最后一个问题,您如何看待视频通话的发展前景?

龚宇华:视频通话已经逐渐从传统的视频会议室走出来,进入到移动互联网的各个行业。在教育领域,可以进行在线教育,相当于是视频通话;在娱乐领域,比如秀场直播,游戏开黑、直播答题等等;或者是比如金融领域,办卡不用去柜台了,直接视频通话,去识别这个人是不是真实的客户。还有比如招聘面试、远程医疗、社交直播等等。总的来说,视频通话的应用会越来越多,越来越广泛,越来越融入到人们的生活中。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT