学习多媒体开发的正确姿势?陈功:看书 啃代码 搞插件

  • 时间:
  • 浏览:1
  • 来源:uu快3教程_uu快3代理_手机版

陈功:对于开发者来说,最重要的也是要有兴趣。多媒体开发中含的内容很广,音视频采集,编解码,传输,前后外理,播放等等,每一块都有有知识储备。可能要快速上手,建议先找多媒体技术应用的书籍来学习下基础概念,假若从开源的多媒体框架入手,比如gstreamer/FFmpeg,啃或多或少代码,写或多或少插件,逐渐熟悉整个多媒体外理流程,并从中找到此人 的兴趣点,进行深入研究。可能对音视频传输,可能音视频外理技术有兴趣,需用关注一下WebRTC,分模块进行学习,比如传输相关的模块,包括传输速率估计,拥塞控制;比如音频的哪几条信号外理模块,都有具有一定技术淬硬层 的实现。

点击 [ 阅读原文 ] 了解相关活动信息,快来报名吧!

陈功:我是声网Agora的工程师,WebRTC方向的技术负责人。加入声网而是 ,在两家半导体公司Marvel和Intel工作过,从事多媒体,音视频相关的工作。目前的工作主要在实时音视频通信,音视频传输质量优化,以及WebRTC协议方面研究,比较关注的领域还包括AI算法在音视频方向的应用。

让.我歌词 现场准备了:

陈功:WebRTC有一直是声网的战略方向之一,让.我歌词 团队在WebRTC领域主要有哪几条方面的工作,首先肯定是质量优化,通过优化WebRTC应用于服务器端的能力,着力提升音视频传输的质量。针对不同的应用场景,进行传输策略的调优,包括弱网对抗,码率平滑等;另外,将让.我歌词 优质的音视频通信能力,以WebSDK的形式更易用提供给开发者,适配各种浏览器和终端接入体验;最后让.我歌词 非常关注WebRTC关键模块的持续改进,持续做研究性的工作。本次WebRTCon上,我也会分享声网让.我歌词 团队在WebRTC上的或多或少心得和实践,比如让.我歌词 服务器端和传输能力与WebRTC的淬硬层 结合。

LiveVideoStack:从Marvell到Intel,再到声网,您似乎有一直围绕音视频技术领域,是哪此内在和外在的因素促成了或多或少结果呢?

大师兄刘歧和赵文杰三年打造,行业内首本《FFmpeg从入门到精通》

LiveVideoStack:陈功你好,需用简要介绍下此人 ,包括目前的主要工作及关注领域?

陈功:或多或少更多的是此人 兴趣,在研究生阶段,我的研究方向是模式识别,涉及到视频内容分析的研究,当时就对视频比较感兴趣,工作而是 接触到多媒体框架的开发,以及音视频传输和转码,嘴笨 在或多或少领域有而是的方向需用学习研究,比较有趣。我加入声网,也是可能当时它是全球第有一个多多 聚焦高质量实时音视频的PaaS平台,在音视频传输质量这块,通过优化传输算法提升QoS,不断改善实时通信。直到今天,我都嘴笨 这点很有意义,也很有挑战。

继3月31日北京多媒体开发沙龙,LiveVideoStack走进上海,希望通过“多媒体开发新趋势”系列沙龙,为让.我歌词 展现新技术在音视频领域的探索与实践,以及新兴应用场景和传统行业的最新最佳实践。

LiveVideoStack:WebRTC 1.0定稿,迈出了非常重要的一步。在此而是 ,WebRTC需用外理哪此大大问题,重点的改进方向有哪此?

LiveVideoStack:这几天在西班牙世界通信大会MWC上,5G成为热点。你怎么才能 才能 看5G技术给多媒体生态带来的红利?

最后,不得不提的是QUIC在WebRTC中的应用前景,从而是 的WebRTC工作组会议上的讨论来看,将来采用基于QUIC的媒体传输也是有可能的。

陈功:大型的开源项目不可外理的总要有而是 的大大问题,同時 将WebRTC应用于不同的垂直领域,也是一样。简单的说,音视频通信和直播,而是 并都有不同的场景,对于延时,画质,流畅度等关键指标的要求都有差异,这而是 就需用针对场景调优。企业在开源项目上的二次开发,比如需用在特定模块上进行修改,要做好关键模块的差异化管理,定期更新base版本,维护好patch list。当然,WebRTC的模块化代码有而是 改动很大,比如jitter buffer,比如传输速率估计,企业需用根据自身需用决定更新的周期。WebRTC技术还需用加强服务器端的能力,保证QoS,可能对企业来说,在现阶段也需用考虑直接使用做过优化的第三方平台SDK平台。

报名参加沙龙活动都有可能参与抽奖获得!

陈功说,要想学是多媒体开发,首先需用兴趣,接下来还需用好的土法律辦法 。LiveVideoStack邮件采访了声网Agora首席WebRTC架构师,畅聊了此人 的成长经历,WebRTC的演进趋势等。陈功表示,WebRTC的未来值得期待。

LiveVideoStack:采访了不少多媒体开发的“大牛人物”,让.我歌词 大多都有科班出身,在导师的带领下经过了系统的训练和研究。而对于不出 而是 经历的开发者而言,怎么才能 才能 有有助于快速上手,未必断做精?对此,您有哪此建议。

陈功:历经6年的长跑,WebRTC 1.0定稿嘴笨 是值得庆祝,而Apple的加入,也让或多或少定稿显得更有意义。各个浏览器厂商的支持,让WebRTC有希望在所有平台和端上铺开音视频通信的能力。展望WebRTC 1.0而是 的改进路线,需用从认识目前应用中的大大问题出发。连接建立和可用性有一直是WebRTC的痛点,包括ICE的建立时长大大问题,即便是更新到Trickle ICE,相信WebRTC总要在交互连接建立协议上持续改进;对于SDP的强制支持使得易用性上有所欠缺,在Object RTC协议中可能摒弃了SDP,这可能是有一个多多 改进方向。在视频编码器的选着上,需用外理各个端对于H.264/VP8的支持状态不同的大大问题,这会影响到互通质量,算是会加速AV1的推广;另外,需用增加更多的视频支持,包括全景,3D,以及虚拟现实的视频。



LiveVideoStack Meet 上海

LiveVideoStack:展望未来,你认为多媒体技术在哪此场景或行业有可能重度使用?

LiveVideoStack:尽管WebRTC让多媒体开发门槛进一步降低,但开源项目必然受到各种牵制,社区可能为某个特定的场景实现功能、甚至优化。假若,企业不得不出开源的框架下做或多或少改进、优化,这就由于企业版与社区版fork的状态,将大大增加企业维护分支的成本。您怎么才能 才能 看待或多或少两难的境地?怎么才能 才能 做好平衡呢?

陈功:AI肯定是有一个多多 热点,多媒体与AI的融合有而是的可能;另外,在多媒体传输方面,QUIC会是有一个多多 热点;WebRTC并都有也会是。

陈功:泛娱乐应用、游戏、教育、直播等可能是广泛采用的场景和行业。在更传统金融、安防、企业通信等领域应该也会有更多场景跳出。我此人 比较乐观的认为,多媒体技术总要成为而是行业的标配。

展晓凯《音视频开发进阶—以Android和iOS平台为例》

LiveVideoStack:需用介绍下,您和您的团队正在(WebRTC)做哪方面的工作?

4月21日,让.我歌词 邀请到了触宝科技音频技术专家吴威麒,PP云技术副总监曾小伟,腾讯天天P图iOS开发组长沈轲轶,优酷VR技术专家盛骁杰,三体云联产品副总裁崔文秀,相芯科技图形引擎负责人蔡锐涛6位讲师同時 分享多媒体开发的技术实践与未来展望。

LiveVideoStack:可能让您选着哪几条关键词来预测2018年多媒体开占据 态的热点,您会选着哪此?

陈功:5G能给让.我歌词 带来哪此,嘴笨 是当前一段时间讨论比较多励志的话 题,低延时,高性能,哪此指标怎么才能 才能 能影响生态,影响业务模式,都有不断探讨中。我此人 基本持理性的乐观态度,5G会消灭图文的说法,或多或少夸张,假若移动视频内容的推广肯定会有阶段性的飞跃,可能说二次飞跃;用户会更习惯与随处可得的,更充足的视频内容,像是基于全景,3D视频的赛事直播,AR/VR的游戏互动,哪此内容都有可能跳出在移动终端上。

多媒体开发新趋势 

策划 / LiveVideoStack