2018年10月19日，LiveVideoStackCon音视频技术大会在北京召开。本届会议以“技术开启新‘视’界”为主题，汇集资深的音视频技术工程师，探讨在音频、视频、图像等技术的实践与思考。
网易云信
资深音频算法工程师李备在教育专场中的主题演讲上，分享了软件层实时音频解决方案中，网易云信NRTC针对WebRTC 源生算法不足的优化，以及在音乐内容特殊场景下的新思考。
李备演讲现场图片
火爆的市场衍生更丰富的音视频应用场景
互联网产品对实时音视频技术的需求正在各个千亿、百亿规模的市场中爆发，并逐渐成为基础设施型的重要技术。李备认为，随着未来更多可玩性的开发被挖掘，音视频的应用仍有很大增长空间。此外，实时音视频技术助推了互联网产品的创新和进化，赋予了产品以更丰富、更高效的场景表达，也促进了实时音视频技术自身的进化。
实时音视频技术需要与行业和应用场景紧密结合。当前及未来，客户的核心诉求除了对稳定高效等技术性能的要求之外，个性化的需求也在增加。李备介绍，网易云信基于自研的全功能工业级的音视频技术框架NRTC，进行了诸多场景化和针对性的技术优化，形成了对实时音频应用的观察与思考。
网易云信NRTC优化算法，弥补WebRTC源生算法的局限
李备强调，尽管当前针对一般行业的软件层实时音频框架已经日益成熟，但仍然有两个较明显的痛点需要解决：一是在复杂变化的网络状况中，因为信号弱或者网路拥塞而造成的延时或丢包现象；二是随着终端种类和应用场景跨度的增加，不同类型终端设备和使用环境的巨大差异对整体解决方案的适配度提出了更高的要求。一般行业基于交流的目的，在对于实时音频的诸多需求中，首先看重框架的流畅性，低延时、音量足够大的同时没有明显的回声、噪声和杂音。在满足以上需求之外，最后才会去关注音质、双讲体验以及其他性能。
那么一个解决以上痛点稳定运转的音频框架该如何设计？以WEBRTC的音频框架图为例：
WebRTC的线程模型与数据驱动方式，不同颜色表示不同线程，蓝色箭头表现数据驱动方式
但每个模块为了保障实时音频的稳定都有很多方面的问题需要注意，例如采集回声非线性、音量大小，以及delay中系统内在延迟的大小与变化等，都是平台下音频采集和播放的常见问题。
由于音频前处理的挑战及WebRTC 源生算法的一些不足等原因，需要技术人员进一步优化以提升整个框架的技术表现，确保终端用户的产品体验。网易云信的全功能工业级的音视频技术框架NRTC针对这些不足做了一系列的优化。比如，采集回声的非线性是目前线上采集面临的普遍问题，其稳定性会直接影响回声的消除和处理效果。WebRTC在这方面的不足使得一些厂商为了服务回声消除，不得不以降低音量为代价。针对源生WebRTC Delay Estimation 的稳定性问题，网易云信的NRTC将远端和近段的delay进行了对齐优化，提升了整体框架消除回声、杂音和降噪方面的性能。
再譬如，对于用户在沟通中产生的气声的采集和处理，也是音频框架面临的普遍难点之一。因为气声发音能量低，回声大，而且能量集中在中高频，所以正常算法无法满足处理需求。以源生WebRTC AEC 和NRTC 在iPhone6P气音发音下的表现进行对比，经NRTC框架进行算法优化后的效果明显更优。
源生WebRTC AEC VS NRTC 在iphone6p 气音发音下的表现
网易云信针对音乐场景下实时音频解决方案如何取舍的新思考
除了一般性沟通场景下的音视频应用，音乐内容及其应用场景对技术有更为特殊的要求。李备介绍，与普通场景相比，音乐内容场景对声音的要求存在较大差异。譬如，人耳对于音乐的感知是更加敏感的，稍有音质的下降人耳就能察觉，这对于声音处理提出了更高的要求。而相对于以交流为目的一般场景，音乐内容对实时音频技术要求的优先级也有所不同：稳定和音质成为第一诉求，降噪和低延迟降级为次要需求。
