《大规模、低延迟视频云服务中的自适应资源调度技术》

点击下载 ⇩

视频已成为网络信息处理和传播的主要载体。以云计算为基础设施,提供支持百万视频、亿级用户、低延迟、高质量的互联网视频服务,是全球文化传播、数字经济、在线教育、电子商务等应用的基础支撑,已成为国际互联网产业竞争制高点之一。服务质量与成本之间的矛盾是制约视频云规模化应用的世界级难题,云中资源高效调度是突破该难题的国际前沿核心技术,面临三个挑战:1)非结构化视频编转码任务依赖关系强、数据指令I/O密集,计算资源调度难以高效并行:2)视频分发的上层用户行为与底层系统互为黑箱,系统难以感知预测复杂、突发、高动态的用户需求,网络、存储资源调度低效滞后:3)应用环境异构性强且资源负载时空动态变化,系统资源调度难以实现负载感知的网络、计算资源按需协同,大量资源浪费、闲置。该项目历经十余年技术攻关,取得了视频云自适应资源调度的多项技术突破和发明创新:

1)提出了基于动态任务图计算的视频编转码并行调度性能评估模型,发明了粒度自适应的数据解耦并行任务调度方法和基于内存计算的多线程数据处理引擎,解决了云中高通量视频编转码计算资源并行调度低效难题,实现了200倍以上近线性的并行加速,并发转码任务扩展千倍时性能损失小于

2)提出了云中视频可伸缩时空关联组织和传播预测模型,突破了之前方法无法主动感知预测系统资源需求的局限,发明了用户行为感知的视频部署与协作传输资源调度方法,实现了高效扩展和低延迟分发,带宽增益280倍,缓存命中率大于95%,直播延迟低于300毫秒,用户体验优于国内主要视频云服务商。

3)提出了云到边缘区域化服务需求和资源负载预测模型,发明了在线自适应转码与传输适配的网络、计算资源联合按需协同调度方法,显著提升了高异构应用环境下系统资源的使用效能和灵活性,中心节省计算资源70%、流量50%,边云同等主观质量下视频传输带宽比采用H. 264、H. 265标准节省30%以上。

4)基于以上技术发明创新,研制了阿里视频云ApsaraVideo、百视通视频云BestTV、Gridmedia视频直播系统、3D视频编码器与网络直播系统(国内首套)等产品和系统,支持超过10万路视频实时转码输出和千万用户并发在线。

该项目授权国家发明专利38项,并行调度方法被评价为“实现了最好的线程级并行”,并获IEEE TCSVT 2010年度唯一最佳论文奖(大陆高校首次独立获奖);内存多线程执行引擎入选IEEE Computer亮点推荐技术(国内唯一);视频编码快速算法被MPEG-4国际标准采纳(国内首次);“项目成果达到国际先进水平,粒度自适应的转码资源并行调度、用户行为感知的分发资源调度、3D视频并行编码技术国际领先”(鉴定意见);部分成果获北京市科学技术一等奖。

项目成果应用于阿里云、百视通、央视等,服务优酷、新浪、今日头条、学而思等2万余家企业,覆盖4亿个人用户,央视应用该项目成果在国内率先开展网络视频直播和3D直播,为用户提供了全新的体验,提升了全球内容传播能力。近3年新增经济效益13. 01亿元,社会经济效益显著,推广应用前景广阔。

  1. 下载详细PDF版/Doc版

提示:为方便大家复制编辑,博主已将PDF文件制作为Word/Doc格式文件。