沉浸式流媒体网络问题的相关解决方案
概况
现有的沉浸式流媒体应用都对带宽、QoS和计算需求有着高要求，这主要得益于5G网络。
传统的中心化云计算和云存储体系结构不适于实时的高码率内容分发。
边缘缓存和移动边缘计算成为了推动沉浸式流媒体发展的关键技术。
解决方案
360度视频的边缘协助推流
背景
主要的视频内容可以被传送到边缘节点乃至下游客户端来满足高分辨率等级和严格的低延迟要求。
在边缘计算中，处理和存储的任务被从核心网转移到边缘节点例如基站、微型数据中心和机顶盒等。
Hou’s work
提出边缘/云服务器渲染可以使计算更加轻便，可以让无线VR/AR体验可行并且便携。
Zhang’s work
为VR多人游戏提出了一种混合边缘云基础架构，中心云负责更新全局游戏事件，边缘云负责管理视图更新和大规模的帧渲染任务，以此来支持大量的在线联机人数的低延迟游戏。
进一步陈述了一种服务器选择算法，它基于QoS和玩家移动的影响确保所有VR玩家之间的公平性。
Lo’s work
考虑了为360度视频渲染提供边缘协助的设备的异质性。
- 边缘服务器将 HEVC tile流转码为viewport视频流并传输到多个客户端。
- 最优化算法根据视频质量、HMD类型和带宽动态决定边缘节点服务哪个客户端。
边缘缓存策略
背景
传统视频的缓冲方案并不能直接应用到360度视频上。
为了在启用边缘缓存的网络中促进360度视频的传输，两个传输节点之间的代理缓存被部署来使用户侧的内容可用。
边缘缓存能从实质上减少重复的传输并且可以使内容服务器更加可扩展。
Mahzai’s work
基于其他用户的观看行为为360度视频的流行内容提出了一种缓存策略。
- 与最不常用 (LFU) 和最近最少使用 (LRU) 缓存策略相比，在缓存使用方面的性能分别提高了至少 40% 和 17%。
Papaioannou’s work
提出了基于tile分辨率和需求统计信息的缓存策略，用最少的错误，提高要求tile的和缓存tile这两种版本的viewport覆盖率。
- 不同缓存和传输延迟的实验评估表明提高了缓存命中率，特别是对于分层编码的tile。
Liu’s work
背景：
边缘缓存可以被在Evolved Packet Core处执行，因为packet大小很小所以这样可能会产生次优的性能。
另一种替换的方式是在Radio Access Network处缓存数据。但这样由于数据隧道和分包会变得更加复杂。
研究内容：
为移动网络提出了一种同时使用RAN和EPC的基于tile的缓存方案，以此在视频流延迟的约束下节省传输带宽。
- 为EPC和RAN的缓存节点分别被部署在Packet Data Network Gateway和eNodeBs。
- EPC中的内容控制实体负责为tile内容改善缓存利用率。
- 这种联合的tile缓存设计能以优秀的可伸缩性为回程网络显著地减少带宽压力。
Maniotis’s work
为了利用协作传输的机会，提出了一种在包含宏蜂窝基站(MBS)和多个小基站(SBS)的蜂窝网络中的tile级别的视频流行度感知缓存和传输方案。
- 应用了一种高级的编码方式来创建灵活的tile编码结构，使在每个SBS中能协同缓存。
- 这种协同允许在 SBS 只存储可能被观看的图块，而其他图块可以通过回程链路获取。
Chen’s work
为被捕获内容从Drone base station到小基站的联合缓存和分发提出了一种echo-liquid状态的 DRL 模型，使用高频毫米波通信技术。
- 为了满足即时延迟的目标，基站可以从数据中缓存流行内容。
- 但是，小基站的广泛部署实际上消耗了很多能源。
Yang’s work
在计算资源受限制的MEC架构中，利用缓存和计算资源来降低对通信资源的要求。
- 但是这种结构需要资源敏感的任务调度来平衡通信开销和延迟。
Chakareski’s work
为multi-cell网络环境中的AR/VR应用探索了最前沿的缓存、计算和通信机制。
- 提出的框架允许基站利用适当的计算和缓存资源来最大化总计的回报。
- 只关注了缓存和渲染，没有考虑用户视角的感受以及处理事件。
Sun’s work
在内容到达终端之前，同时利用FoV(Field of View)缓存和必要的计算操作来节省通信带宽而不牺牲响应时间。
- 对于同质的FoVs，联合缓存和计算框架执行关于缓存和后期处理的最优决策。
- 对于异质的FoVs，应用凹凸表达式来得到有吸引力的结果。
Rigazzi’s work
基于一个开源项目Fog05提出了一个三层(3C)解决方案来分发密集的任务（例如编解码和帧重建），穿越中心云层，受约束的雾层和边缘节点层。
- 利用了系统可伸缩性、互操作性和360度视频推流服务的生命周期循环。
- 实验性的评估表明在带宽、能源消耗、部署开销和终端复杂性方面取得了显著的减少。
Elbamby’s work
通过在延迟和可靠性的约束下，应用积极的计算和毫米波传输，为交互式的VR游戏提出了一个联合框架。
- 对视频帧做预计算和存储来减少VR流量。
- 评估表明这种联合机制可以减少多达30%的端到端延迟。
边缘计算的优势
-
减少延迟
传统的云端节点距离用户较远，边缘计算使用户可以共享多个服务器池的协同计算资源。
-
降低能耗
根据网络架构和资源供应将计算卸载到分布式计算集群，能显著提高移动设备的性能。
-
负载均衡
边缘节点例如基站、小蜂窝和终端设备可以在用户端存储内容，降低了核心网的负载。
现有利用边缘计算的解决方案
- 大多数任务卸载的MEC方案只致力于优化带宽、能源或延迟。
- 发展中的方案同时致力于许多其他重要的目标：可靠性、可移动性、QoS、部署成本、安全性。
- 利用带缓存的边缘计算的能力可以增强可移动性、位置感知能力、高效的数据分发、网络上下文理解和提供服务的安全性。
- 层级化的边缘-云体系结构对于适应360度视频快速动态传输是必要的。
- 相比于单静态层，多个动态缓存模型可以帮助管理唐突的viewport和网络变化来改善多用户的viewport命中率。
- 无论环境怎样，主动缓存都可以通过采用预测机制来预取和缓存部分视频来提高感知质量。
360度视频的协同传输
背景
- 360度视频推流有较大的用户需求并且在逐渐增长。
- 目前推流viewport之外的冗余信息会浪费重要的网络带宽。
- 相同的360度视频内容，在带宽受限的网络之上被推流给多个用户时，码率的需求变得更难满足。
几个方法应用了360度视频的协同传输，进而改善传输效率。
方案
Ahmadi’s work
引入了基于DASH的加权tile方法来优化子用户组请求的tile编码性能。
- 提出了多播流方案基于被用户看到的可能性对tile分配适当的权重。
- 接着基于可用带宽和tile权重为每个子用户组选择tile的码率。
- 实际上因为相邻tile的不同质量导致了空间质量变化，最终造成糟糕的推流体验。
- 不必要的离散优化问题巨大，不能保证有积极的表现。
Bao’s work
基于动作预测和并发观看用户的信道条件提出了一种多播框架，来只分发可能被看到的360度视频块。
- 没有在无线多播传输中考虑优化资源分配。
Guo’s work
为每个用户假设了一种随机动作模式和不稳定的信道条件，并且开发了多播机会来避免冗余数据传输。
作者考虑了两个非凸的问题：
- 在给定视频质量的约束下，最小化平均传输时间和能源消耗。
- 在给定的传输时间和能源预算下，最大化每个用户的视频质量。
Long’s work
考虑了传输时间、视频质量的平滑性和能源限制，在单服务器多用户无线网络环境中优化多个用户的聚合效用。
- 为了减少传输复杂性，作者准备了多种质量的tile，并为每组用户将tile划分到不相邻的子集中。
Zhang’s work
引入了一种使用SVC质量自适应方法的协同推流策略，来改善移动自组网环境中，观看360度内容的多个用户间的带宽共享。
- 当遇到可用网络资源限制时，提出的启发性方式基于被看到的可能性和聚合的组级别偏好设置选择最优的tile子集。
Kan’s work
提出了一种服务端混合多播-单播协同推流方案来分发不同质量的360度视频到多个用户。
- 基于用户的观看行为对其进行分簇，以此来轻松共享相同的视频内容。
- 为每个tile联合选择传输模式和适当的码率来提高整体的QoE。
Huang and Zhang’s work
设计了一种MIMO网络中的MAC调度方式。
- 资源分配策略基于三个主要的函数
- 基于延迟的
Motion-To-Photon(MTP)VR帧权重计算。 - 基于最大
Aggregate Delay-Capacity Utility（ADCU）的用户选择。 - 用于平衡VR数据传输的极高需求的链路自适应方法。
- 基于延迟的
Li and Gao’s work
提出了多用户VR框架，其中边缘云自适应地存储和重用冗余VR帧，以减少计算和传输负载。
- 两级cache的设计：用户端的小型本地cache和边缘的大型中央cache。
- 通过为所有用户产生背景视图和无论何时都重用帧，使得减少了内存需求。
- 评估表明帧相关数据和计算负载分别减少了95%和90%。
总结
对推流到多个临近用户的流行内容共享例如360度视频是一种自然的选择。
然而非协作式的用户对带宽的竞争会快速使整个网络瘫痪。
为了为多个用户获得改善的QoE，研究者从以下几个方面做了努力：
- 确定多个用户可能的需求来公平地分配可用的网络资源。
- 分析跨用户的行为来精确传输要求的子帧到终端用户。
- 由于侧信道攻击，保护VR帧传输到多个终端用户。