/沉浸式流媒体网络问题的相关解决方案

Created Sat, 30 Oct 2021 19:20:00 +0800 Modified Fri, 09 Aug 2024 13:25:47 +0000
3272 Words 15 min
Immersive Video

概况

现有的沉浸式流媒体应用都对带宽、QoS 和计算需求有着高要求，这主要得益于 5G 网络。

传统的中心化云计算和云存储体系结构不适于实时的高码率内容分发。

边缘缓存和移动边缘计算成为了推动沉浸式流媒体发展的关键技术。

解决方案

360 度视频的边缘协助推流

背景

主要的视频内容可以被传送到边缘节点乃至下游客户端来满足高分辨率等级和严格的低延迟要求。

在边缘计算中，处理和存储的任务被从核心网转移到边缘节点例如基站、微型数据中心和机顶盒等。

Hou’s work

提出边缘/云服务器渲染可以使计算更加轻便，可以让无线 VR/AR 体验可行并且便携。

Zhang’s work

为 VR 多人游戏提出了一种混合边缘云基础架构，中心云负责更新全局游戏事件，边缘云负责管理视图更新和大规模的帧渲染任务，以此来支持大量的在线联机人数的低延迟游戏。

进一步陈述了一种服务器选择算法，它基于 QoS 和玩家移动的影响确保所有 VR 玩家之间的公平性。

Lo’s work

考虑了为 360 度视频渲染提供边缘协助的设备的异质性。

  • 边缘服务器将 HEVC tile 流转码为 viewport 视频流并传输到多个客户端。
  • 最优化算法根据视频质量、HMD 类型和带宽动态决定边缘节点服务哪个客户端。

边缘缓存策略

背景

传统视频的缓冲方案并不能直接应用到 360 度视频上。

为了在启用边缘缓存的网络中促进 360 度视频的传输，两个传输节点之间的代理缓存被部署来使用户侧的内容可用。

边缘缓存能从实质上减少重复的传输并且可以使内容服务器更加可扩展。

Mahzai’s work

基于其他用户的观看行为为 360 度视频的流行内容提出了一种缓存策略。

  • 与最不常用 (LFU) 和最近最少使用 (LRU) 缓存策略相比，在缓存使用方面的性能分别提高了至少 40% 和 17%。
Papaioannou’s work

提出了基于 tile 分辨率和需求统计信息的缓存策略，用最少的错误，提高要求 tile 的和缓存 tile 这两种版本的 viewport 覆盖率。

  • 不同缓存和传输延迟的实验评估表明提高了缓存命中率，特别是对于分层编码的 tile。
Liu’s work

背景：

边缘缓存可以被在 Evolved Packet Core 处执行，因为 packet 大小很小所以这样可能会产生次优的性能。

另一种替换的方式是在 Radio Access Network 处缓存数据。但这样由于数据隧道和分包会变得更加复杂。

研究内容：

为移动网络提出了一种同时使用 RAN 和 EPC 的基于 tile 的缓存方案，以此在视频流延迟的约束下节省传输带宽。

  • 为 EPC 和 RAN 的缓存节点分别被部署在 Packet Data Network Gateway 和 eNodeBs。
  • EPC 中的内容控制实体负责为 tile 内容改善缓存利用率。
  • 这种联合的 tile 缓存设计能以优秀的可伸缩性为回程网络显著地减少带宽压力。
Maniotis’s work

为了利用协作传输的机会，提出了一种在包含宏蜂窝基站(MBS)和多个小基站(SBS)的蜂窝网络中的 tile 级别的视频流行度感知缓存和传输方案。

  • 应用了一种高级的编码方式来创建灵活的 tile 编码结构，使在每个 SBS 中能协同缓存。
  • 这种协同允许在 SBS 只存储可能被观看的图块，而其他图块可以通过回程链路获取。
Chen’s work

为被捕获内容从Drone base station到小基站的联合缓存和分发提出了一种echo-liquid状态的 DRL 模型，使用高频毫米波通信技术。

  • 为了满足即时延迟的目标，基站可以从数据中缓存流行内容。
  • 但是，小基站的广泛部署实际上消耗了很多能源。
Yang’s work

在计算资源受限制的 MEC 架构中，利用缓存和计算资源来降低对通信资源的要求。

  • 但是这种结构需要资源敏感的任务调度来平衡通信开销和延迟。
Chakareski’s work

为multi-cell网络环境中的 AR/VR 应用探索了最前沿的缓存、计算和通信机制。

  • 提出的框架允许基站利用适当的计算和缓存资源来最大化总计的回报。
  • 只关注了缓存和渲染，没有考虑用户视角的感受以及处理事件。
Sun’s work

在内容到达终端之前，同时利用 FoV(Field of View)缓存和必要的计算操作来节省通信带宽而不牺牲响应时间。

  • 对于同质的 FoVs，联合缓存和计算框架执行关于缓存和后期处理的最优决策。
  • 对于异质的 FoVs，应用凹凸表达式来得到有吸引力的结果。
Rigazzi’s work

基于一个开源项目 Fog05 提出了一个三层(3C)解决方案来分发密集的任务（例如编解码和帧重建），穿越中心云层，受约束的雾层和边缘节点层。

  • 利用了系统可伸缩性、互操作性和 360 度视频推流服务的生命周期循环。
  • 实验性的评估表明在带宽、能源消耗、部署开销和终端复杂性方面取得了显著的减少。
Elbamby’s work

通过在延迟和可靠性的约束下，应用积极的计算和毫米波传输，为交互式的 VR 游戏提出了一个联合框架。

  • 对视频帧做预计算和存储来减少 VR 流量。
  • 评估表明这种联合机制可以减少多达 30%的端到端延迟。

边缘计算的优势

  1. 减少延迟

    传统的云端节点距离用户较远，边缘计算使用户可以共享多个服务器池的协同计算资源。

  2. 降低能耗

    根据网络架构和资源供应将计算卸载到分布式计算集群，能显著提高移动设备的性能。

  3. 负载均衡

    边缘节点例如基站、小蜂窝和终端设备可以在用户端存储内容，降低了核心网的负载。

现有利用边缘计算的解决方案

image-20211103150201850

  • 大多数任务卸载的 MEC 方案只致力于优化带宽、能源或延迟。
  • 发展中的方案同时致力于许多其他重要的目标：可靠性、可移动性、QoS、部署成本、安全性。
  • 利用带缓存的边缘计算的能力可以增强可移动性、位置感知能力、高效的数据分发、网络上下文理解和提供服务的安全性。
  • 层级化的边缘-云体系结构对于适应 360 度视频快速动态传输是必要的。
  • 相比于单静态层，多个动态缓存模型可以帮助管理唐突的 viewport 和网络变化来改善多用户的 viewport 命中率。
  • 无论环境怎样，主动缓存都可以通过采用预测机制来预取和缓存部分视频来提高感知质量。

360 度视频的协同传输

背景

  • 360 度视频推流有较大的用户需求并且在逐渐增长。
  • 目前推流 viewport 之外的冗余信息会浪费重要的网络带宽。
  • 相同的 360 度视频内容，在带宽受限的网络之上被推流给多个用户时，码率的需求变得更难满足。

几个方法应用了 360 度视频的协同传输，进而改善传输效率。

方案

Ahmadi’s work

引入了基于 DASH 的加权 tile 方法来优化子用户组请求的 tile 编码性能。

  • 提出了多播流方案基于被用户看到的可能性对 tile 分配适当的权重。
  • 接着基于可用带宽和 tile 权重为每个子用户组选择 tile 的码率。
  • 实际上因为相邻 tile 的不同质量导致了空间质量变化，最终造成糟糕的推流体验。
  • 不必要的离散优化问题巨大，不能保证有积极的表现。

Bao’s work

基于动作预测和并发观看用户的信道条件提出了一种多播框架，来只分发可能被看到的 360 度视频块。

  • 没有在无线多播传输中考虑优化资源分配。

Guo’s work

为每个用户假设了一种随机动作模式和不稳定的信道条件，并且开发了多播机会来避免冗余数据传输。

作者考虑了两个非凸的问题：

  1. 在给定视频质量的约束下，最小化平均传输时间和能源消耗。
  2. 在给定的传输时间和能源预算下，最大化每个用户的视频质量。

Long’s work

考虑了传输时间、视频质量的平滑性和能源限制，在单服务器多用户无线网络环境中优化多个用户的聚合效用。

  • 为了减少传输复杂性，作者准备了多种质量的 tile，并为每组用户将 tile 划分到不相邻的子集中。

Zhang’s work

引入了一种使用 SVC 质量自适应方法的协同推流策略，来改善移动自组网环境中，观看 360 度内容的多个用户间的带宽共享。

  • 当遇到可用网络资源限制时，提出的启发性方式基于被看到的可能性和聚合的组级别偏好设置选择最优的 tile 子集。

Kan’s work

提出了一种服务端混合多播-单播协同推流方案来分发不同质量的 360 度视频到多个用户。

  • 基于用户的观看行为对其进行分簇，以此来轻松共享相同的视频内容。
  • 为每个 tile 联合选择传输模式和适当的码率来提高整体的 QoE。

Huang and Zhang’s work

设计了一种 MIMO 网络中的 MAC 调度方式。

  • 资源分配策略基于三个主要的函数
    1. 基于延迟的Motion-To-Photon(MTP)VR 帧权重计算。
    2. 基于最大Aggregate Delay-Capacity Utility（ADCU）的用户选择。
    3. 用于平衡 VR 数据传输的极高需求的链路自适应方法。

Li and Gao’s work

提出了多用户 VR 框架，其中边缘云自适应地存储和重用冗余 VR 帧，以减少计算和传输负载。

  • 两级 cache 的设计：用户端的小型本地 cache 和边缘的大型中央 cache。
  • 通过为所有用户产生背景视图和无论何时都重用帧，使得减少了内存需求。
  • 评估表明帧相关数据和计算负载分别减少了 95%和 90%。

总结

对推流到多个临近用户的流行内容共享例如 360 度视频是一种自然的选择。

然而非协作式的用户对带宽的竞争会快速使整个网络瘫痪。

为了为多个用户获得改善的 QoE，研究者从以下几个方面做了努力：

  1. 确定多个用户可能的需求来公平地分配可用的网络资源。
  2. 分析跨用户的行为来精确传输要求的子帧到终端用户。
  3. 由于侧信道攻击，保护 VR 帧传输到多个终端用户。