一、边缘存储定义
边缘存储就是把数据直接存储在数据采集点或者靠近的边缘计算节点中,例如MEC服务器或CDN服务器,而不需要将数据通过网络即时传输到中心服务器(或云存储)的数据存储方式。边缘存储一般采用分布式存储,也称为去中心化存储。下面通过几个案例来说明:
1、在安防监控领域,智能摄像头或网络视频录像机(NVR)直接保存数据,即时处理,不需要将所有数据传输至中心机房再处理。 2、家庭网络存储服务器,用户更偏向将私人数据存储在自己家中,而不是通过网络上传到提供存储服务的第三方公司,这样第三方公司不会接触到敏感数据,保证隐私保护和安全性。 3、自动驾驶采集的数据往往可以在车载单元或路侧单元中进行预处理,再将处理后的少量数据传输给后台服务中心或云。
为什么目前主要使用的还是中心存储,而不是边缘存储呢?一个很重要的原因是数据处理在中心,边缘设备的处理能力还不够。另外一个原因是缺乏成熟可行的技术方案连接和同步边缘节点,无法使得边缘端更多地承担数据采集、处理和存储的任务。
随着芯片技术的发展,边缘端设备的运算能力和处理速度都得到大幅度提升,使得设备成本大大降低,在靠近数据的边缘端已经可以进行较好的数据处理。同时,随着去中心化存储技术的飞速发展,例如IPFS 采用的Libp2p,能够很好地解决端设备的局部互联问题,可以在边缘进行连接和处理。以车联网为例,在自动驾驶车辆中传感器和摄像头采集的数据完全可以存放在本地和路侧单元中,由于在同一个街道或区域运行的汽车很多,它们会采集大量重复的数据,但也有一些数据可以相互补充。当把数据存储在本地时,同一个街道上的汽车能够相互连接,并对数据进行即时聚合,这样需要上传的数据就大大减少了。
边缘存储的主要特点包括:
- 低时延。通常小于5ms。 分布式查看,隔离操作。
- 同一个网络操作不应该影响其他的网络。
- 本地保存和转发能力。能够降低和优化节点间的带宽占用。
- 能够聚合并传送给中心节点。从而减少网络中冗余数据的传输。
- 数据移动性。允许边缘设备在不同的边缘网络中移动,而不影响数据同步和完整性。
二、边缘存储的优势
1. 网络带宽和资源优化 对于以云为核心的存储架构,所有的数据都需要传输到云数据中心,带宽的需求是极大的。同时,并不是所有数据都需要长期保存。例如,对于电子监控的视频数据仅保存数天、数周或数月。而对于智能工厂中机器采集的原始数据,特点是数据频率高、规模大,但有价值的数据相对较少。如果将这些数据存储在云上,会带来网络带宽资源浪费、访问瓶颈以及成本上升等一系列问题。 在某些情况下,由于带宽限制或不一致,数据传输质量会受到影响,出现丢包或超时等问题。针对这种情况,可以利用边缘存储来缓存数据,直到网络状况改善后再回传信息。此外,还可以利用边缘存储动态优化带宽和传输内容质量。例如,在边缘录制高质量的视频,而在远程查看标准质量的视频,甚至可以在网络带宽不受限制时将录制的高质量视频同步到后端系统或云存储中。
通过边缘存储和云存储的有机结合,可以将一部分数据的存储需求从中心转移到边缘,更加合理有效地利用宝贵的网络带宽,并根据网络带宽的情况灵活优化资源的传输,使得现有网络可以支撑更多边缘计算节点的接入并降低总体拥有成本(TCO)。
2. 分布式网络分发 由于边缘节点分布式的特点,可以利用边缘存储建立分发网络,分发加速的效果将好于当前站点有限的CDN网络。例如分享一部分存储用于分发,那么观看的热门电视剧就可以被邻居直接下载使用,极大地节省网络带宽;另一方面,也可以通过分享存储资源获取部分收益。 当边缘存储进入实用阶段时,去中心化的应用也更容易建立。基于地域的社区将可以不通过中心服务器或服务商进行交互,也更容易建立基于社区的私有网络。 同样,由于基于边缘存储的点对点网络的建立,应用或服务商之间的数据共享变得更加容易和便捷。在理想情况下,服务商或应用提供商完全可以不拥有数据,而数据本身属于数据的生产者。这样一来,数据的拥有者就完全可以把这部分数据分享给不同的应用或服务,用于产生超额价值。例如,远程医疗可以让病人把自己的检查结果存储在本地,而病人可以支配自己的检查报告,用于提供给不同的医生或医院进行诊断。同时,如果病人愿意,也可以匿名地分享给研究机构作为科研数据。
3. 可靠性更强 当数据存储和处理完全是中心化的时候,任何的网络问题或数据中心本身的问题都会导致服务中断,影响巨大。当边缘计算节点具备一定的处理能力,且数据存储在端或边缘之后,对网络的要求大大降低,一部分的网络中断只会影响小部分功能,因为很多处理运算同样可以在本地进行。同时,当边缘的点对点网络建立起来后,网络的冗余性会进一步解决部分网络中断的问题,容错性得到极大的加强。
而对于需要具备高可信度的企业级应用(例如银行、政府和城市监控系统),利用边缘存储可以降低数据丢失的风险。如果主网络中的存储发生问题,边缘存储可以保留数据的备用副本,并在需要的时候同步到后台,从而提高整个系统的可靠性。
为了进一步提高边缘存储的可靠性,边缘存储介质的选型也非常重要。由于边缘节点需要长期全天候运行,工作环境多样,传统的针对消费内的存储介质已经不能满足边缘存储高可靠性的要求。典型的如IP摄像头或NVR中使用的消费级MicroSD,这种卡的固件并未针对全天候录制需求进行优化,因此会丢帧,在许多情况下,帧捕捉率下降20%~30%后,会导致大量数据丢失。因此需要选择工业级的专用存储卡,提高平均无故障时间(MTTF)、降低年度故障率(AFR),并提供可监控运行状况的智能工具,减少系统停机时间,降低维护成本。
4.安全与隐私兼顾 目前,虽然云计算极大地方便了我们的生活,能够让我们随时随地访问我们的私人数据,但也出现了一些关于数据安全和隐私的隐忧。这也是家庭安防、智能家居发展缓慢的原因之一。边缘存储结合点对点网络技术可以帮助解决这个问题。在新的解决方案里,用户不需要把数据存储到网上,而是保存在家庭的NAS中,所有数据都是可以加密存储的。通过P2P网络,也可以建立端设备和家庭数据服务器的点到点连接,让数据私密传送,同时兼顾安全与隐私。
除此之外,边缘存储还有一个优势是与边缘计算相结合。考虑家庭安防的情况,用户可以对家庭的摄像报警系统进行配置,设置报警的条件,多数情况下采集的视频数据是不需要上传的,只有在出现异常情况时才需要占用网络带宽和外部资源;另一方面,边缘存储和网络传输可以使用不同格式的视频流,例如本地存储高清晰、高解析度的视频流,而在网络上传输的可以是低码率、低清晰度、占用有限带宽的数据,既可以解决实时监控的问题,如果有需要也可以进一步的分析。