Please enable JS

SandStone USP助深圳供电局轻松应对海量数据存储难题

/2017-3-18 14:20:28

电力线路巡检可以说是无人机最为重要或者最有意义的应用场景之一。当然,我们今天不是告诉你如何去使用无人机,而是告诉你,无人机所拍摄的大量图片数据是如何存储的。

这要从南方电网旗下的某供电局,认真贯彻南方电网公司中长期发展战略,采用先进的无人机设备巡检架空电路说起。利用无人机可近距离在空中对输电线路进行360度观察,悬停拍摄多角度的图像、视频资料,及时发现缺陷、判断线路的运行状况,提高电网安全运行水平。

  一:挑战

  随着无人机数量的不断增加以及产生的图像、视频资料越来越多,对存储系统提出了较大的挑战:

  1、数据分散不利于管理和维护

  为了降低存储成本,当前无人机影像分散在多个PC服务器的本地存储,以及部分阵列中(保存在VMWare虚拟机上),无法有效统一管理。

  2、数据量预期非常大,现有存储无法满足未来扩展需求

  为了便于未来为智能分析、大数据处理提供数据基础,无人机拍摄的数据需要长时间存放,而且随着无人机的不断普及应用,拍摄的清晰度不断增加,数据将增长非常快,单个存储阵列最大容量不超过数PB级,无法满足无人机未来数十PB的需求。

  3、传统存储带宽不足,容易受到大量数据导入影响

  原IT架构,关键业务和非结构化数据都存储在FC SAN上,当多个无人机应用导入拍摄影像数据文件,很容易导致阵列的带宽被占满,关键业务的性能卡顿、其他关键系统受到影响等现象非常严重。

  二:解决方案

  在需求调研中发现,当前供电局的无人机数据存储目前已经存储有200TB,邮件系统和网盘数据存储140TB,导致阵列空间被严重挤占。此外,因为影像数据的频繁批量导入,导致性能受到严重影响。据实际分析观测,当批量导入时光一台VMware主机(上面有运行多个无人机系统)的带宽就到达400MB/S,而一个8Gbps 的FC 通道,仅有700MB/S+的实际带宽,而阵列的FC光纤通道的端口与控制器的个数相关是固定的,并不能随着磁盘个数或者容量的增加而增加,所以该问题一直没有得到有效的解决。

  为了兼容当前无人机应用系统运行在VMware以及部分Windows主机的要求,需要分布式存储系统支持标准存储接口,以便与当前的应用系统无缝迁移到分布式存储系统上。

  而且考虑到无人机可能用于大数据分析,希望分布式存储池支持对象接口,可将无人机数据通过对象接口存储,满足未来统一名字空间管理、分析海量影像文件的需求。

  通过收集客户需求和现场数据,客户对分布式存储池需要满足如下要求:

  • 存储容量需求:当前300TB,未来可扩展至数十PB;

  • 存储带宽需求:当前50Gbps,未来可线性扩展;

  • 其他需求:支持VMware对接,可支持Windows物理主机对接,支持VMware VAAI硬件加速功能;

  杉岩数据对客户的应用的特点和需求进行了整理分析,提供的接口建议方案,最终的结论是OA、邮件系统、企业网盘采用块存储接口。无人机应用适合对象接口,但考虑到需要修改应用程序适配对象接口,暂时一期先无缝迁移到块接口,解决存储容量和性能问题,二期再切换至对象接口。

  SandStone分布式存储可以基于多台X86服务器构建出统一的存储资源池,对外同时提供块接口满足私有元、传统应用(包括OA、邮件系统、网盘系统)的存储需求,SandStone支持在一套集群中同时提供对象接口满足海量的影像统一名字空间存储需求,支持大数据分析和处理的需求。

  本期项目采用12台X86服务器+企业级SATA盘作为硬件平台,每个服务器增加2个Intel S3510 SSD作为缓存加速,总可用容量288TB(2副本)。

  在这样的配置下,SandStone分布式存储每个服务器可对外提供9Gbps的读带宽、3Gbps的写带宽, 12台服务器可提供108Gbps读、36Gbps写带宽,且由于每台服务器都有独立的网络和处理能力,每增加一台服务器都可以线性扩展容量和带宽,从而确保在数据不断增加,上层业务系统不断扩展的情况下,性能依然可以很好满足业务的需求。

  另外,SandStone分布式存储很好的兼容VMware,并对VMware的VAAI加速支持的非常好。在实施过程中,客户对比了FC SAN的虚拟机创建和克隆,发现性能优于中高端FC SAN。

  三:用户收益

  1、支持数十PB级扩展、统一存储和管理

  SandStone分布式存储利用X86服务器构建,最大可支持1024台服务器的集群,实现数十PB级存储。且支持在线服务器扩容,扩容过程中自动数据均衡,无需任何人工的数据搬迁和操作,实现存储容量和性能的线性扩展。从而很好地解决了所有海量数据的统一集中存储的问题。且同时提供块和对象接口,一套存储解决当前网盘、邮件系统数据存储和未来无人机存储的业务务发展需求。从而很好地解决重复建设,实现按需建设的目标。

  2、采购和维护成本大幅降低 

  SandStone解决方案硬件极为简单,没有复杂存储阵列和存储光纤通道虚拟机和配套设备等。硬盘也是直接从市场采购,无需采购专有磁盘,不受厂商绑定。总体的建设成本相对专有的存储硬件降低40%以上;在运维方面,由于设备单一,而且是标准的X86服务器,技术相对简单,后期运维极其方便简单,节省了大量运维成本。

  3、存储稳定性更高,业务连续性更好,重要数据万无一失 

  SandStone分布式存储系统采用多副本冗余机制,基于策略实现数据及其副本跨硬盘、存储节点、机架和机房的存储,并通过强一致性复制技术确保各个数据副本完全一致,完美解决磁盘损坏、服务器宕机等一系列硬件不可靠所导致的不可用问题。

  SandStone支持同一套环境部署多种数据副本的资源池,供电局将相对重要的邮件系统存储在三数据副本资源池上,无人机等其他业务部署在两数据副本资源池上,一套环境可以满足各种不同业务的业务可靠性需求,在满足经济性的同时,其重要数据可靠性传统远超中低端磁盘阵列。

  由此,杉岩数据的分布式存储解决方案以“软件定义数据中心”为核心理念,为供电局构建一套基于X86服务器的弹性分布式存储集群,将大容量数据统一搬迁至分布式存储,利用分布式存储的线性扩展能力,解决了海量非结构化数据存储的后顾之忧。