Page 166 - 安防19年5月刊_150dpi

C 前沿技术
Cutting-edge Technology

模型相对固定的应用场合。而在智慧城市的建设中，
备用名字节点
一个云存不仅会存储海量的数据，而且需要对这些
数据进行分析和利用，这往往需要集合多个专业厂 元数据同步
元数据请求 元数据请求
客户端 名字节点 客户端
商来进行各自擅长领域的业务开发，因此，系统的开 元数据 回写元数据
读取数据 状态监测 写入数据
放性、接口的标准化，则成为云存储系统建设的重要 状态监测 状态监测 状态监测 状态监测
需求，云存储的核心功能应直接在存储之上实现，再 1 1 2 1 3 2
复制 4 复制 4
3
2
4
3
通过访问接口层为业务平台提供多种通用的访问接
口，如 ISCSI 块存储访问接口、POSIX 文件访问接口、 数据节点 数据节点 数据节点 数据节点 数据节点
机架1 机架2
REST 对象访问接口等，而业务应用开发则无需再考
虑数据冗余、分散存储、负载均衡等存储专属特性， ▲图3：具有集中元数据管理的HDFS系统架构
而集中在业务应用本身的功能特性方面，例如视频
监控系统中的车型识别、卡口计数、图像浓缩等，这 不难看出，虽然集中元数据云存储系统架构简单，
种云存储系统与具体的应用耦合程度较低，具有更 但会存在两个主要的问题：
好的通用性，可以认为是一种通用云存储。 性能瓶颈问题。元数据的基本特性要求任何时
在现在比较流行的云存储架构中，根据对元数 候对用户数据的访问，都需要同步地修改元数据，由
据的管理模型，可以将通用云存储系统分为三种类型， 于每次 I/O 访问都需要首先访问元数据服务器，随
即集中式元数据、分布式元数据和无元数据三种类 着系统规模不断扩大，需要管理的存储节点、文件数
型的系统。 量、I/O 操作数量等都会急剧增加，而对元数据进行
集中式元数据云存储系统是一种典型的非对称 管理的物理服务器性能有限，从而形成性能瓶颈，

式系统，在系统中，通常具有一个中央元数据管理服 这种性能瓶颈在大量小文件访问时会更为突出。为
务器，负责元数据的存储和处理查询与修改请求，例 解决这一问题，人们通常会采用更高性能的 CPU，更
如，在 HDFS 系统中，该元数据管理服务器即为名字 大的内存，并且采用 SSD 来加速对元数据的访问，
节点 Namenode，同时，存在大量的数据存储节点提 虽然能够在一定程度上提升元数据访问性能，但成
供客户 I/O 数据的并行存储与访问。这种架构中，客 本极其高昂，且提升效果有限。
户端每次对数据流的 I/O 操作，都需要先向元数据 元数据服务器单点故障问题。在集中元数据云
管理服务器进行元数据查询，客户端在获得需要读 存储系统中，整个系统的性能和可靠性完全依赖于
写的数据块物理位置等信息后，对于数据的 I/O 操 元数据服务器，一旦元数据服务器故障，系统将无法
作则直接在客户端和数据存储节点之间进行。相对 提供任何服务，因此，元数据服务器就是整个系统中
传统存储系统，集中元数据云存储系统将控制流和 的潜在单点故障点。为解决这一问题，通常对元数据
数据流进行了分离，系统在扩展性和处理性能方面 服务器采用备机形成 HA 解决方案来提供更高的系
获得了较大的提升，同时，由于元数据集中在一台服 统可用性，主用服务器和备用服务器之间的元数据
务器上进行管理，整个系统架构比较简单，降低了系 必须随时同步，否则一旦主用服务器故障，则可能导
统设计的复杂性，目前业界采用这种架构的系统主 致数据不一致问题，但元数据同步操作会进一步加
要有 GFS、HDFS、Lustre 等。 重了元数据服务器的性能负担，导致整个系统的访

146 2019第八届深圳国际智能交通与卫星导航位置服务展览会(2019.6.20-6.22深圳会展中心)www.its-expo.com

భခ࠯ඌ JOEE ྒ௹೘