传统大数据存储系统的三种架构
传统大数据存储系统的三种架构？
一般分为存储层、基础管理层、应用接口层以及访问层。存储层是云存储系统的基础，由存储设备(满足FC协议、iSCSI协议、NAS协议等)构成。基础管理层是云存储系统的核心，其担负着存储设备间协同工作，数据加密，分发以及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分，根据不同的业务类型，可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。其主要优势在于：硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务，管理效率高，云存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计。数据传输可采用流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。
高清监控存储是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。
针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。在海量视频存储检索应用中，检索性能尤为重要。传统文件系统中，文件检索采用的是“目录-》子目录-》文件-》定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。
云存储可以提供非常高的的系统冗余和安全性。当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。
对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。
云存储系统除上述优点之外，在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展，未来云存储还有很长的路要走。
传统大数据存储系统通常有以下三种架构：
1. 单机存储架构：这种架构使用单个服务器来存储和处理大数据。它通常包括一个主服务器和多个从服务器，主服务器负责数据的输入、处理和管理，而从服务器用于存储数据和执行计算任务。单机存储架构适用于小规模的数据存储和处理需求，但在面对大规模数据和高并发访问时可能存在性能瓶颈。
2. 分布式存储架构：这种架构将数据分布在多个服务器上，以实现数据的分片存储和并行处理。每个服务器都负责存储和处理一部分数据，通过分布式文件系统或分布式数据库管理数据的分布和访问。分布式存储架构可以提供更高的数据处理能力和可扩展性，适用于大规模的数据存储和处理需求。
3. 多层存储架构：这种架构将数据分为多个层级，并根据数据的访问频率和重要性将其存储在不同的介质上。通常包括快速存储层（如内存或固态硬盘）用于存储热数据，以及较慢的存储层（如磁盘）用于存储冷数据。多层存储架构可以在满足性能需求的同时节省存储成本，提高数据的访问效率。
这些传统大数据存储系统架构各有优缺点，选择适合的架构取决于具体的数据存储和处理需求，以及预算和性能要求。近年来，随着云计算和分布
1. HDFS + Hbase架构：HDFS是Hadoop Distributed File System的简称，是一种基于Java语言编写的分布式文件系统，它可以提供高容错性、高吞吐量的数据存储服务。Hbase是一种基于Hadoop的分布式列式存储系统，它具有高可靠性、高扩展性和高可伸缩性。
2. 联机分析处理（OLAP）架构：OLAP是一种在线分析处理系统，它是一种面向主题的、分析型的、多维的、动态的数据处理技术，主要用于大数据的查询和分析。OLAP系统通常包括以下四部分：数据源、数据仓库、OLAP引擎和客户端。
3. 分布式数据库（NoSQL）架构：NoSQL是指非关系型数据库，它的设计目标是解决大规模数据集合多重数据种类带来的挑战。NoSQL数据库主要分为以下4类：键值（Key-Value）型数据库、文档（Document）型数据库、列（Column）型数据库和图形（Graph）型数据库。在大数据存储中，NoSQL数据库广泛应用于Web应用、日志分析、社交网络等领域。
这三种架构各有优缺点，使用时需要考虑具体的业务需求和系统性能要求，综合选择最适合的架构。