首页 > 科技 >

大数据分布式文件系统,HDFS入门与设计理念

2018-06-16 11:42:49 网络整理 阅读:100 评论:0

随着大数据时代的来临,数据集的量也呈现出爆发式的增长。普通的单台物理计算机根本无法存储如此海量的数据,因此就需要将数据分割然后存储在多台服务器上,这种系统就称之为分布式文件系统。

大数据分布式文件系统,HDFS入门与设计理念

而常用的大数据工具Hadoop中就自带这么一个分布式文件系统,叫做HDFS,今天小鸟来为小伙伴们做一个HDFS的入门简介。

HDFS被设计于运行在大型硬件集群之上,主要是为了解决海量数据的存储和读取问题。其特点如下:硬件廉价

HDFS集群使用的硬件都是非常廉价的,但是正是由于廉价的硬件。其节点可能会经常发生故障,但是节点的数量非常多,因此在某个节点发生故障的时候,用户不太容易察觉。总的来说相较于昂贵并且故障率低的硬件而言,这种廉价的集群方式性价比会高很多。

大数据分布式文件系统,HDFS入门与设计理念

海量数据

相关文章