当前位置:首页 > 天道酬勤 > 正文内容

hadoop分为三块hdfs(hadoop mapreduce)

张世龙2021年12月20日 14:14天道酬勤1330

虽然大数据有很多需要学习的框架,但是Hadoop作为大数据开发的核心模块,需要更多的理解。 HDFS是基于Java的分布式文件系统,有助于理解Hadoop的分布式文件系统。 今天,我们将详细介绍大数据Hadoop的HDFS。

一、什么是HDFS?

HDFS负责存储数据文件,为整个Hadoop生态圈提供基础存储服务。 提供低成本、高性能、高容错性、高可靠性的分布式文件系统。

HDFS是主/从(Master/Slave )体系结构,从分布式存储的性质上看,集群有两种节点NameNode和DataNode。 系统中通常只有一个名称节点。 中心服务器角色用于管理存储和检索多个DataNode的实际数据所需的所有元数据。

二、HDFS的特点

1、低成本:构建HDFS主要不是购买昂贵的服务器,而是横向扩展机器数量。

2、高性能:大型任务的集群处理效率方面,将多台机器分块并行处理比单机串行处理快得多

3、容错能力强:数据自动保存多个拷贝。 通过增加拷贝格式来提高容错能力。 数据会自动保存多个副本,在副本丢失后自动恢复。

4、高可靠性: HDFS解决了单点问题。 由于HDFS集群的中心节点非常重要,如果中心节点宕机,则整个集群将无法使用,因此中心节点NameNode有主要节点(Primary )和备份节点) Stand By (备用节点)。 如果Primary有问题,Stand By可以自动接手Primary的工作。

三、HDFS怎么保存数据?

HDFS使用主/从体系结构存储数据。 该体系结构主要包括四部分: HDFS客户端、管理员和管理员,分别为HDFS客户端、datanode和Secondary NameNode。 请看下图。

以上是关于HDFS的部分分析。 希望能帮到大家。 作为Hadoop的核心,HDFS在数据存储方面得到了保证,是非常好的分布式文件系统。 如果想更详细地了解,请点击成都加米谷大数据官网。

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/25674.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。