首页天道酬勤nfs是分布式文件系统吗,hadoopwithcephfs

nfs是分布式文件系统吗,hadoopwithcephfs

张世龙 05-12 14:22 77次浏览

那么,“云”是什么呢? 或者,它由哪个技术组成呢? 要回答这个问题,首先看看“云”技术的层次结构。 一般来说,可以分为以下三个层次。

第一层是基础设施层,如IDC文件室、服务器和网络。 其中,“软件定义网络”发生在这一层,虚拟网络涉及虚拟网卡、交换机、overlay和vxlan等非常多种技术。 基础架构服务(iaas )通常是指将该层的能力虚拟化以提供“云”服务。 典型的“公共云”客户每小时租赁一次。

第二层是存储层,用于集中整合和管理所有独立的存储服务器。 对于统一存储,常见的分布式存储包括开源社区Ceph、Google上的GFS和Hadoop生态的HDFS。 行业的“软件定义存储”就是这一层。

第三层是计算层,计算层涉及的面最广。 计算中间件、APP应用程序、大数据计算(MaxCompute )、存储分离后的数据库等。

这样分层具有以下优点:每个层都可以根据各自的能力扩展到极限。 虚拟化后,按租户进行分离,提供高效的灵活性和成本节约等。 亚马逊、谷歌、亚马逊、阿里巴巴云等。

https://www.strongd.net/p=1117

1、硬盘

1.1.1 Namenode命名节点

它管理分布式文件系统的命名空间(Namespace ),并维护两个核心的数据结构: FsImage和EditLog。

我们没有责任保存具体的数据。

FsImage用于维护文件系统树和文件树中所有文件和文件夹的元数据。

操作日志文件EditLog记录了对文件的所有操作,包括创建、删除和重命名。

请注意,这两个都是文件,也会加载到内存中进行分析。

1.1.2数据节点

blockId和datanode本地文件之间的映射已得到维护。 必须始终与namenode节点通信以通知您自己的信息,以便nameode可以管理整个系统。 正如linux本地文件系统也有块的概念一样,这里也有块的概念。 默认情况下,此处的块将保存3个128米长的块。

3359 blog.csdn.net/weixin _ 38750084/article/details/82963235 Hadoop:HDFS的体系结构和原理

研华adam模块接线,cm6805应用电路图