nfs是分布式文件系统吗,hadoopwithcephfs
那么,“云”是什么呢? 或者,它由哪个技术组成呢? 要回答这个问题,首先看看“云”技术的层次结构。 一般来说,可以分为以下三个层次。
第一层是基础设施层,如IDC文件室、服务器和网络。 其中,“软件定义网络”发生在这一层,虚拟网络涉及虚拟网卡、交换机、overlay和vxlan等非常多种技术。 基础架构服务(iaas )通常是指将该层的能力虚拟化以提供“云”服务。 典型的“公共云”客户每小时租赁一次。
第二层是存储层,用于集中整合和管理所有独立的存储服务器。 对于统一存储,常见的分布式存储包括开源社区Ceph、Google上的GFS和Hadoop生态的HDFS。 行业的“软件定义存储”就是这一层。
第三层是计算层,计算层涉及的面最广。 计算中间件、APP应用程序、大数据计算(MaxCompute )、存储分离后的数据库等。
这样分层具有以下优点:每个层都可以根据各自的能力扩展到极限。 虚拟化后,按租户进行分离,提供高效的灵活性和成本节约等。 亚马逊、谷歌、亚马逊、阿里巴巴云等。
https://www.strongd.net/p=1117
1、硬盘
1.1.1 Namenode命名节点
它管理分布式文件系统的命名空间(Namespace ),并维护两个核心的数据结构: FsImage和EditLog。
我们没有责任保存具体的数据。
FsImage用于维护文件系统树和文件树中所有文件和文件夹的元数据。
操作日志文件EditLog记录了对文件的所有操作,包括创建、删除和重命名。
请注意,这两个都是文件,也会加载到内存中进行分析。
1.1.2数据节点
blockId和datanode本地文件之间的映射已得到维护。 必须始终与namenode节点通信以通知您自己的信息,以便nameode可以管理整个系统。 正如linux本地文件系统也有块的概念一样,这里也有块的概念。 默认情况下,此处的块将保存3个128米长的块。
3359 blog.csdn.net/weixin _ 38750084/article/details/82963235 Hadoop:HDFS的体系结构和原理