当前位置:首页 > 天道酬勤 > 正文内容

hadoop伪分布式心得(hadoop伪分布式无法下载文件)

张世龙2021年12月20日 14:31天道酬勤670

正在加载视频.

文档说明Hadoop 3.1.1伪分布式模式安装

Hadoop 3.1.1伪分布式模式安装

前置条件

jdk.1.8.0_191中安装了linux系统。 本文中选择的centos 7系统已经安装。 技能标签

学习安装Hadoop3.1. 1版的伪分布式模式,可以进行Hadoop技术开发(包括HDFS、MapReduce等) HDFS启动停止命令。 在yarn启动停止命令官网上,附带了WorldCount样本执行管理界面管理NamenNode管理和基于资源管理器管理的Hadooop集群管理

ssh的安装

通常,安装系统后,由于附带了ssh服务,因此可以跳过,直接在终端上执行ssh命令。 使用此命令后,如果不需要安装以下服务yum install ssh,则可以使用此命令

yum安装pdsh

下载Hadoop安装软件包

官网下载地址:3359 Hadoop.Apache.org/releases.html本文为: Hadoop-3.1.1.tar.gz http://Apache.01版下载hadoop-3.1.1.tar.gz压缩包tar-zxvf/Hadoop-3.1.1.tar.gz-c /打开/模块/比特数据的解压

配置

hadoop-env.sh

编辑etc/hadoop/hadoop-env.sh以调整JAVA_HOME环境变量# settotherootofyourjavainstallation

导出Java _主页=/导出/模块/JDK/JDK 1.8.0 _ 191

执行命令Hadoop

确保hadoop命令正常运行,然后检查当前版本的命令中受伤的睫毛hadoop版本

独立模式

本地模式执行公式自带示例

mkdir输入

$ CP etc/Hadoop/*.XML输入

$受伤的睫毛/HadooPJarshare/Hadoop/Mapreduce/Hadoop-Mapreduce-Examples-3.1.1.JargrePinPutoutput ' DFS [ a-z .

$ cat输出/*

伪分散模式

设定环境变量

配置在本地用户下~~. bashrcexporthadoop _ home=/opt/module/big data/Hadoop-3.1.1

导出路径=$ Hadoop _ home /受伤睫毛:$HADOOP_HOME/s受伤睫毛:$PATH

配置核心站点. XML

配置文件etc/Hadoop /核心站点. XML配置

属性

名称FS .默认FS /名称

valuehdfs ://localhost :9000/value

/属性

/配置

hdfs-site.xml的配置

etc/Hadoop/HDFS-site.XML :配置

属性

命名FS .复制/命名

值1 /值

/属性

/配置

配置ssh安全登录

验证是否设置了sh ssh本地主机

如果需要输入密码验证,请运行以下ssh-keygen-trsa-p '-f至/.ssh/id _ RSA

$ cat~/.ssh/id _ RSA.pub~/.ssh /授权_密钥

$ chmod 0600~~/. ssh /授权_密钥

也可以执行以下ssh-keygen

sh -复制- id远程ip地址

名称格式

受伤的睫毛/HDFS名称格式

启动名称和数据节点

受伤的睫毛/start-dfs.sh

可以配置日志输出目录$ Hadoop _ log _ dir目录(默认为$ Hadoop _ home/logs )。

访问名称

在NameNode-http://本地主机:9870/HDFS上创建新目录

受伤的睫毛/hdfs dfs -mkdir /user

$受伤的睫毛/HDFS DFS-mkdir /用户/用户名

将本地文件上传到HDFS

受伤的睫毛/HDFS DFS-mkdir输入

$受伤的睫毛/HD FSDFS-put ETC/Hadoop/*.XML输入

执行示例

受伤的睫毛/HadoopJarshare/Hadoop/Mapreduce/Hadoop-Mapreduce-Examples-3.1.1.Jargrepinputoutput ' DFS [ a-z . ]

查看样本输出结果(下到本地后再查看) )

受伤的睫毛/HDFS DFS-get输出

$ cat输出/*

显示HDFS上文件的内容

受伤的睫毛/hdfs dfs -cat output/*

停止名称模式和数据节点

受伤的睫毛/停止- DFS.sh

hadoop-daemon.sh命令

HDFS--域名开始名称

HDFS--域名开始数据节点

HDFS--域名停止名称

HDFS--域名停止数据节点

HDFS命令操作

在HDFS中创建新的HD fsdfs-mkdir-p /家庭/刘文/数据目录

将本地文件上载到hdfshdfsdfs-put/opt/temp/a.txt /家庭/刘文/数据

查看HDFS文件HD fsdfs -文本/家庭/刘文/数据/a.txt

YARN构成伪分布式模式

配置文件mapred-site.xml

etc/Hadoop/mapred-site.XML配置

属性

名称映射.框架.名称/名称

值年/值

/属性

/配置

配置

属性

名称映射.应用程序.类路径/名称

value $ Hadoop _ mapred _ home/share/Hadoop/MapReduce/* : $ Hadoop _ mapred _ home/share/Hadoop/MapReduce

/属性

/配置

配置文件mapred-site.xml

etc/Hadoop/Yarn-site.XML :配置

属性

名称yarn .节点管理器. aux -服务/名称

值映射_轮廓/值

/属性

属性

名称yarn .节点管理器. env -白名单/名称

valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,类路径预留_盘柜

/属性

/配置

启动YARN

启动资源管理器达蒙和节点管理器达蒙受伤的睫毛/start-yarn.sh

访问资源管理器

资源管理器:3http://本地主机:8088/# # #停止YARN

停止资源管理员达蒙和节点管理员达蒙受伤的睫毛/停止- yarn.sh

执行世界计数官方网站样本

设置环境变量,直接执行hadoop命令worldcount标记。 examples运行相应的程序,将数据源输入到数据源中,然后输出数据源

Hadoop jar $ Hadoop _ home/share/Hadoop/MapReduce/Hadoop -矩阵-样本- 3.1.1.Jar word count/opt /数据

结束 )。

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/25687.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。