hadoop伪分布式心得(hadoop伪分布式无法下载文件)
正在加载视频.
文档说明Hadoop 3.1.1伪分布式模式安装
Hadoop 3.1.1伪分布式模式安装
前置条件jdk.1.8.0_191中安装了linux系统。 本文中选择的centos 7系统已经安装。 技能标签
学习安装Hadoop3.1. 1版的伪分布式模式,可以进行Hadoop技术开发(包括HDFS、MapReduce等) HDFS启动停止命令。 在yarn启动停止命令官网上,附带了WorldCount样本执行管理界面管理NamenNode管理和基于资源管理器管理的Hadooop集群管理
ssh的安装
通常,安装系统后,由于附带了ssh服务,因此可以跳过,直接在终端上执行ssh命令。 使用此命令后,如果不需要安装以下服务yum install ssh,则可以使用此命令
yum安装pdsh
下载Hadoop安装软件包
官网下载地址:3359 Hadoop.Apache.org/releases.html本文为: Hadoop-3.1.1.tar.gz http://Apache.01版下载hadoop-3.1.1.tar.gz压缩包tar-zxvf/Hadoop-3.1.1.tar.gz-c /打开/模块/比特数据的解压
配置
hadoop-env.sh
编辑etc/hadoop/hadoop-env.sh以调整JAVA_HOME环境变量# settotherootofyourjavainstallation
导出Java _主页=/导出/模块/JDK/JDK 1.8.0 _ 191
执行命令Hadoop
确保hadoop命令正常运行,然后检查当前版本的命令中受伤的睫毛hadoop版本
独立模式
本地模式执行公式自带示例
mkdir输入
$ CP etc/Hadoop/*.XML输入
$受伤的睫毛/HadooPJarshare/Hadoop/Mapreduce/Hadoop-Mapreduce-Examples-3.1.1.JargrePinPutoutput ' DFS [ a-z .
$ cat输出/*
伪分散模式
设定环境变量
配置在本地用户下~~. bashrcexporthadoop _ home=/opt/module/big data/Hadoop-3.1.1
导出路径=$ Hadoop _ home /受伤睫毛:$HADOOP_HOME/s受伤睫毛:$PATH
配置核心站点. XML
配置文件etc/Hadoop /核心站点. XML配置
属性
名称FS .默认FS /名称
valuehdfs ://localhost :9000/value
/属性
/配置
hdfs-site.xml的配置
etc/Hadoop/HDFS-site.XML :配置
属性
命名FS .复制/命名
值1 /值
/属性
/配置
配置ssh安全登录
验证是否设置了sh ssh本地主机
如果需要输入密码验证,请运行以下ssh-keygen-trsa-p '-f至/.ssh/id _ RSA
$ cat~/.ssh/id _ RSA.pub~/.ssh /授权_密钥
$ chmod 0600~~/. ssh /授权_密钥
也可以执行以下ssh-keygen
sh -复制- id远程ip地址
名称格式
受伤的睫毛/HDFS名称格式
启动名称和数据节点
受伤的睫毛/start-dfs.sh
可以配置日志输出目录$ Hadoop _ log _ dir目录(默认为$ Hadoop _ home/logs )。
访问名称
在NameNode-http://本地主机:9870/HDFS上创建新目录
受伤的睫毛/hdfs dfs -mkdir /user
$受伤的睫毛/HDFS DFS-mkdir /用户/用户名
将本地文件上传到HDFS
受伤的睫毛/HDFS DFS-mkdir输入
$受伤的睫毛/HD FSDFS-put ETC/Hadoop/*.XML输入
执行示例
受伤的睫毛/HadoopJarshare/Hadoop/Mapreduce/Hadoop-Mapreduce-Examples-3.1.1.Jargrepinputoutput ' DFS [ a-z . ]
查看样本输出结果(下到本地后再查看) )
受伤的睫毛/HDFS DFS-get输出
$ cat输出/*
显示HDFS上文件的内容
受伤的睫毛/hdfs dfs -cat output/*
停止名称模式和数据节点
受伤的睫毛/停止- DFS.sh
hadoop-daemon.sh命令
HDFS--域名开始名称
HDFS--域名开始数据节点
HDFS--域名停止名称
HDFS--域名停止数据节点
HDFS命令操作
在HDFS中创建新的HD fsdfs-mkdir-p /家庭/刘文/数据目录
将本地文件上载到hdfshdfsdfs-put/opt/temp/a.txt /家庭/刘文/数据
查看HDFS文件HD fsdfs -文本/家庭/刘文/数据/a.txt
YARN构成伪分布式模式
配置文件mapred-site.xml
etc/Hadoop/mapred-site.XML配置
属性
名称映射.框架.名称/名称
值年/值
/属性
/配置
配置
属性
名称映射.应用程序.类路径/名称
value $ Hadoop _ mapred _ home/share/Hadoop/MapReduce/* : $ Hadoop _ mapred _ home/share/Hadoop/MapReduce
/属性
/配置
配置文件mapred-site.xml
etc/Hadoop/Yarn-site.XML :配置
属性
名称yarn .节点管理器. aux -服务/名称
值映射_轮廓/值
/属性
属性
名称yarn .节点管理器. env -白名单/名称
valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,类路径预留_盘柜
/属性
/配置
启动YARN
启动资源管理器达蒙和节点管理器达蒙受伤的睫毛/start-yarn.sh
访问资源管理器
资源管理器:3http://本地主机:8088/# # #停止YARN
停止资源管理员达蒙和节点管理员达蒙受伤的睫毛/停止- yarn.sh
执行世界计数官方网站样本
设置环境变量,直接执行hadoop命令worldcount标记。 examples运行相应的程序,将数据源输入到数据源中,然后输出数据源
Hadoop jar $ Hadoop _ home/share/Hadoop/MapReduce/Hadoop -矩阵-样本- 3.1.1.Jar word count/opt /数据
结束 )。