最近在学习hadoop，第一步当然是亲手装一下hadoop了。
下面记录我hadoop安装的过程：
注意：
1，首先明确hadoop的安装是一个非常简单的过程，装hadoop的主要工作都在配置文件上，因此最最重要的一点就是需要了解hadoop每个配置项的具体含义！
（今天时间关系，先把我的安装过程记录下来，关于每一步的配置具体表示什么意思，有时间详细写出来）
2，官方文档是最好的帮助文件，如果你的英语过关，希望多去看官方的文档；如果你的英语很烂，也可以去上面看着练习一下英语，耶！
3，本人比较懒，官方文档看了一点，实在看不下去了，找了博客，地址：http://blog.csdn.net/jasonty/article/details/50958466（但是这里面有坑哦）
4，hadoop版本2.6.4稳定版，系统版本ubuntu14.04
一 hadoop单机模式
这个由于太简单了，这里就不写了，直接看官方文档，如果你装不了集群的话，那就试一试伪集群吧，同样官方文档，地址：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html
二 hadoop cluster mode
再次贴一下参考博客地址：http://blog.csdn.net/jasonty/article/details/50958466
首先非常感谢博主的帮忙，博主的配置基本全部正确。
下面内容大部分copy博主，可能加一些更细节的描述
第一步：创建Hadoop集群用户组
目的：我们总不能一直用root吧，你可以用自己单独的用户，比如我就是用chenkh，当然也可以配置新用户
1.分别在四台主机上创建一个新用户，名为hadoop，所属群组为hadoop，并设置新用户密码：
sudo adduser hadoop
2.检查hadoop是否拥有sodu权限
sudo cat /etc/group| grep sudo
回车之后会显示拥有sodu权限的用户，类似于：
sudo:x:27:tangyeah,hadoop
3.如果hadoop用户没有列出，需手动将hadoop加入到sudo用户组：
sudo /usr/sbin/usermod -G 27 hadoop
这样新建的hadoop用户就可以使用sudo命令临时获取root权限了。
第二步：修改主机名
四台主机的规划如下：
| ip地址 | 主机名 | 用途 |
|---|---|---|
| 9.119.131.131 | master | NameNode |
| 9.119.131.56 | slave1 | DataNode |
| 9.119.133.213 | slave2 | DataNode |
| 9.119.133.99 | slave3 | DataNode |
使用如下命令查看本机ip地址：
hadoop@pc1:~$ ifconfig
1.分别更改4台主机的主机名，此处仅以NameNode为例：
sudo nano /etc/hostname
将其内容改为master，保存并关闭。
2.分别配置四台主机的hosts文件：
sudo nano /etc/hosts
将以下代码加入到hosts中：
9.119.131.131 master9.119.131.56 slave19.119.133.213 slave29.119.133.99 slave3
保存并关闭，注意一式四份，每台都要配。
三、设置ssh免密码验证
1.安装必要的组件
sudo apt-get install rsyncsudo apt-get install openssh-clientsudo apt-get install openssh-server
2.使用hadoop用户登陆master，生成公钥、私钥对
hadoop@master:~$ sudo ssh-keygen -t rsa -p''
3.将id_rsa.pub加入到授权的key中
hadoop@master:~$ sudo cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.在本机上测试一下，自己连自己：
hadoop@master:~$ ssh master
第一次连接需要输入yes确认，若仍需要输入密码则需要提高authorized_keys的权限：
hadoop@master:~$ sudo chmod 600 .ssh/authorized_keys
至此，第一台机器就搞定了。
5.hadoop用户分别登陆其余slave机，分别如上生成密钥对。
６.将3台slave的id_rsa.pub复制到master上：
slave1:
hadoop@slave1:~$ scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/slave1
slave2:
hadoop@slave2:~$ scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/slave2
slave3:
hadoop@slave3:~$ scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/slave3
7.将三台slave的密钥加入到授权的key中
hadoop@master:~$ sudo cat ~/.ssh/slave1 >> ~/.ssh/authorized_keys hadoop@master:~$ sudo cat ~/.ssh/slave2 >> ~/.ssh/authorized_keys hadoop@master:~$ sudo cat ~/.ssh/slave3 >> ~/.ssh/authorized_keys
至此，三台slave登入master就应该可以免密码登入了。
8.将master的授权公钥复制到所有的slave机器上
hadoop@master:~$ scp /home/hadoop/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/authorized_keys hadoop@master:~$ scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/authorized_keys hadoop@master:~$ scp /home/hadoop/.ssh/authorized_keys hadoop@slave3:/home/hadoop/.ssh/authorized_keys
至此，master登入三台slave也可以免密码登入了，可以在任意一台电脑上登陆任意其他电脑或自己测试一下。
hadoop@master:~$ ssh slave2hadoop@slave2:~$ ssh slave2 hadoop@slave2:~$ ssh slave3 hadoop@slave3:~$ ssh master
第四步：下载安装JDK和Hadoop镜像
先在master上安装配置好，然后复制到slave上。
1.JDK的下载和安装
略，参考2.Hadoop2.6.4的下载和安装
Hadoop2.6.4官方下载链接： 选择2.6.4对应的binary点击下载（source是未编译的源代码，需要另搭环境重新编译），解压缩并移至/usr文件夹下，重命名为hadoophadoop@master:~$ tar -zxvf /home/tangyeah/Downloads/hadoop-2.6.4.tar.gz hadoop@master:~$ sudo cp -r /home/tangyeah/hadoop-2.6.4 /usr hadoop@master:~$ sudo mv /usr/hadoop-2.6.4 /usr/hadoop
3.更改环境变量
hadoop@master:~$ sudo nano /etc/profile
添加如下代码：
export JAVA_HOME=/usr/java（当然是添加你的JAVA_HOME了） export HADOOP_HOME=/usr/hadoop export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存关闭，并使之生效：
hadoop@master:~$ source /etc/profile
第五步：修改Hadoop配置文件
共有７个文件需要配置，列出清单如下：
/usr/hadoop/etc/hadoop/hadoop-env.sh
/usr/hadoop/etc/hadoop/yarn-env.sh /usr/hadoop/etc/hadoop/core-site.xml /usr/hadoop/etc/hadoop/hdfs-site.xml /usr/hadoop/etc/hadoop/yarn-site.xml /usr/hadoop/etc/hadoop/mapred-site.xml /usr/hadoop/etc/hadoop/slaves
1.hadoop-env.sh
# The java implementation to use.export JAVA_HOME=/usr/java# Assuming your installation directory is /usr/local/hadoop export HADOOP_PREFIX=/usr/hadoop
2.yarn-env.sh
export JAVA_HOME=/usr/java
3.core-site.xml
fs.defaultFS hdfs://master:9000
hadoop.tmp.dir /home/hadoop/tmp io.file.buffer.size 131072
/home/hadoop/tmp需手动创建
4.hdfs-site.xml
dfs.namenode.name.dir /usr/hadoop/names dfs.datanode.data.dir /usr/hadoop/data dfs.replication 3 dfs.datanode.ipc.address 0.0.0.0:50020
dfs.datanode.http.address 0.0.0.0:50075
/usr/hadoop/names
/usr/hadoop/data 这两个目录也需要手动创建5.yarn-site.xml
yarn.resourcemanager.hostname master
yarn.nodemanager.aux-services mapreduce_shuffle
6.mapred-site.xml
如果该文件不存在，手动创建之。
mapreduce.framework.name yarn
7.slaves
slave1slave2slave3
六、Hadoop的启动与关闭
1.关闭防火墙（先查看防火墙有没有开启，开启的话最好关闭，不通版本关闭方法不同）
sudo /etc/init.d/iptables statussudo /etc/init.d/iptables stop
2.NameNode初始化，仅在第一次启动的时候执行。
hadoop@master:~$ cd /usr/hadoop/binhadoop@master:/usr/hadoop/bin$ ./hadoop namenode -format
3.启动
hadoop@master:~$ cd /usr/hadoop/sbinhadoop@master:/usr/hadoop/sbin$ start-dfs.sh hadoop@master:/usr/hadoop/sbin$ start-yarn.sh
4.验证
hadoop@master:~$ jps8918 SecondaryNameNode 7562 Jps 8701 NameNode 9438 ResourceManager
hadoop@slave1:~$ jps10322 Jps 4836 ResourceManager 6804 DataNode 4693 SecondaryNameNode 6923 NodeManager
5.执行命令
hadoop@master:~$ bin/hdfs dfs -mkdir /user
hadoop@master:~$ bin/hdfs dfs -mkdir /user/chenkh
hadoop@master:~$ bin/hdfs dfs -put etc/hadoop input
hadoop@master:~$ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.6.5.jar grep input output 'dfs[a-z.]+'
hadoop@master:~$ bin/hdfs dfs -get output output
hadoop@master:~$ cat output/* 整个过程运行无误，表示安装成功
6.关闭
hadoop@master:~$ stop-all.sh
web监控界面应该有的信息 http://master:50070
http://master:8088
