1 创建hadoop专属用户
非必需。其目的是,让所有的hadoop应用,用一个单独的帐号操作。
链接:
链接:
2 配置ssh,节点间免密码登录
必需。节点间同步数据等需要。
链接:
3 安装Java
建议master-slave安装统一版本,并建议1.7(64位机器)。
4 安装hadoop
安装版本为hadoop-2.4.0。由于hadoop默认配置在32位机器上,所以对于64位机器需要重新编译。在编译中,需要maven-3.2.1,对应的需要jdk1.7(jdk1.8会报错)。并且需要提前安装cmake
安装hadoop 略。就是下载包后各种配置。
链接:
链接:
5 启动hadoop
格式化文件系统:
./bin/hadoop namenode -format
启动节点:
./sbin/start-all.sh
6 测试hadoop是否成功安装
6.1 jps命令
主机结果类似:
$ jps12493 Jps10249 NameNode10448 SecondaryNameNode
从机结果类似:
$ jps1830 Jps539 DataNode
好像不该说主从,忽略我。
6.2 查看dfs管理界面
在主机的浏览器输入:
6.3 测试wordcount
链接:
由于版本问题,jar包被放到了不同的地方,这个wordcount测试不能用。新的命令如下:
/bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount /hadoop/input/* /hadoop/output/wordcount