博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
linux下搭建hadoop环境
阅读量:7281 次
发布时间:2019-06-30

本文共 859 字,大约阅读时间需要 2 分钟。

 

1 创建hadoop专属用户

  非必需。其目的是,让所有的hadoop应用,用一个单独的帐号操作。

   链接:

   链接:

2 配置ssh,节点间免密码登录

  必需。节点间同步数据等需要。

   链接:

3 安装Java  

  建议master-slave安装统一版本,并建议1.7(64位机器)。

4 安装hadoop

  安装版本为hadoop-2.4.0。由于hadoop默认配置在32位机器上,所以对于64位机器需要重新编译。在编译中,需要maven-3.2.1,对应的需要jdk1.7(jdk1.8会报错)。并且需要提前安装cmake

  安装hadoop 略。就是下载包后各种配置。

   链接:

   链接:

5 启动hadoop

  格式化文件系统:

./bin/hadoop namenode -format

  启动节点:

./sbin/start-all.sh

 

6 测试hadoop是否成功安装

6.1 jps命令

  主机结果类似:

$ jps12493 Jps10249 NameNode10448 SecondaryNameNode

  从机结果类似:

$ jps1830 Jps539 DataNode

  好像不该说主从,忽略我。

6.2 查看dfs管理界面

  在主机的浏览器输入:

6.3 测试wordcount 

   链接:

    由于版本问题,jar包被放到了不同的地方,这个wordcount测试不能用。新的命令如下:

/bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount /hadoop/input/* /hadoop/output/wordcount

 

 

 

转载于:https://www.cnblogs.com/yanyichao/p/3759324.html

你可能感兴趣的文章
如何使用纯 CSS 制作四子连珠游戏
查看>>
分布式的系统核心是什么——日志
查看>>
D3.js系列学习笔记之一:初识绘图流程和基本思想
查看>>
「JavaScript」函数声明和函数表达式
查看>>
webpack4 的开发环境配置说明
查看>>
【JavaScript】面向对象
查看>>
手机端简洁日历控件iantoo.week()
查看>>
一起来学SpringBoot | 第六篇:整合SpringDataJpa
查看>>
并发——读写锁初探
查看>>
前端每日实战:71# 视频演示如何用纯 CSS 创作一个跳 8 字型舞的 loader
查看>>
一点感悟:《Node.js学习笔记》star数突破1000+
查看>>
用Go实现Redis之一准备工作
查看>>
简单5步,从0开始搭建你的第一款小程序
查看>>
安装Scrapy库报错 “error: Microsoft Visual C++ 14.0 is required. ”解决方法
查看>>
根据JWT的key和URL决定是否缓存HTTP请求
查看>>
前端AES加密
查看>>
持续更新 mongoose 细节收集
查看>>
Mybatis常见面试题
查看>>
基于VUE构建做题H5组件【附源代码】
查看>>
BFC深入理解
查看>>