当前位置:首页>开发>正文

hadoop配置 在docker中搭建hadoop集群有什么好方法配置ip

2023-04-15 17:26:09 互联网 未知 开发

 hadoop配置 在docker中搭建hadoop集群有什么好方法配置ip

hadoop配置

不是你的环境变量的问题。不知道楼主有没有看Hadoop官网上的介绍。Hadoop所使用的jdk需要修改 conf/hadoop-env.sh 文件,在其中设置 JAVA_HOME 环境变量: export JAVA_HOME="C:Program FilesJavajdk1.5.0_01” (因为路径中 Program Files 中间有空格,一定要用双引号将路径引起来) 这里必须是修改Hadoop的conf/hadoop-env.sh 文件,和机器的环境变量没有关系。

有中文文档的。在Hadoop目录的hadoop-0.20.2docscnindex.html
很高兴回答楼主的问题 如有错误请见谅

在docker中搭建hadoop集群有什么好方法配置ip

1. 该问题是由于docker在启动暂停或退出的container时会初始化系统文件如/etc/hosts等四个文件。导致依赖于ip主机名对应关系的hadoop集群无法工作。
2. 可利用编写脚本调用expect在管理机上推送示例文件(这个示例文件内容需要脚本采用for循环得出当前所有节点容器ip主机名对应关系)并将其内容追加到每个容器的/etc/hosts后
3. 说明:
#docker ps -q > config/container_id.txt
4. 生成一个容器id示例文件遍历这个示例文件,并组装到另一个container_ip-host.txt示例文件。
5. shell脚本中调用./expect-run.exp expect脚本。使用其期望应答功能ssh登录到各个节点,分别发送container_ip-host.txt示例文件,并且分别将内容追加到每个容器的/etc/hosts后。
备注:完全本人手打回复。

hadoop开发环境配置

我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。

但原理是一样额
http://club.sm160.com/showtopic-937269.aspx

HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)