当前位置:首页>开发>正文

hadoop怎么安装配置 hadoop安装问题

2023-05-06 22:06:39 互联网 未知 开发

 hadoop怎么安装配置 hadoop安装问题

hadoop怎么安装配置


在Linux上安装Hadoop之前,需要先安装两个程序: 1. JDK 1.6或更高版本 2. SSH(安全外壳协议),推荐安装OpenSSH。 下面简述一下安装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。

hadoop安装问题

你看的教程是旧的,新版的hadoop启动脚本放在sbin下。start-all.sh已经逐渐被废弃,采用新的启动脚本:
sbin/hadoop-daemon.sh --script hdfs start datanodesbin/hadoop-daemon.sh --script hdfs start namenodesbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start proxyserversbin/mr-jobhistory-daemon.sh start historyserver【注意1】.不要随意执行上述命令,需要你规划好那几个节点是namenode, 哪些节点是datanode, 哪个节点是resourcemanager, proxyserver, 以及historyserver
【注意2】.sbin/hadoop-daemon.sh --script hdfs start datanode 执行后只能只能启动当前节点;
sbin/hadoop-daemons.sh --script hdfs start datanode可以启动etc/hadoop/slaves中指定的datanode
【注意3】. 最新版本(hadoop2.2.0)的启动脚本libexec/hadoop-config.sh有bug, 若想用
sbin/hadoop-daemons.sh --hosts your_host_files --script hdfs start datanode启动节点,注意修改libexec/hadoop-config.sh第98行为:
98 elif [ "--hostnames" = "$1" ]同时要小心--hosts your_host_files option, 用户指定的your_host_files一定放在etc/hadoop/下面,但是启动时只指定该文件名,不包含任何路径名,这也是该启动脚本的一个缺陷。
【注意4】. 也可以采用
sbin/hadoop-daemons.sh --hostnames your_host_name --script hdfs start datanode启动某个节点
祝好运,还有不懂得可以问我。