怎样进行hadoop集群分配角色 怎样在hadoop伪分布式集群上安装mysql

怎样进行hadoop集群分配角色

namenode得两台机器吧，做Hadoop的HA
datanode得三台机器吧，至少两台吧。
resource manager得两台机器吧，做Yarn的HA
job historyserver一台机器吧
如果有条件，可以将zookeeper也配上三台机器，如果没有条件，就在namenode和resource manager和job history server机器上搭建zookeeper。

怎样在hadoop伪分布式集群上安装mysql

先回答你标题的提问：hadoop完全分布式：3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式：一个节点看了以上两点相信你已经明白了，“用vm多装几个unbuntu配置完全分布式，然后做实验”这是完全可行的。实际上我们通常也是这么做的，当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议：如果你要开发基于Hadoop的分布式程序，伪分布式足够你实验了。如果你要做很多其他事情，比如玩玩cm，玩玩oozie，玩玩hbase，建议装多个虚拟机。

hadoop 配置问题

bin/hadoop-daemon.sh start DataNode,这个命令是添加节点的时候才会用到的，如果你是在添加节点，那么前提要让新添加的这台datanode和已经配置好的机器可以无密码访问，配置也要一样，比如说hadoop/conf文件下的配置，java的安装等等。然后在去执行上面的命令。

在docker中搭建hadoop集群有什么好方法配置ip

1. 该问题是由于docker在启动暂停或退出的container时会初始化系统文件如/etc/hosts等四个文件。导致依赖于ip主机名对应关系的hadoop集群无法工作。
2. 可利用编写脚本调用expect在管理机上推送示例文件（这个示例文件内容需要脚本采用for循环得出当前所有节点容器ip主机名对应关系）并将其内容追加到每个容器的/etc/hosts后
3. 说明：
#docker ps -q > config/container_id.txt
4. 生成一个容器id示例文件遍历这个示例文件，并组装到另一个container_ip-host.txt示例文件。
5. shell脚本中调用./expect-run.exp expect脚本。使用其期望应答功能ssh登录到各个节点，分别发送container_ip-host.txt示例文件，并且分别将内容追加到每个容器的/etc/hosts后。
备注：完全本人手打回复。