如何查看hadoop集群是否安装成功 如何查看hadoop 集群的硬件

如何查看hadoop集群是否安装成功

严格按照操作步骤操作，保证计算机硬件软件环境正常！
　　起动集群，start-all.sh
　　然后再看看namenode datanode jobtracker以及tasktracker secondaryname是否都启动了
　　如果是 就成功了

如何查看hadoop 集群的硬件

1、首先启动hadoop集群，查看你的进程是否都启动起来

3884 Jps
1776 ResourceManager
1613 SecondaryNameNode
1872 NodeManager
1467 DataNode
1377 NameNode
2、然后创建一个目录，比如 /djt ,然后上传一个文件djt.txt到该目录下
如果上面步骤都正常，代表hadoop伪分布集群安装成功！

如何查看hadoop集群中可用的map数目

2.0版本之前可以通过hadoop自带的web管理界面查看，端口是500302.0之后没有map和reduce
slot的概念，所以也就没有map数量一说，改成了直接对资源进行管理。

　　释义：

　　map的数量

　　map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop没一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。具体的数据分片是这样的：

　　InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat
决定了map任务的个数比mapred.map.tasks值小时才起作用。

　　同样，Map任务的个数也能通过使用JobConf 的conf.setNumMapTasks(int
num)方法来手动地设置。这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于Hadoop系统通过分割输入数据得到的值。

　　当然，为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。

hadoop2.5.2版本的集群怎么开启web端口的日志查看

日志在logs目录下面，你爱有什么工具来打开随你便。或者也可以在NameNode的那个网页上找到

Hadoop HDFS只有服务日志，与Hadoop MapReduce的服务日志类似；
Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志，具体介绍如下：
1. Hadoop 1.x版本
Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志，他们的日志位置如下（Web界面也可查看其日志，地址http://主节点IP:50030）：
JobTracker：在JobTracker安装节点上，默认位置是
${hadoop.log.dir}/logs/*-jobtracker-*.log，该文件每天生成一个，旧的日志后缀是日期，当天的日志文件后缀是“.log”，其中${hadoop.log.dir}默认值是hadoop安装目录，即${HADOOP_HOME}。
TaskTracker：在各个TaskTracker安装节点上