hadoop开发环境配置 怎样用windows eclipse 编程hadoop
hadoop开发环境配置
我的eclipse是装在WINDOWS下的，HADOOP在CENTOS生产环境。
但原理是一样额
http://club.sm160.com/showtopic-937269.aspx
HADOOP 版本是hadoop1.0.0（和你的hadoop1.0.4配置相同）
怎样用windows eclipse 编程hadoop
1、目标：
在三台ubuntu上搭建hadoop开发环境；
在windows下利用Eclipse访问ubuntu下的hadoop环境，进行开发；
2、软硬件要求：
软件： hadoop-0.20.2 ，jdk-1.6 ，操作系统 ubuntu10.10 ， Eclipse3.7 ；
硬件：3台装有ubuntu系统的机器（我使用的是在一台windows xp下利用 VMware workstation 安装了三台ubuntu虚拟机）
3台ubuntu虚拟器使用相同的用户名和密码 如我的用户名都是matt，
3、ubuntu上搭建hadoop环境
（这一步我直接省略，在网上有很多参考），搭建好后的配置文件如下：
core-site.xml
hadoop.tmp.dir /home/matt/HadoopInstall/tmp A base for other temporary directories. fs.default.name hdfs://tiger:9000
mapred-site.xml
mapred.job.tracker tiger:900hdfs-site.xml
dfs.replication 4、在windows上安装eclipse3.7，
首先先进行windows系统参数设置，进入C:WINDOWSsystem32driversetc 将hosts中加入主机名与对应Ip的关系
tiger 192.168.200.19lion 192.168.200.19wolf 192.168.200.19（这三台分别是我的三台ubuntu虚拟机的主机名和对应的IP，可以参考我之前写的日志VMware虚拟机与主机共享上网的设置）
在官网下载解压eclipse3.7，然后将hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自带的hadoop插件只能支持
eclipse3.3.2以下版本，因此这个插件是我在google中搜索的)；重启eclipse 通过点击Window -> Open Perspective -> Other 选择、Map/Reduce，图标是个蓝色的象。就可以看到mapreduce视图了；接下来进行设置mapreduce开发环境，在
eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，
弹出配置框
其中Location name可以随便起，Map/Reduce Master要与你的mapered-site.xml对应，DFS与core-site.xml对应，User name是
unbuntu中搭建hadoop环境的用户名；接下来设置advanced parameter，里面主要注意的是 hadoop.tmp.dir(要与配置文件中的临时
目录一致) 和 hadoop.job.ugi（hadoop环境的用户名和组名 在这里就是 matt ，matt）这个变量名可能在刚开始时不存在，没有关系
先配置好其他的，确认保存。这时打开project Explorer就可以看到DFS Location了
如果在第一次没有hadoop.job.ugi变量的配置时在/hadoop/mapred/system下你是没有查看权限的 也就是查看不
到/matt/HadoopInstall/tmp这个目录，也不能进行删除文件操作，这时再打开advanced parameter，将值配置为上面提到的对应值就
好了（matt,matt）；到这里整个配置部分就ok了；
5、运行第一个程序wordcount
在 project Explorer中右键->new ->mapreduce project 然后点击 configure Hadoop install directory 浏览到 hadoop0.20.2文件夹
下，这样project就会自动把hadoop下的jar包导入到工程，然后把hadoop自带的wordcount源码复制到project src目录下（注意包名要
一致）然后右键 Run As -> Run configuration ，弹出配置窗口单击左边的javap Application 选择WordCount程序，然后在右侧的
Arguments Program arguments 中配置运行参数（hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分别对应程
序输入目录和输出目录）点击apply，然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。
Hadoop Eclipse的DFS Locations如何配置？
1. 你的eclipse和Hadoop的插件是版本对应的吗？一般大多问题都出在这个上面。
2. 建议装虚拟机来配置Hadoop，用cywin的话出问题时你不确定是cywin的问题还是其他问题，并且出问题在搜索解决方案时也很容易。
3. 怎么没有datanode？tasktracker呢？
4. 建议使用2代Hadoop
如何部署Apache Hadoop 2.2.0 Eclipse插件
1.下载
下载winghc/hadoop2x-eclipse-plugin 压缩包。
2.提取
提取到本地路径（如“C:hadoop2x-eclipse-plugin”）。
3.搭建
在命令行窗口中打开srccontribeclipse-plugin C:>cd C:hadoop2x-eclipse-pluginsrccontribeclipse-plugin 运行ANT搭建 C:hadoop2x-eclipse-pluginsrccontribeclipse-plugin>ant jar -Dversion=2.2.0 -Declipse.home=C:/IDE/sts-3.5.0 -Dhadoop.home=c:/hadoopBuildfile: C:hadoop2x-eclipse-pluginsrccontribeclipse-pluginuild.xml 注意：下载“ivy-2.1.0.jar”需要有网络连接 4. 安装 在搭建成功之后，srccontribeclipse-plugin.内会生成hadoop-eclipse-plugin-2.2.0.jar 。拷贝此jar文件并将其粘贴到你IDE的“插件”所在路径。 5. 配置 如果Eclipse是开启状态就重新启动。否则只要启动就可以了。 a. 进入Windows-->Open Perspective-->Other并选择“Map/Reduce”。 b. 点击“New Hadoop location...”(蓝色大象图标)并定义Hadoop路径来运行MapReduce应用程序。点击“Finish”按钮。 Map/Reduce(V2) Master: Map/Reduce主节点地址(任务追踪器) DFS Master: 分布式文件系统主节点地址(名称节点)。 要了解“Port”数量的话，就启动Hadoop并在浏览器中打开 localhost:8088/cluster。点击Tools --> Configuration 并查找以下属性。 DFS Master fs.defaultFS hdfs://localhost:9000 core-site.xml Map/Reduce(V2) Master mapreduce.jobtracker.http.address 0.0.0.0:50030 mapred-default.xml c. 现在我们可以浏览Hadoop文件系统并只使用GUI来执行不同的文件/文件夹操作。 同样，我们还可以用向导(File --> New --> Other... --> Map/Reduce)轻松创建。 转载，仅供参考。
怎样构建hadoop eclipse plugin
做了一年的hadoop开发，还没有自己主动生成过eclipse插件，一直都是在网上下载别人的用，今天有时间，就把这段遗憾补回来，自己生成一下，废话不说，开始了。
一、环境说明
本列中的hadoop eclipse插件通过eclipse生成（未使用命令生成是因为用命令生成插件过程中发生的一些问题，不容易查看和修改，用eclipse很直观，方便出错校正），其中hadoop版本为 1.2.1(stable版)，操作系统为Centos，IDE为myeclipse 2013(用eclipse也一样，没区别)。以下的HADOOP_HOME表示hadoop的安装目录。
二、插件生成
1.将$HADOOP_HOME/src/contrib/eclipse-plugin导入eclipse工程 。
本例中将/opt/hadoop-1.2.1/src/contrib/eclipse-plugin目录导入eclipse。
如添加完成后的项目名称为“MapReduceTools”，如下图：
2.把hadoop-core-1.2.1.jar加入环境变量
右击项目——>build path——>configure buildpath，将现有的hadoop-core jar包删除（默认加入的包，已不在classpath中），然后将$HADOOP_HOME/hadoop-core-1.2.1.jar加入classpath。