当前位置:首页>开发>正文

如何用eclipse安装hadoop 如何在win7下的eclipse中调试Hadoop2.2.0的程序

2023-04-20 03:10:19 互联网 未知 开发

 如何用eclipse安装hadoop 如何在win7下的eclipse中调试Hadoop2.2.0的程序

如何用eclipse安装hadoop

1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
然后,在Vmware的主页上新建一个虚拟机,如下图:

一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!

后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~

之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
2)centos下设置ssh服务无密码登录;
在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。

2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
Createddirectory /home/zhangtao/.ssh.
Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功,第一次要你输入yes,以后就不需要了。
如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。

至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这一步中可以分为两步:安装jdk、配置jdk环境变量。

如何在win7下的eclipse中调试Hadoop2.2.0的程序

private static string checkhadoophome() { // first check the dflag hadoop.home.dir with jvm scope //system.setproperty("hadoop.home.dir", "...") string home = system.getproperty("hadoop.home.dir") // fall back to the system/user-global env variable if (home == null) { home = system.getenv("hadoop_home") } try { // couldnt find either setting for hadoops home directory if (home == null) { throw new ioexception("hadoop_home or hadoop.home.dir are not set.") } if (home.startswith(""") && home.endswith(""")) { home = home.substring(1, home.length()-1) } // check that the home setting is actually a directory that exists file homedir = new file(home) if (!homedir.isabsolute() || !homedir.exists() || !homedir.isdirectory()) { throw new ioexception("hadoop home directory " homedir " does not exist, is not a directory, or is not an absolute path.") } home = homedir.getcanonicalpath() } catch (ioexception ioe) { if (log.isdebugenabled()) { log.debug("failed to detect a valid hadoop home directory", ioe) } home = null } //固定本机的hadoop地址 home="d:\hadoop-2.2.0" return home }

怎么在eclipse里运行hadoop实例

mahout 和 hadoop没有啥关系,非得说关系的话,你得弄清二者是干啥的 mahout是一个机器学习算法库,人家是做一些经典的机器学习的算法实现的; hadoop是一个开源的分布式的数据处理引擎(HadoopV1来说,是MapReduce)

如何使用eclipse调试Hadoop作业

将hadoop开发包里面的相关jar导进工程就行,
至于想调试,就看hadoop计数器返回到eclipse里的内容就可以了.
不过有一点,
如果调试的是MapReduce,速度可能不快.

怎样用windows eclipse 编程hadoop

1、目标:
在三台ubuntu上搭建hadoop开发环境;
在windows下利用Eclipse访问ubuntu下的hadoop环境,进行开发;
2、软硬件要求:
软件: hadoop-0.20.2 ,jdk-1.6 ,操作系统 ubuntu10.10 , Eclipse3.7 ;
硬件:3台装有ubuntu系统的机器(我使用的是在一台windows xp下利用 VMware workstation 安装了三台ubuntu虚拟机)
3台ubuntu虚拟器使用相同的用户名和密码 如我的用户名都是matt,
3、ubuntu上搭建hadoop环境
(这一步我直接省略,在网上有很多参考),搭建好后的配置文件如下:
core-site.xml
hadoop.tmp.dir /home/matt/HadoopInstall/tmp A base for other temporary directories. fs.default.name hdfs://tiger:9000
mapred-site.xml
mapred.job.tracker tiger:900hdfs-site.xml
dfs.replication 4、在windows上安装eclipse3.7,
首先先进行windows系统参数设置,进入C:WINDOWSsystem32driversetc 将hosts中加入主机名与对应Ip的关系
tiger 192.168.200.19lion 192.168.200.19wolf 192.168.200.19(这三台分别是我的三台ubuntu虚拟机的主机名和对应的IP,可以参考我之前写的日志VMware虚拟机与主机共享上网的设置)
在官网下载解压eclipse3.7,然后将hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自带的hadoop插件只能支持
eclipse3.3.2以下版本,因此这个插件是我在google中搜索的);重启eclipse 通过点击Window -> Open Perspective -> Other 选择、Map/Reduce,图标是个蓝色的象。就可以看到mapreduce视图了;接下来进行设置mapreduce开发环境,在
eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,
弹出配置框

其中Location name可以随便起,Map/Reduce Master要与你的mapered-site.xml对应,DFS与core-site.xml对应,User name是
unbuntu中搭建hadoop环境的用户名;接下来设置advanced parameter,里面主要注意的是 hadoop.tmp.dir(要与配置文件中的临时
目录一致) 和 hadoop.job.ugi(hadoop环境的用户名和组名 在这里就是 matt ,matt)这个变量名可能在刚开始时不存在,没有关系
先配置好其他的,确认保存。这时打开project Explorer就可以看到DFS Location了

如果在第一次没有hadoop.job.ugi变量的配置时在/hadoop/mapred/system下你是没有查看权限的 也就是查看不
到/matt/HadoopInstall/tmp这个目录,也不能进行删除文件操作,这时再打开advanced parameter,将值配置为上面提到的对应值就
好了(matt,matt);到这里整个配置部分就ok了;
5、运行第一个程序wordcount
在 project Explorer中右键->new ->mapreduce project 然后点击 configure Hadoop install directory 浏览到 hadoop0.20.2文件夹
下,这样project就会自动把hadoop下的jar包导入到工程,然后把hadoop自带的wordcount源码复制到project src目录下(注意包名要
一致)然后右键 Run As -> Run configuration ,弹出配置窗口单击左边的javap Application 选择WordCount程序,然后在右侧的
Arguments Program arguments 中配置运行参数(hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分别对应程
序输入目录和输出目录)点击apply,然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。

最新文章