如何在windows下安装hadoop windows上用Cygwin搭建hadoop配置问题

如何在windows下安装hadoop

Hadoop三种安装模式：单机模式，伪分布式，真正分布式

一 单机模式standalone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

二 伪分布模式安装
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件：
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS节点名称和地址
hdfs-site.xml 配置HDFS存储目录，复制数量
mapred-site.xml 配置mapreduce的jobtracker地址

配置ssh，生成密匙，使到ssh可以免密码连接
(RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密)
cd /root
ssh -keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接

启动Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh

三 完全分布式模式
1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名
2. 建立hadoop运行用户: useradd grid>passwd grid
3. 配置ssh密码连入: 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接
4. 下载并解压hadoop安装包
5. 配置namenode，修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各个节点复制hadoop
9. 格式化namenode
10.启动hadoop
11.用jps检验各后台进程是否成功启动。

windows上用Cygwin搭建hadoop配置问题

到 C:/Windows/System32/drivers/etc/ 下 修改（记事本修改，其他工具修改后无法保存，cygwin中的/etc/下的hosts--是修改不了的），把所有行全部注销。

重启sshd, ok！

关于hadoop在Windows下安装的问题，求大戏帮忙。

执行bin/hadoop jar hadoop-*-examples.jar grep input output ‘dfs[a-z.] 时的错误似乎是打开jar错误 看看是否在hadoop-*-examples.jar 所在的目录下执行的命令，或者对该jar文件前面加上路径。
PS：这是我以前出现这种错误时的原因。

Windows 上 怎么安装 install elasticsearch plugin

配置elasticsearch的存储路径为hdfs需要两步，安装插件elasticsearch-hadoop，在联网的情况下在命令窗口运行：plugin -install elasticsearch/elasticsearch-hadoop/1.2.0即可。　　如果没有联网解压插件到plugins中即可，目录为/hadoop。。。。。　　在配置文件elasticsearch.yml中要配置如下：　　gateway:　　type: hdfs　　gateway:　　hdfs:　　uri: hdfs://localhost:9000

如何在Windows中使用Intellij idea搭建远程Hadoop开发环境

Tools -> Deployment -> Configuration
点击左上角 ，Type选择SFTP，然后配置服务器ip和部署路径，用户名密码等选项
之后选择自动部署，这样每次修改都会自动部署到服务器，也可以右键，选择Deployment，upload to .

如何在windows下安装Eclipse Hadoop插件

1、下载Eclipse解压。
2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。
我的hadoop集群用的版本：hadoop1.1. hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用ant编译。
源文件在：hadoop-x.y.z/src/contrib/eclipse-plugin 下，注意：需要下载源目录的包，如查下载的是bin的压缩包，里面是没有eclipse插件的源文件的。
3、打开Eclipse
window-- Preferences 出现Hadoop Map/Reduce
配置Hadoop installation directory:

注意：我的宿主机windows上并没有安装hadoop， hadoop安装在VM中的centos中
在windows下建了一个目录F:/myHadoop 把centos hadoop安装根目录下的jar包拷过来。
4、新建工程：Map/Reduce Project
配置hadoop location:
5、刷新DFS Locations 列出HDFS服务器上的上的目录：
6、问题：
在Eclipse上可以列出hadoop集群上的目录，但不能创建文件，上传文件
原因：windows下Eclipse安装了hadoop插件，默认使用的是windows当前用户去操作hadoop，而我的hadoop集群当前的用户是grid
而Eclipse中hadoop locations 的高级参数配置，是不能修改这个用户的：
解决方法：
在windows用户和组的管理中，把当前用户修改成hadoop组grid用户。
但我的机器系统是win7家庭版，打不开用户和组管理：
不能已，用另一种方案：
windows上新建一个grid用户，然后再打开Eclipse，创建工程，进行以上的配置DFS Loactioins
发现这时，在Eclipse中可以列出目录，新建文件夹，上传文件了。( 或者修改hadoop集群上文件夹的权限，如：bin/hadoop fs -chmod 777 ./in, 下图第2个文件是修改hadoop集群文件平权限后上传的)