kettle集群怎么配置 如何配置Kettle集群运行环境

kettle集群怎么配置

集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时，首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中，它包含一个主服务器（Master）和多个从属服务器服务器(slave)。如下图所示:

　　子服务器（Slave servers）允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器，该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。

　　在以后的描述中，如果我们提到的是子服务器，则包括集群中的主服务器和从属服务器；否则我们会以主服务器和从属服务器来进行特别指定。

　　注意: 在集群环境下执行转化时，你必须有一个子服务器作为主服务器（master server）而其余所有的子服务器都作从属服务器（slave server）

　　代理服务器主机名 设置你要通过代理进行连接的主机名

　　代理服务器端口 设置与代理进行连接时所需的端口号

　　Ignore proxy for hosts: regexp|separated 指定哪些服务器不需要通过代理来进行连接。该选项支持你使用正则表达式来制定多个服务器，多个服务器之间以 | 字符来进行分割
　　创建cluster schema

　　定义转换
　　定义完了 cluster schema 后，下一步就是定义在集群环境下执行的转换。我们这里展现的只是一个最简单的例子，完全是为了演示而用。现实情况中的集群有可能非常复杂。

　　首先你像平时一样创建转换，以hop连接连个两个步骤。然后你指定第二个步骤将在集群下执行

　　然后选择需要使用的集群。转换如图一样显示在GUI中。

　　注意 Cx4显示这个步骤将在集群中运行，而这个集群中有4个从属服务器。假设我们将计算结果再次存入到数据表中

　　这个转换虽然定义了集群，但是我们同样可以让它在单机环境下执行，而且可以得到相同的结果。这意味着你可以使用普通的本地模式来测试它。

　　执行转换

　　要想以集群方式来运行转换或者作业，首先需要启动在Cluster schema中定义的主服务器和从属服务器，然后再运行转换或者作业。

　　启动子服务器
　　子服务器其实是一个嵌入式的名为 Carte 的 小web server。要进行集群转换，首先需要启动cluster schema中的子服务器

　　脚本启动
　　kettle 提供了 carte.bat 和 carte.sh （ inux ）批处理脚本来启动子服务器，这种启动方式分为两种

　　使用主机号和端口号

　　Carte 127.0.0.1 8080
　　Carte 192.168.1.221 80
　　使用配置文件
　　Carte /foo/bar/carte-config.xml
　　Carte url

如何配置Kettle集群运行环境

我也遇到这问题了，分享一下解决方法吧以后没准还有人能用到。我机器的主要问题是环境变量JAVA_HOME的值不对，应该写到jdk也就是C:Program FilesJavajdk1.7.0_25，并且，改完后要重启机器才行（这个很重要）。