企业数据采集分析框架
企业数据采集分析框架?
Apache Flume。
Flume 是 Apache 旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume 使用 JRuby 来构建,所以依赖 Java 运行环境。
Flume 最初是由 Cloudera 的工程师设计,用于合并日志数据的系统,后来逐渐发展用于处理流数据事件。
Flume 设计成一个分布式的管道架构,可以看作在数据源和目的地之间有一个 Agent 的网络,支持数据路由。
每一个 agent 都由 Source,Channel 和 Sink 组成。
Source。