当前位置:首页>开发>正文

企业数据采集分析框架

2023-06-07 00:12:36 互联网 未知 开发

企业数据采集分析框架?

企业数据采集分析框架

Apache Flume。

Flume 是 Apache 旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume 使用 JRuby 来构建,所以依赖 Java 运行环境。

Flume 最初是由 Cloudera 的工程师设计,用于合并日志数据的系统,后来逐渐发展用于处理流数据事件。

Flume 设计成一个分布式的管道架构,可以看作在数据源和目的地之间有一个 Agent 的网络,支持数据路由。

每一个 agent 都由 Source,Channel 和 Sink 组成。

Source。