Flume - 单个代理的多个接收器和通道

Flume - Multiple sinks and channels for single agent

我正在尝试设置 flume 以便每个代理可以有多个接收器,最终可以有多个通道和源(现在只查看多个通道)。我有一个看起来像 this and a ruby template 的配置文件。我对如何着手将功能添加到模板文件感到困惑,这样每个代理都可以将事件发送到多个通道

在您的 flume 代理中,您的源基本上会将数据推送到多个代理。 FlumeNG 默认支持将事件多路复用到不同的通道中。有两个选项可供选择:

  1. 复制源:将源中的所有数据复制到所有通道

  2. Selective Pushing: 根据某些条件选择性地向您的频道推送一些数据

flume 中的语法如下所示:

dataplatform.sources.source1.selector.type = replicating (or multiplexing)

(假设代理名称是dataplatform)

您可以通过这种方式将数据从源路由到多个渠道:

dataplatform.sources.source1.channels = channel1 channel2 channel3 

有关此的更多详细信息,请参阅 flume-ng 用户指南:https://flume.apache.org/FlumeUserGuide.html