Apache Pulsar Clickhouse Sink - 插入之间是否有间隔?
Apache Pulsar Clickhouse Sink - does it have intervals between inserts?
Clickhouse 允许高性能写入,但前提是它们是批量完成的并且有间隔(建议插入之间至少间隔 1 秒)。在 JDBC 连接器的文档中,Clickhouse batchSize 选项存在,但没有关于插入之间的间隔的内容,而且我没有设法在代码中找到插入逻辑(虽然我不是 Java 人)。
这是否意味着没有间隔,Pulsar 只是尽可能频繁地插入?
我对 Pulsar 一无所知。
recommended is at least 1 second interval between inserts
该建议是“每秒插入一次”。
睡 1 秒没什么。
这个建议太基础而且很模糊。
每个项目都是独一无二的,都有自己的环境和要求。
在一个项目中我插入了 1000 万。非常宽的行 每分钟 RAID 10 和 HDD 磁盘。
在另一个项目中,我使用具有单个 NVME 磁盘的内存部件每秒执行 1000 次插入,每行约 100 行。
Clickhouse 允许高性能写入,但前提是它们是批量完成的并且有间隔(建议插入之间至少间隔 1 秒)。在 JDBC 连接器的文档中,Clickhouse batchSize 选项存在,但没有关于插入之间的间隔的内容,而且我没有设法在代码中找到插入逻辑(虽然我不是 Java 人)。
这是否意味着没有间隔,Pulsar 只是尽可能频繁地插入?
我对 Pulsar 一无所知。
recommended is at least 1 second interval between inserts
该建议是“每秒插入一次”。 睡 1 秒没什么。
这个建议太基础而且很模糊。
每个项目都是独一无二的,都有自己的环境和要求。
在一个项目中我插入了 1000 万。非常宽的行 每分钟 RAID 10 和 HDD 磁盘。
在另一个项目中,我使用具有单个 NVME 磁盘的内存部件每秒执行 1000 次插入,每行约 100 行。