调度后台合并时,Clickhouse 是否占用空闲磁盘量space?
Does Clickhouse take the amount of free disk space when scheduling background merges?
我有一个 Clickhouse 集群(三个节点),其中包含一个合并树 table、聚合合并树和一个物化视图,该视图用我们插入合并树中的数据填充聚合合并树。每个节点上都存在所有 table。 (请参阅此要点 here 中的完整架构)。
我最近增加了存储大小(从每个节点 4TB 到 4.5TB),我注意到在那之后 Clickhouse 似乎在 运行ning 后台合并时变得更加激进。似乎 运行 合并的时间更长,每秒合并的行数更高,以至于某些合并会影响服务器的 IO 带宽,并对插入率产生负面影响。
我注意到这个设置 here。它提到如果后台池中有足够的空闲资源,Clickhouse 将安排合并。
有人知道这是否考虑了磁盘数量 space 吗?更多 space -> 更有可能 运行 合并创建更大的分区?我们为该参数使用的值是默认值。我确实注意到我们拥有的最大活动分区大约为 150GB,但我不能说在添加存储之前它们有多大。
如果需要任何其他上下文,请告诉我。
谢谢
是的,CH 合并调度程序考虑了可用磁盘的数量 space。
仅当 300GB 以上可用磁盘 space 可用时才能启动 150GB 合并。
我有一个 Clickhouse 集群(三个节点),其中包含一个合并树 table、聚合合并树和一个物化视图,该视图用我们插入合并树中的数据填充聚合合并树。每个节点上都存在所有 table。 (请参阅此要点 here 中的完整架构)。
我最近增加了存储大小(从每个节点 4TB 到 4.5TB),我注意到在那之后 Clickhouse 似乎在 运行ning 后台合并时变得更加激进。似乎 运行 合并的时间更长,每秒合并的行数更高,以至于某些合并会影响服务器的 IO 带宽,并对插入率产生负面影响。
我注意到这个设置 here。它提到如果后台池中有足够的空闲资源,Clickhouse 将安排合并。
有人知道这是否考虑了磁盘数量 space 吗?更多 space -> 更有可能 运行 合并创建更大的分区?我们为该参数使用的值是默认值。我确实注意到我们拥有的最大活动分区大约为 150GB,但我不能说在添加存储之前它们有多大。
如果需要任何其他上下文,请告诉我。
谢谢
是的,CH 合并调度程序考虑了可用磁盘的数量 space。 仅当 300GB 以上可用磁盘 space 可用时才能启动 150GB 合并。