Prometheus 时间序列生成的图表在不同形状之间跳跃
Graph produced from Prometheus time series jumps between different shapes
我使用 Prometheus 2.0.0-beta.2 和 Grafana 查看形式为 mytimeseries{attr="val"}
的简单时间序列图表。它的范围包括最近 6 小时,每 30 秒刷新一次。
目前发生的情况是图形的形状在不同形式之间跳转,以便在大约 10 秒内进行后续刷新。循环。以下是其中一些形状:
这怎么会发生?我怀疑这是因为时间序列在几个点处出现峰值(例如,在大约 10:30 时达到大约 25 K)并且这些值在某些情况下包含在图表中但在其他情况下可能由于显示的周期而包含在图表中Grafana 相对于到达 Prometheus 的新记录指标以 "odd" 偏移偏移。
无论如何,这会使输出难以阅读,并且当前图表几乎无法用于监控。我想知道这是否是一个更普遍的、可能是已知问题的实例,如果是,那么克服它的最佳方法是什么,以便同一个图形从右向左移动但不会意外改变其形状。
UPDATE This 讨论似乎涉及类似的问题,并暗示了类似的可疑原因。我的时间序列测量每秒收到的八位字节(由操作系统工具报告),虽然我控制将它提供给普罗米修斯的出口商,但我不清楚如何将它提供给计数器(而不是仪表),所以建议的解决方案并不适用。
这是一个别名问题。鉴于您只有一个仪表可以使用,我建议使用 avg_over_time
或 max_over_time
以避免丢失数据。
我还建议查看节点导出器是否公开了此指标,因为它将作为计数器。
我使用 Prometheus 2.0.0-beta.2 和 Grafana 查看形式为 mytimeseries{attr="val"}
的简单时间序列图表。它的范围包括最近 6 小时,每 30 秒刷新一次。
目前发生的情况是图形的形状在不同形式之间跳转,以便在大约 10 秒内进行后续刷新。循环。以下是其中一些形状:
这怎么会发生?我怀疑这是因为时间序列在几个点处出现峰值(例如,在大约 10:30 时达到大约 25 K)并且这些值在某些情况下包含在图表中但在其他情况下可能由于显示的周期而包含在图表中Grafana 相对于到达 Prometheus 的新记录指标以 "odd" 偏移偏移。
无论如何,这会使输出难以阅读,并且当前图表几乎无法用于监控。我想知道这是否是一个更普遍的、可能是已知问题的实例,如果是,那么克服它的最佳方法是什么,以便同一个图形从右向左移动但不会意外改变其形状。
UPDATE This 讨论似乎涉及类似的问题,并暗示了类似的可疑原因。我的时间序列测量每秒收到的八位字节(由操作系统工具报告),虽然我控制将它提供给普罗米修斯的出口商,但我不清楚如何将它提供给计数器(而不是仪表),所以建议的解决方案并不适用。
这是一个别名问题。鉴于您只有一个仪表可以使用,我建议使用 avg_over_time
或 max_over_time
以避免丢失数据。
我还建议查看节点导出器是否公开了此指标,因为它将作为计数器。