我需要使用 PostgreSQL 尽快添加日期范围之间的大量值，最好的方法是什么？

Question

这是我正在尝试做的一个简单示例：

CREATE TABLE daily_factors (
    factor_date date,
    factor_value numeric(3,1));

CREATE TABLE customer_date_ranges (
    customer_id int,
    date_from date,
    date_to date);

INSERT INTO
    daily_factors
SELECT
    t.factor_date,
    (random() * 10 + 30)::numeric(3,1)
FROM
    generate_series(timestamp '20170101', timestamp '20210211', interval '1 day') AS t(factor_date);

WITH customer_id AS (
    SELECT generate_series(1, 100000) AS customer_id),
date_from AS (
    SELECT
        customer_id,
        (timestamp '20170101' + random() * (timestamp '20201231' - timestamp '20170101'))::date AS date_from
    FROM
        customer_id)
INSERT INTO
    customer_date_ranges
SELECT
    d.customer_id,
    d.date_from,
    (d.date_from::timestamp + random() * (timestamp '20210211' - d.date_from::timestamp))::date AS date_to
FROM
    date_from d;

所以我基本上制作了两个表格：

每日因素列表，从 2017 年 1 月 1 日到今天的每一天；
一个包含 100,000 个“客户”的列表，他们的日期范围都在 2017 年 1 月 1 日到今天之间，有些长，有些短，基本上是随机的。

然后我想把每个客户在他们的日期范围内的因素相加，取平均值。

SELECT 
    cd.customer_id,
    AVG(df.factor_value) AS average_value
FROM 
    customer_date_ranges cd
    INNER JOIN daily_factors df ON df.factor_date BETWEEN cd.date_from AND cd.date_to
GROUP BY
    cd.customer_id;

在一个日期范围内进行非等值连接永远不会很好，但是有什么方法可以加快速度吗？

我唯一能想到的索引是这个：

CREATE INDEX performance_idx ON daily_factors (factor_date);

它对执行时间的影响很小。当我在本地运行时，我看到大约 32 秒没有索引，大约 28 秒有索引。

我知道这是我正在构建的系统中的一个巨大瓶颈，但我想不出有什么方法可以使事情变得更快。我的想法是：

我可以在很大程度上避免使用月度因子，而不是使用每日因子，但现在我要处理“整月和部分月”的额外复杂性。它似乎不值得增加复杂性，例如“2020 年 2 月到 8 月需要整整 7 个月，然后是 2020 年 1 月 10/31 日和 2020 年 9 月 15/30 日”；
我可以预先计算出我需要的每个平均值，但是有 1,503 个因素（并且随着新的一天而增加），已经有 1,128,753 个数字要存储（假设我们忽略零日期范围并且我的数学是正确的）。此外，我的真实世界系统具有额外的复杂性，第二个标识符具有 20 个可能的值，因此这意味着要预先计算大约 2000 万个数字。此外，每天要存储的值的数量都呈指数增长；
我可以将这项工作从数据库中取出，并在代码中（在内存中）完成，因为看起来关系数据库可能不是这里的最佳解决方案？

还有其他建议吗？

Answer 1

处理此问题的经典方法是存储运行个 factor_value 的总和，而不是（或除此之外）单个值。然后你只要在两个端点（实际上是在末尾，一个在开始前）查找运行和，然后取差。当然，除以计数，将其转化为平均值。我从来没有在数据库中这样做过，但没有理由不能在那里完成。

我需要使用 PostgreSQL 尽快添加日期范围之间的大量值，最好的方法是什么？

I need to add up lots of values between date ranges as quickly as possible using PostgreSQL, what's the best method?

postgresql

postgresql-performance