为 Azure Cosmos DB 建模

Question

我打算从 CoinMarketCap API 中保存记录以供自己使用。我想每 15 分钟保存一次前 100 个加密货币的价格信息，我想将其保存在 Azure Cosmos DB 中。

由于我对文档数据库的整个概念不熟悉，因此我需要一些文档建模方面的帮助。

首先我开始使用这个模型。

[
    {
        "id": "bitcoin",
        "name": "Bitcoin",
        "symbol": "BTC",
        "rank": "1",
        "price_usd": "573.137",
        "price_btc": "1.0",
        "24h_volume_usd": "72855700.0",
        "market_cap_usd": "9080883500.0",
        "available_supply": "15844176.0",
        "total_supply": "15844176.0",
        "percent_change_1h": "0.04",
        "percent_change_24h": "-0.3",
        "percent_change_7d": "-0.57",
        "last_updated": "1472762067"
    },
    {
        "id": "ethereum",
        "name": "Ethereum",
        "symbol": "ETH",
        "rank": "2",
        "price_usd": "12.1844",
        "price_btc": "0.021262",
        "24h_volume_usd": "24085900.0",
        "market_cap_usd": "1018098455.0",
        "available_supply": "83557537.0",
        "total_supply": "83557537.0",
        "percent_change_1h": "-0.58",
        "percent_change_24h": "6.34",
        "percent_change_7d": "8.59",
        "last_updated": "1472762062"
    },
    ...
]

但是由于每次写入数据库时id并没有改变，所以记录只是更新，而不是聚合。我想这符合预期。

所以为了确保记录被聚合，我将模型重写为这样。

[
    {
        "id": <timestamp>_bitcoin
        "identifier": "bitcoin",
        "name": "Bitcoin",
        "symbol": "BTC",
        "rank": "1",
        "price_usd": "573.137",
        "price_btc": "1.0",
        "24h_volume_usd": "72855700.0",
        "market_cap_usd": "9080883500.0",
        "available_supply": "15844176.0",
        "total_supply": "15844176.0",
        "percent_change_1h": "0.04",
        "percent_change_24h": "-0.3",
        "percent_change_7d": "-0.57",
        "last_updated": "1472762067"
    },
    {
        "id": <timestamp>_ethereum
        "identifier": "ethereum",
        "name": "Ethereum",
        "symbol": "ETH",
        "rank": "2",
        "price_usd": "12.1844",
        "price_btc": "0.021262",
        "24h_volume_usd": "24085900.0",
        "market_cap_usd": "1018098455.0",
        "available_supply": "83557537.0",
        "total_supply": "83557537.0",
        "percent_change_1h": "-0.58",
        "percent_change_24h": "6.34",
        "percent_change_7d": "8.59",
        "last_updated": "1472762062"
    },
    ...
]

我在这里添加了一个单独的 id，带有时间戳和对旧 ID 的引用，以使其唯一。

这工作正常，但我认为这是一些重复的数据（例如名称和符号），我认为双倍的数据看起来很糟糕。但也许这就是文档数据库世界中的情况？

我也想过这样的模型

[
    {
        "id": <timestamp>_bitcoin
        "identifier": "bitcoin",
        "name": "Bitcoin",
        "symbol": "BTC",
        "rank": "1",
        "price_history": [{
            "price_usd": "573.137",
            "price_btc": "1.0",
            "24h_volume_usd": "72855700.0",
            "market_cap_usd": "9080883500.0",
            "available_supply": "15844176.0",
            "total_supply": "15844176.0",
            "percent_change_1h": "0.04",
            "percent_change_24h": "-0.3",
            "percent_change_7d": "-0.57",
            "last_updated": "1472762067"
        ]}
    },
    {
        "id": <timestamp>_ethereum
        "identifier": "ethereum",
        "name": "Ethereum",
        "symbol": "ETH",
        "rank": "2",
        "price_history": [{
            "price_usd": "12.1844",
            "price_btc": "0.021262",
            "24h_volume_usd": "24085900.0",
            "market_cap_usd": "1018098455.0",
            "available_supply": "83557537.0",
            "total_supply": "83557537.0",
            "percent_change_1h": "-0.58",
            "percent_change_24h": "6.34",
            "percent_change_7d": "8.59",
            "last_updated": "1472762062"
        ]}
    },
    ...
]

但是由于无法在不重写整个文档的情况下向 price_history 添加新记录，因此这不是一个好主意。此外，由于 price_history 中的记录数量可能会无限制地增长，因此该文档会变得非常大且难以处理。

接下来我考虑拆分成单独的文档，但也不确定这是否可行。所以我现在有点迷茫。

有什么建议吗？

Answer 1

这是事实部分：

每个加密硬币只有一个文档，并以 15 分钟的间隔在文档中嵌入价格信息是行不通的。 Cosmos DB 的文档大小限制为 2MB。如果您采用嵌入策略，您将突破该大小限制。此外，您是对的，较大的文档更难处理并且检索时会产生更高的 RU 费用。
一般来说，在 NoSQL 中，数据重复不一定是大罪。您需要考虑如何检索数据以及需要使用哪些信息。这一点尤其重要，因为关系数据库中不存在关系连接。

现在是完整的意见部分：

考虑一个加密硬币文档，其中包含有关您需要跟踪的每个硬币的一般信息。您可能实际上什至不需要这份文件。
将时间序列数据存储为单独的文档。由于上述文档大小限制，您实际上必须采用这种方式，并且时间戳读数的数量没有上限。
对于作为每个时间戳的一部分存储的 1 小时、24 小时和 7 天回顾聚合，您可以使用聚合函数进行查询，并在每次编写新条目。鉴于您只存储 100 种不同的加密货币并且您的时间戳是每 15 分钟一次，这是可行的。

There's a great video 第 9 频道的 Ryan CrawCour 和 David Makogon 处理 Cosmos DB 中的建模数据，我发现在解决这个问题时非常有帮助。

Answer 2

这是一篇很好的文章，总结了非关系世界中数据建模的最佳实践https://docs.microsoft.com/en-us/azure/cosmos-db/modeling-data

HTH

为 Azure Cosmos DB 建模

Modelling Azure Cosmos DB

data-modeling

azure

azure-cosmosdb