Azure Databricks 集群 运行 但不执行任何 Spark 应用程序的成本
Cost of an Azure Databricks cluster running but not executing any Spark app
我一直在阅读 Azure Databricks pricing details，但我找不到取决于集群是否 运行 spark 应用程序的成本之间是否存在任何差异。
我有一个 2 节点集群，用于上传 Spark 应用程序，该应用程序每小时计算某些元素并将结果存储在 Databricks table 中。 table 需要被外部 BI 应用程序访问，因此集群需要启动。假设集群 运行 整整一个小时，但只执行 Spark 应用程序 5 分钟，那么我对 5 分钟执行时间的收费是否与其他 55 分钟的收费不同？
如有任何帮助，我们将不胜感激。
这里不是真正的问题，
- 但假设您使用的是 'pay-as-go' 选项而不是 'reserved instances'，
- 您将按整小时支付计算资源和任何临时存储的费用。
任何保存到存储的东西都是连续付费的，但是很便宜。与 AWS 一样，'managed services' 成本更高。
注意： Azure Databricks 集群基于“VM 成本 + DBU 成本”而不是基于 运行 计费Spark 应用程序或任何笔记本 运行 或作业的时间。
您的案例： 如果您在 美国东部 2 运行 高级层集群 1 小时使用 2 个 DS13v2 实例，数据分析工作负载的计费如下：
- 2 个 DS13v2 实例的 VM 成本 — 1 小时 x 2 个实例 x 0.598 美元/小时 = 1.196 美元
- 2 个 DS13v2 实例的数据分析工作负载的 DBU 成本 — 1 小时 x 2 个实例 x 每个节点 2 DBU x 0.55 美元/DBU = 2.20 美元
- 总成本因此为 1.196 美元（VM 成本）+ 2.20 美元（DBU 成本）= 3.396 美元。
如果我的集群 运行 少于一个小时，我需要支付多少费用？
我们根据您的集群运行四舍五入到最接近的分钟而不是小时的分钟数收费。
能否举例说明计费方式？
根据您集群 运行 的工作负载类型，您需要为数据工程或数据分析工作负载付费。例如，如果集群 运行s 工作负载由 Databricks 作业调度程序触发，则您需要为数据工程工作负载付费。如果您的集群 运行 具有临时命令等交互功能，您将需要为数据分析工作负载付费。
案例 1： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据分析工作负载的计费如下：
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据分析工作负载的 DBU 成本 —100 小时 x 10
实例 x 每个节点 2 DBU x 0.55 美元/DBU = 1,100 美元
因此，总成本为 598 美元（VM 成本）+ 1,100 美元（DBU 成本）= 1,698 美元。
案例 2： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据工程工作负载的计费如下：
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据工程工作负载的 DBU 成本 —100 小时 x 10 个实例 x 每个节点 2 DBU x 0.30 美元/DBU = 600 美元
因此，总成本为 598 美元（VM 成本）+ 600 美元（DBU 成本）= 1,198 美元。
案例 3： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据工程轻型工作负载的计费如下:
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据工程轻型工作负载的 DBU 成本 —100 小时 x 10 个实例 x 每个节点 2 DBU x 0.22 美元/DBU = 440 美元
因此，总成本为 598 美元（VM 成本）+ 440 美元（DBU 成本）= 1,038 美元。
除了 VM 和 DBU 费用外，您还可能需要为托管磁盘、public IP 地址或任何其他资源（例如 Azure 存储、Azure Cosmos DB）付费，具体取决于您的应用程序。
我一直在阅读 Azure Databricks pricing details，但我找不到取决于集群是否 运行 spark 应用程序的成本之间是否存在任何差异。
我有一个 2 节点集群，用于上传 Spark 应用程序，该应用程序每小时计算某些元素并将结果存储在 Databricks table 中。 table 需要被外部 BI 应用程序访问，因此集群需要启动。假设集群 运行 整整一个小时，但只执行 Spark 应用程序 5 分钟，那么我对 5 分钟执行时间的收费是否与其他 55 分钟的收费不同？
如有任何帮助，我们将不胜感激。
这里不是真正的问题，
- 但假设您使用的是 'pay-as-go' 选项而不是 'reserved instances'，
- 您将按整小时支付计算资源和任何临时存储的费用。
任何保存到存储的东西都是连续付费的，但是很便宜。与 AWS 一样，'managed services' 成本更高。
注意： Azure Databricks 集群基于“VM 成本 + DBU 成本”而不是基于 运行 计费Spark 应用程序或任何笔记本 运行 或作业的时间。
您的案例： 如果您在 美国东部 2 运行 高级层集群 1 小时使用 2 个 DS13v2 实例，数据分析工作负载的计费如下：
- 2 个 DS13v2 实例的 VM 成本 — 1 小时 x 2 个实例 x 0.598 美元/小时 = 1.196 美元
- 2 个 DS13v2 实例的数据分析工作负载的 DBU 成本 — 1 小时 x 2 个实例 x 每个节点 2 DBU x 0.55 美元/DBU = 2.20 美元
- 总成本因此为 1.196 美元（VM 成本）+ 2.20 美元（DBU 成本）= 3.396 美元。
如果我的集群 运行 少于一个小时，我需要支付多少费用？
我们根据您的集群运行四舍五入到最接近的分钟而不是小时的分钟数收费。
能否举例说明计费方式？
根据您集群 运行 的工作负载类型，您需要为数据工程或数据分析工作负载付费。例如，如果集群 运行s 工作负载由 Databricks 作业调度程序触发，则您需要为数据工程工作负载付费。如果您的集群 运行 具有临时命令等交互功能，您将需要为数据分析工作负载付费。
案例 1： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据分析工作负载的计费如下：
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据分析工作负载的 DBU 成本 —100 小时 x 10 实例 x 每个节点 2 DBU x 0.55 美元/DBU = 1,100 美元
因此，总成本为 598 美元（VM 成本）+ 1,100 美元（DBU 成本）= 1,698 美元。
案例 2： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据工程工作负载的计费如下：
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据工程工作负载的 DBU 成本 —100 小时 x 10 个实例 x 每个节点 2 DBU x 0.30 美元/DBU = 600 美元
因此，总成本为 598 美元（VM 成本）+ 600 美元（DBU 成本）= 1,198 美元。
案例 3： 如果您 运行 高级层集群在美国东部 2 使用 10 个 DS13v2 实例 100 小时，数据工程轻型工作负载的计费如下:
10 个 DS13v2 实例的 VM 成本 —100 小时 x 10 个实例 x 0.598 美元/小时 = 598 美元
10 个 DS13v2 实例的数据工程轻型工作负载的 DBU 成本 —100 小时 x 10 个实例 x 每个节点 2 DBU x 0.22 美元/DBU = 440 美元
因此，总成本为 598 美元（VM 成本）+ 440 美元（DBU 成本）= 1,038 美元。
除了 VM 和 DBU 费用外，您还可能需要为托管磁盘、public IP 地址或任何其他资源（例如 Azure 存储、Azure Cosmos DB）付费，具体取决于您的应用程序。