Google 云中的自动缩放实例
Autoscaling instance in Google cloud
我有一个会定期增长的数据集。
我打算将数据存储到Google Bigquery中,然后我想使用Python和pandas做一些分析和数据转换,然后再把它放在Google 大查询。
我正在考虑使用云计算引擎实例从 Google Bigquery 获取数据。我会从一个小实例开始,随着数据的增长,使用一些云函数来计算数据的大小,例如 pandas 需要处理这些数据并检查我是否需要增加实例的能力,但不知道有没有更好的办法解决这个问题
我想知道 google 云中是否有一项服务能够自动扩展实例的能力,因为随着数据的增长,实例将需要更多的能力。
App 引擎可以做到吗?还是 App Engine 只能横向扩展添加更多 VM?
Cloud 运行,这是一项服务,我可以使用它来触发 运行 a docker,它将自动创建一个实例并将其扩展到能够处理数据?这是我可以使用的东西吗?
目前唯一可用的垂直自动缩放(增加 VM 的大小)是在 VM 仍处于活动状态时使用 pods in Google Kubernetes Engine. Otherwise, both app engine and compute engine only support horizontal autoscaling(添加更多 VM)。
尽管如果您的用例允许关闭 VM 以便在需要时增加机器大小,那么这是完全可能的。
我建议选择足够大的机器类型来容纳您的数据,或者使用实例组来分散您的工作负载,如果这在您的用例中。
我有一个会定期增长的数据集。
我打算将数据存储到Google Bigquery中,然后我想使用Python和pandas做一些分析和数据转换,然后再把它放在Google 大查询。
我正在考虑使用云计算引擎实例从 Google Bigquery 获取数据。我会从一个小实例开始,随着数据的增长,使用一些云函数来计算数据的大小,例如 pandas 需要处理这些数据并检查我是否需要增加实例的能力,但不知道有没有更好的办法解决这个问题
我想知道 google 云中是否有一项服务能够自动扩展实例的能力,因为随着数据的增长,实例将需要更多的能力。
App 引擎可以做到吗?还是 App Engine 只能横向扩展添加更多 VM?
Cloud 运行,这是一项服务,我可以使用它来触发 运行 a docker,它将自动创建一个实例并将其扩展到能够处理数据?这是我可以使用的东西吗?
目前唯一可用的垂直自动缩放(增加 VM 的大小)是在 VM 仍处于活动状态时使用 pods in Google Kubernetes Engine. Otherwise, both app engine and compute engine only support horizontal autoscaling(添加更多 VM)。 尽管如果您的用例允许关闭 VM 以便在需要时增加机器大小,那么这是完全可能的。 我建议选择足够大的机器类型来容纳您的数据,或者使用实例组来分散您的工作负载,如果这在您的用例中。