并行为 运行 数千个容器提供云计算服务
Cloud computing service to run thousands of containers in parallel
是否有提供这种开箱即用选项的提供商?我需要 运行 至少 1K 个无头网络浏览器 (firefox) 的并发会话(docker 容器)来进行复杂的 UI 测试。我有一个 Docker 图像,我只想在一秒钟内部署并扩展到 1000 个 1CPU/1GB 实例,w/o 花时间维护服务器集群(我需要在工作后将它们全部关闭已完成),只需关注代码即可。到目前为止我发现的最接近的是 Amazon ECS/Fargate,但它们的限制对我来说毫无意义("Run containerized applications in production" -> 最大限制:50 个任务 -> 生产 -> ok)。我错过了什么吗?
您可以将 lambda 层用于 运行 无头浏览器(我知道 github 上的 chromium/selenium 有多种实现,Firefox 不确定)。
或者,您可以尝试联系 AWS 团队,看看 Fargate 上的并发任务限制可以提高多少。如你所愿see at the documentation,50任务是软限制,可以提高
请注意,如果您通过 Fargate 启动,每秒请求数有一些 API 限制。您需要确保 throttle your API calls or you use the ECS Create Service。
无论如何,启动 1000 个任务需要 1000 秒,这可能不是您所期望的。
如果您使用 ECS,则不存在这些限制,但在这种情况下,您需要管理集群,因此探索 lambda 选项可能是个好主意。
我认为 AWS Batch 可能是更适合您的用例的解决方案。您定义一个 "compute environment" 来提供一定级别的容量,然后在该计算环境上提交 运行 的任务。
我不认为您会在 "one second" 中找到任何可以启动环境和部署大量任务的东西:根据我的经验,大约需要一两分钟的启动时间对于 Batch,尽管一旦机器启动并 运行ning 他们就能够快速对作业进行排序。您还应该考虑同时 运行 所有 1,000 个作业是否有意义;这将取决于你想从测试中得到什么。
您还需要注意可能会受到限制的任何地方(例如,从 AWS Parameter Store 检索配置)。 This talk 来自去年的纽约峰会,涵盖了演讲者 运行 在部署数千个并发任务时遇到的一些问题。
是否有提供这种开箱即用选项的提供商?我需要 运行 至少 1K 个无头网络浏览器 (firefox) 的并发会话(docker 容器)来进行复杂的 UI 测试。我有一个 Docker 图像,我只想在一秒钟内部署并扩展到 1000 个 1CPU/1GB 实例,w/o 花时间维护服务器集群(我需要在工作后将它们全部关闭已完成),只需关注代码即可。到目前为止我发现的最接近的是 Amazon ECS/Fargate,但它们的限制对我来说毫无意义("Run containerized applications in production" -> 最大限制:50 个任务 -> 生产 -> ok)。我错过了什么吗?
您可以将 lambda 层用于 运行 无头浏览器(我知道 github 上的 chromium/selenium 有多种实现,Firefox 不确定)。
或者,您可以尝试联系 AWS 团队,看看 Fargate 上的并发任务限制可以提高多少。如你所愿see at the documentation,50任务是软限制,可以提高
请注意,如果您通过 Fargate 启动,每秒请求数有一些 API 限制。您需要确保 throttle your API calls or you use the ECS Create Service。
无论如何,启动 1000 个任务需要 1000 秒,这可能不是您所期望的。
如果您使用 ECS,则不存在这些限制,但在这种情况下,您需要管理集群,因此探索 lambda 选项可能是个好主意。
我认为 AWS Batch 可能是更适合您的用例的解决方案。您定义一个 "compute environment" 来提供一定级别的容量,然后在该计算环境上提交 运行 的任务。
我不认为您会在 "one second" 中找到任何可以启动环境和部署大量任务的东西:根据我的经验,大约需要一两分钟的启动时间对于 Batch,尽管一旦机器启动并 运行ning 他们就能够快速对作业进行排序。您还应该考虑同时 运行 所有 1,000 个作业是否有意义;这将取决于你想从测试中得到什么。
您还需要注意可能会受到限制的任何地方(例如,从 AWS Parameter Store 检索配置)。 This talk 来自去年的纽约峰会,涵盖了演讲者 运行 在部署数千个并发任务时遇到的一些问题。