寻找云功能替代品——Kafka

Question

各位，

我们正在为大学做一个项目。该项目应该 运行 在云中并且具有高度可扩展性。我们将所有功能外包给 Google Cloud Functions，效果很好。现在我们正在寻找更适合我们的用例或可以更好地扩展的替代实现。

这就是为什么我们正在寻找一些不同的方法来解决这个用例： 它是一个网络抓取工具，来自不同用户的许多并行请求进入该系统。然后系统从不同的网站并行抓取数据并解析内容。随后，将结果重新组合并发送回用户。我在这里描述为 "the system" 的是大量正在发挥作用的云功能/微服务。

我没有使用Kafka的经验，但是我们考虑过使用流处理。我们应该考虑其他框架吗？有什么建议吗？

提前致谢！

Answer 1

对于您所描述的内容，您应该检查：

1. Google App Engine
2. Google Kuberneted Engine
3. Google Cloud Run

所有 3 种产品都应该适合您的用例，但每个都有自己的 pros/cons。

阅读每一个的描述后and/or观看介绍视频，您应该能够确定哪一个最适合您。