创建第一个数据管道

Create first data pipeline

我开始对大数据感兴趣了。我很想建立一个数据管道作为练习,你们知道任何好的 sources/sites/exercise 我可以创建一个数据管道来适应这个概念。我对任何技术都持开放态度。

嗯,这是一个广泛的领域,但您可以阅读一些重要的概念,例如数据收集、流式处理、处理、存储和分析。

您可以使用 AWS 服务更轻松地跟上进度。尝试使用 S3,导入一些 CSV 文件,使用 AWS Glue 使用 SQL.

查询该数据

对于技术水平较低的人,您可以阅读 AWS 无服务器服务,例如 Lambda、DynamoDB,它们需要较少的学习曲线。

AWS 有很好的示例:https://github.com/aws-samples

他们有很多有用的基础训练:https://aws.amazon.com/about-aws/whats-new/2019/06/new-digital-course-now-available-data-analytics-fundamentals/

Youtube 上有很多教程以及很多有用的主题。

祝你好运。