创建第一个数据管道
Create first data pipeline
我开始对大数据感兴趣了。我很想建立一个数据管道作为练习,你们知道任何好的 sources/sites/exercise 我可以创建一个数据管道来适应这个概念。我对任何技术都持开放态度。
嗯,这是一个广泛的领域,但您可以阅读一些重要的概念,例如数据收集、流式处理、处理、存储和分析。
您可以使用 AWS 服务更轻松地跟上进度。尝试使用 S3,导入一些 CSV 文件,使用 AWS Glue 使用 SQL.
查询该数据
对于技术水平较低的人,您可以阅读 AWS 无服务器服务,例如 Lambda、DynamoDB,它们需要较少的学习曲线。
AWS 有很好的示例:https://github.com/aws-samples
他们有很多有用的基础训练:https://aws.amazon.com/about-aws/whats-new/2019/06/new-digital-course-now-available-data-analytics-fundamentals/
Youtube 上有很多教程以及很多有用的主题。
祝你好运。
我开始对大数据感兴趣了。我很想建立一个数据管道作为练习,你们知道任何好的 sources/sites/exercise 我可以创建一个数据管道来适应这个概念。我对任何技术都持开放态度。
嗯,这是一个广泛的领域,但您可以阅读一些重要的概念,例如数据收集、流式处理、处理、存储和分析。
您可以使用 AWS 服务更轻松地跟上进度。尝试使用 S3,导入一些 CSV 文件,使用 AWS Glue 使用 SQL.
查询该数据对于技术水平较低的人,您可以阅读 AWS 无服务器服务,例如 Lambda、DynamoDB,它们需要较少的学习曲线。
AWS 有很好的示例:https://github.com/aws-samples
他们有很多有用的基础训练:https://aws.amazon.com/about-aws/whats-new/2019/06/new-digital-course-now-available-data-analytics-fundamentals/
Youtube 上有很多教程以及很多有用的主题。
祝你好运。