Hive 到 GCP BigQuery 同步
Hive to GCP BigQuery Sync
我们需要定期 (hourly/daily/any) 将数据从 Hive 表 (Hadoop) 移动到 GCP (Google Cloud Platform) BigQuery。表多，数据量大。您能否告诉我是否可以在这种情况下使用云数据流 (CDF)？还有其他选择吗？
提前致谢！
此致，
库马尔
根据您的时间尺度，有无数种解决方案，但其中任何一个或所有解决方案都涉及使用 gsutil 从 HDFS（到本地文件系统）复制数据，然后到 GCS。或者，您也可以使用 MySQL 备份并在 GCP
上恢复它们来开发解决方案
我们需要定期 (hourly/daily/any) 将数据从 Hive 表 (Hadoop) 移动到 GCP (Google Cloud Platform) BigQuery。表多，数据量大。您能否告诉我是否可以在这种情况下使用云数据流 (CDF)？还有其他选择吗？
提前致谢！
此致， 库马尔
根据您的时间尺度，有无数种解决方案，但其中任何一个或所有解决方案都涉及使用 gsutil 从 HDFS（到本地文件系统）复制数据，然后到 GCS。或者，您也可以使用 MySQL 备份并在 GCP
上恢复它们来开发解决方案