如何通过 aws glue 作业从本地 oracle 服务器上的 JDBC 数据库访问视图?

how to access a view from a JDBC database on on-prem oracle server by aws glue job?

我需要使用 AWS Glue 从本地 Oracle 数据库中提取视图。我可以成功地将爬虫指向数据库 tables。但是,如果我尝试将其指向数据库视图,则什么也不会发生。不幸的是,我们所有的数据都是在视图后面抽象出来的。这应该有效吗?

而且从 JDBC 数据库中提取 table 或视图时,是否总是必须先在 AWS Glue 数据目录中创建 table?

但是如果我尝试将其指向数据库视图,则没有任何反应。不幸的是,我们所有的数据都是在视图后面抽象出来的。这应该有效吗?

Unfortunately Glue crawler does not support crawling views.

并且从 JDBC 数据库中提取 table 或视图时,是否总是必须先在 AWS Glue 数据目录中创建 table?

Yes and no

如果您只想使用 Glue 本机 DynamicFrame,则必须先抓取 table 元数据并将其存储在 Glue 目录中。

如果您不担心 DynamicFrames,那么您可以利用 spark JDBC,您可以在其中阅读 tables 和 Glue job.For 中的视图,这不需要元数据存在于 Glue 目录中。请参阅 this and this 以了解有关通过 JDBC 将数据读取到 spark DataFrame 的更多信息。