如何从多个 SQL 文件创建 SQL table？

Question

以上所有解释都是在 ETL 过程的上下文中进行的。我有一个 git 存储库，里面装满了 sql 个文件。我需要将所有这些 sql 文件（一旦拉出）放入具有 2 列的 sql table 中：名称和查询，以便稍后我可以使用 [=22 访问每个文件=] 查询而不是从文件路径加载它们。我该怎么做？我可以自由使用我想要的工具，但我只知道 python 和 Pentaho。

也许假设此方法比简单地访问位于硬盘驱动器中的拉文件需要更少的计算时间是错误的。在那种情况下让我知道。

Answer 1

您可以首先定义您感兴趣的 table 使用类似的东西（您没有提到您正在使用的数据库）：

CREATE TABLE queries (
  name  TEXT PRIMARY KEY,
  query TEXT
);

创建 table 后，您可以使用 os.walk 遍历存储库中的文件，并插入内容（例如 file.read()）和文件名文件到您之前创建的table。

不过听起来您正在尝试解决其他问题。您似乎对加快某些过程感兴趣，因为您询问使用 table 访问查询是否比打开磁盘上的文件更快。要进一步调查该（单独的！）问题，请参阅 this。

我建议您使用分析工具分析您正尝试加速的现有流程。之后，您可以查看 IO 是否是您的瓶颈。否则，您可能会在没有任何好处的情况下完成所有这些工作。

附带说明一下，如果您以这种方式查找查询，则可能表明您需要重新设计您的应用程序。也请考虑这种可能性。

如何从多个 SQL 文件创建 SQL table？

How to create a SQL table from several SQL files?

python

sql

database

automation

etl