SSIS Excel/CSV 从 Sharepoint 到 SQL 服务器
SSIS Excel/CSV from Sharepoint to SQL Server
我需要从 Sharepoint 获取 Excel/CSV 个文件并将它们放入 SQL 服务器上的 table。
我希望这些包能够自动部署,因此只要有人在特定 folder/subfolder 中放入新的 excel 文件,它就会将其发送到我的数据库中。
有没有办法不在本地下载文件,而只从共享点本身传输?我已经知道如何在本地获取 excel 文件并通过 SSIS 将其导入。
想法是让对 SQL 服务器和 SSIS 一无所知的人只需将 excel 文件上传到共享点即可导入数据。
我做了一个类似的场景,但不是用共享点,我是从本地目录收听的。希望这个答案能让您走上正确的道路。
我认为您必须 use/build 一个侦听特定文件夹的应用程序,当添加 excel 文件时,它会使用 dtexec 实用程序执行包。
您可以参考以下链接了解更多信息:
如果您处于基于云的环境中,您的需求可以通过 Microsoft Flow 在 Office 365 中处理,也可以在 Azure 中使用逻辑应用程序处理(它们都使用相同的引擎)。它本质上是连接器和任务的无代码配置。
在 MS Flow 中,添加 SharePoint 连接器并将其设置为在 SharePoint 目录中添加或更新文件时触发流。这在界面中将相当直观。
然后您需要添加一个步骤,将文件下载到用户的 OneDrive,以便可以打开和访问它。我直接下载到 OneDrive 根目录,然后在流程中处理数据后删除文件。这有点迂回,但目前没有使用 Flow 或逻辑应用程序(据我所知)直接访问 SharePoint 文件的功能。
创建一个处理 OneDrive 文件的步骤,使用 GetRows 操作来处理文件中的每一行。
在 GetRows 操作的循环中,您建立一个 SQL 服务器连接并连接一个 INSERT 查询或调用一个存储过程来加载 SQL table.
如果需要,您还可以向用户列表发送 Pass/Fail 电子邮件。
我正在简化解决方案,但一旦您熟悉了 Flow/Logic 应用程序界面,它就会相对直观。通过界面的一些特性需要一些头脑,它有其局限性,但最终我通过了它并且它像一个魅力一样工作。此外,由于 Flow/Logic Apps 每 5 分钟左右轮询一次 SharePoint 文件夹以查找 new/modified 文件,有时在处理流程之前最多需要 5 分钟,所以如果您需要即时,这是一个缺点结果。
我需要从 Sharepoint 获取 Excel/CSV 个文件并将它们放入 SQL 服务器上的 table。
我希望这些包能够自动部署,因此只要有人在特定 folder/subfolder 中放入新的 excel 文件,它就会将其发送到我的数据库中。
有没有办法不在本地下载文件,而只从共享点本身传输?我已经知道如何在本地获取 excel 文件并通过 SSIS 将其导入。
想法是让对 SQL 服务器和 SSIS 一无所知的人只需将 excel 文件上传到共享点即可导入数据。
我做了一个类似的场景,但不是用共享点,我是从本地目录收听的。希望这个答案能让您走上正确的道路。
我认为您必须 use/build 一个侦听特定文件夹的应用程序,当添加 excel 文件时,它会使用 dtexec 实用程序执行包。
您可以参考以下链接了解更多信息:
如果您处于基于云的环境中,您的需求可以通过 Microsoft Flow 在 Office 365 中处理,也可以在 Azure 中使用逻辑应用程序处理(它们都使用相同的引擎)。它本质上是连接器和任务的无代码配置。
在 MS Flow 中,添加 SharePoint 连接器并将其设置为在 SharePoint 目录中添加或更新文件时触发流。这在界面中将相当直观。
然后您需要添加一个步骤,将文件下载到用户的 OneDrive,以便可以打开和访问它。我直接下载到 OneDrive 根目录,然后在流程中处理数据后删除文件。这有点迂回,但目前没有使用 Flow 或逻辑应用程序(据我所知)直接访问 SharePoint 文件的功能。
创建一个处理 OneDrive 文件的步骤,使用 GetRows 操作来处理文件中的每一行。
在 GetRows 操作的循环中,您建立一个 SQL 服务器连接并连接一个 INSERT 查询或调用一个存储过程来加载 SQL table.
如果需要,您还可以向用户列表发送 Pass/Fail 电子邮件。
我正在简化解决方案,但一旦您熟悉了 Flow/Logic 应用程序界面,它就会相对直观。通过界面的一些特性需要一些头脑,它有其局限性,但最终我通过了它并且它像一个魅力一样工作。此外,由于 Flow/Logic Apps 每 5 分钟左右轮询一次 SharePoint 文件夹以查找 new/modified 文件,有时在处理流程之前最多需要 5 分钟,所以如果您需要即时,这是一个缺点结果。