如何将 SQL 数据库中的表作为数据集自动发布到 CKAN

How to publish tables from SQL database as datasets automatically into CKAN

我正在为 uni 学生实施开放数据门户,这样他们就可以访问 uni 不同建筑物中生成的所有数据集,并且他们可以处理这些数据以开发有趣的应用程序。

我已经安装了CKAN。它工作正常。我也实现了收割机。

我主要担心的是: 大学有系统存储来自不同传感器的数据,如温度、光、噪声等。 该项目的目的是将存储在系统上的数据连接到 ckan,以便在存储在系统上的数据和开放数据平台之间同步数据。我尝试了几种来源类型的收获。

能否请您指导我可以帮助我连接到大学数据存储系统的最佳功能是什么。

uni 是否需要设置 web 服务器,我们可以通过 CKAN harvesting 连接 CKAN?

我们是否需要实施像 publicopendataeu 使用的新扩展(例如 opengov_se 等)来连接到不同的资源,或者我们可以使用现有的扩展?

你推荐大学用什么格式存储他们的数据? 当前数据存储为 SQL 数据库。

有什么方法可以将这些 SQL 表连接到 Ckan 并将这些表作为数据集导入吗?

一些建议:

  • 尝试this CKAN extension。这个想法是允许查看远程 SQL tables。上次我尝试它时没有成功,但看起来它最近更新过并声称与 CKAN 2.5 兼容。
  • 使用Datastore and Datastore API让底层sensors/datasource直接写入CKAN
  • 让当前系统直接写入 CKAN 数据存储 table(即忽略 API)。不太好,但如果您已经为数据库写入设置了所有内容,工作量可能会减少。您需要先创建初始 CKAN 数据集和资源(每个资源 1 SQL table)
  • (与上面类似)在数据库table之间创建一些优雅的mirroring/replication系统。如果两个数据库都是 Postgres,可能只有 possible/straightforward。
  • Harvesting 可以工作,但你必须编写你自己的 harvester queries/performs 从数据库中导出并 imports/updates 到 CKAN 资源
  • (与上面类似)独立脚本 queries/performs 使用 CKAN/CKAN 数据存储 API[=21= 从数据库导出并 imports/updates 到 CKAN 资源]