如何使用 Postgres 设置风暴爬虫？
How to setup storm crawler with Postgres?
我正在尝试使用 postgres sql 数据库设置 stormcrawler 作为后端。但是没有关于需要存在哪些表才能启动风暴爬虫的文档。
我需要什么表，它们有哪些列？或者有什么方法可以自动创建所需的表吗？
另外，如何在此模式下启动爬虫？因为我无法发送种子 url，就像爬虫拓扑示例一样。
请参阅 tableCreationScript. For the injection of URLs, you can either add them yourself to the table with an insert, as shown in this tutorial，或重新使用 elasticsearch 模块中的注入拓扑，并改为指定 mysql 模块中的 statusupdaterbolt。另一种方法可能是简单地将 MemorySpout 添加到与 SQLSpout 一起的拓扑中。
我正在尝试使用 postgres sql 数据库设置 stormcrawler 作为后端。但是没有关于需要存在哪些表才能启动风暴爬虫的文档。
我需要什么表，它们有哪些列？或者有什么方法可以自动创建所需的表吗？ 另外，如何在此模式下启动爬虫？因为我无法发送种子 url，就像爬虫拓扑示例一样。
请参阅 tableCreationScript. For the injection of URLs, you can either add them yourself to the table with an insert, as shown in this tutorial，或重新使用 elasticsearch 模块中的注入拓扑，并改为指定 mysql 模块中的 statusupdaterbolt。另一种方法可能是简单地将 MemorySpout 添加到与 SQLSpout 一起的拓扑中。