Storm-crawler 和 Elasticsearch 版本

Question

我正在努力获取与 Storm-crawler 一起使用的最新版本的 ES (5x)。

我做了上面提到的 here, I cloned the repo, mvn clean install to build and then I entered all the mvn commands mentioned here 并且一切正常。

我感到困惑的是 pom.xml 文件，对于 version number:

<dependency>
        <groupId>com.digitalpebble.stormcrawler</groupId>
        <artifactId>storm-crawler-elasticsearch</artifactId>
        <version>1.4</version>
    </dependency>

我是在那里输入 1.5 还是保留为 1.4？我仍在尝试使用 Maven 和 Java 构建过程以及所有方面变得更好。

Answer 1

你必须保持1.4版本，因为这是storm-crawler-elasticsearch插件的最新版本。

Answer 2

如果您在本地 post 上构建项目，请克隆存储库。

你试试

mvn archetype:generate -DarchetypeGroupId=com.digitalpebble.stormcrawler -DarchetypeArtifactId=storm-crawler-archetype -DarchetypeVersion=1.5-SNAPSHOT

然后您可以进一步编辑 pom.xml 并将 Elasticsearch 模块的依赖项添加为 -

<dependency>
    <groupId>com.digitalpebble.stormcrawler</groupId>
    <artifactId>storm-crawler-elasticsearch</artifactId>
    <version>1.5-SNAPSHOT</version>
</dependency>

Answer 3

StormCrawler 1.5 应该很快就会发布，根据@nullpointer 的建议，您需要将版本更改为 1.5-SNAPSHOT；该教程基于使用 ES 2.x

的 SC 1.4

有关升级到 ES5 时的潜在问题，请参阅 blog。

Storm-crawler 和 Elasticsearch 版本

Storm-crawler and Elasticsearch version

web-crawler

maven

elasticsearch

stormcrawler