orientdb- ETL 导入与 java 自定义导入与嵌入式数据库

Question

我正在设计一个数据挖掘工具的原型，以从多个来源收集数据

1) MySQL 分贝 - 2,000,000 个顶点 20,000,000 个边 2）自定义数据文件- - 2,000,000 个顶点 700,000,000 个边 3）不同的自定义数据文件 - 300000 个顶点 500,000,000 个边

从性能的角度来看，使用 ETL 或带有嵌入式数据库的自定义 Java 加载器哪个更好？

将数据从自定义数据文件转换为 CSV 或 JSON

很容易

Answer 1

我是 ETL 维护者，除了输入数据格式外，我会关注您的数据集需要哪种类型的转换以及您需要移动数据多少次。

ETL 可配置为进行一些转换，您可以将它与 plocal 数据库一起使用以获得最大性能。如果您需要经常重新导入，或者非常复杂的转换，或者如果您的数据格式会不时变化，您可以编写自定义 java 程序。