Neo4j 是否能够将数据存储在 HDFS 中?
Is Neo4j capable to store data in HDFS?
Q1:是否可以使用 HDFS 作为 Neo4j 的存储后端?
我的原始数据是 TB 大(2TB 到 3TB,仍在处理中因此无法准确判断有多少顶点和边缘),所以我很自然地担心 Neo4j 是否仍然适用于这种情况。我们当前的集群有 64 核 CPU,每个节点 128G RAM,而数据不能放在本地 HDD 中,除非图形可以存储在 HDFS 中。
Q2:Neo4j 是否会受益于 HA 集群模式的性能?
HA Cluster 是只在每个集群节点上分发副本,还是 Neo4j 并行运行查询以获得高性能?如果是后者,每个节点是否都持有整个图的副本(假设整个图真的很大)以减少网络 IO 开销?
提前致谢!
BR,
托德里奥
1) 应该可以,但是你需要像普通硬盘一样挂载hdfs。
但从我的角度来看这没有意义,因为那样I/O操作会很慢。如果拿SSD来比的话。
2) 它提高了性能,因为您可以使用多台机器(从机)进行读取操作。
- http://neo4j.com/docs/stable/ha-how.html
Q1:是否可以使用 HDFS 作为 Neo4j 的存储后端?
我的原始数据是 TB 大(2TB 到 3TB,仍在处理中因此无法准确判断有多少顶点和边缘),所以我很自然地担心 Neo4j 是否仍然适用于这种情况。我们当前的集群有 64 核 CPU,每个节点 128G RAM,而数据不能放在本地 HDD 中,除非图形可以存储在 HDFS 中。
Q2:Neo4j 是否会受益于 HA 集群模式的性能?
HA Cluster 是只在每个集群节点上分发副本,还是 Neo4j 并行运行查询以获得高性能?如果是后者,每个节点是否都持有整个图的副本(假设整个图真的很大)以减少网络 IO 开销?
提前致谢!
BR, 托德里奥
1) 应该可以,但是你需要像普通硬盘一样挂载hdfs。
但从我的角度来看这没有意义,因为那样I/O操作会很慢。如果拿SSD来比的话。
2) 它提高了性能,因为您可以使用多台机器(从机)进行读取操作。 - http://neo4j.com/docs/stable/ha-how.html