在 Java 中合并多个文件并写入没有重复的新文件
Combine multiple files and write to new file without duplicates in Java
我有 2 个文件，内容如下
file1.txt
stack 1
overflow 2
frequency 4
file2.txt
stack 2
overflow 1
terms 5
我想像这样合并多个文件并创建一个具有以下输出的新文件
final.txt
stack 3
overflow 3
terms 5
frequency 4
注意：文件很大
任何人都可以帮助什么是最好的方法吗？
你可以试试Spark。 Spark 建立在分布式数据集的概念之上，其中包含任意 Java 或 Python 对象。您从外部数据创建数据集，然后对其应用并行操作。
我有 2 个文件，内容如下
file1.txt
stack 1
overflow 2
frequency 4
file2.txt
stack 2
overflow 1
terms 5
我想像这样合并多个文件并创建一个具有以下输出的新文件
final.txt
stack 3
overflow 3
terms 5
frequency 4
注意：文件很大
任何人都可以帮助什么是最好的方法吗？
你可以试试Spark。 Spark 建立在分布式数据集的概念之上，其中包含任意 Java 或 Python 对象。您从外部数据创建数据集，然后对其应用并行操作。