Scala 中 OutOfMemoryError 的原因是什么？

Question

我才刚刚开始学习 Scala，来自 Python。我正在尝试在 Scala 中执行基本的文件处理任务。任务是使用正则表达式从数据文件中删除 "[ ... ]" 之类的子字符串。该脚本成功处理了前几个文件，然后抛出 java.lang.OutOfMemoryError: Java heap space 错误。发生错误的数据文件大约为 70MB，我有 16GB 的 RAM 可供使用。（前面6个文件的文件大小<100Kb，第一个例外：5.5MB）。

我的问题是：是什么导致了 OutOfMemoryError、以及我如何改变我的方法来防止它发生？ 我不明白为什么会这样。我对调试内存错误的经验很少，因为 Python 在内存管理方面相对宽容。

非常欢迎任何关于编码风格或我使用的方法的额外评论 - 我渴望学习。

Regexer.scala:

import scala.io.Source 
import java.io._

object Regexer {

  def main(args: Array[String]): Unit = {

    val filenames = Source.fromFile("all_files.txt").getLines()

    for (fn <- filenames) {

        val datafile:String = Source.fromFile(fn).mkString

        val new_data:String = datafile.replaceAll(raw"\[.*?\]", "")

        val file = new File(fn)         
        val bw = new BufferedWriter(new FileWriter(file))
        bw.write(new_data)
        bw.close()


    }   
  } 
}

all_files.txt 是一个包含所有要处理的文件的路径的文件（因为它们位于子目录中）。

最后，执行时抛出的完整错误信息：

java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:596)
    at java.lang.StringBuilder.append(StringBuilder.java:190)
    at scala.collection.mutable.StringBuilder.appendAll(StringBuilder.scala:249)
    at scala.io.BufferedSource.mkString(BufferedSource.scala:97)
    at Regexer$$anonfun$main.apply(Regexer.scala:12)
    at Regexer$$anonfun$main.apply(Regexer.scala:10)
    at scala.collection.Iterator$class.foreach(Iterator.scala:893)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
    at Regexer$.main(Regexer.scala:10)
    at Regexer.main(Regexer.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at scala.reflect.internal.util.ScalaClassLoader$$anonfun$run.apply(ScalaClassLoader.scala:70)
    at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
    at scala.reflect.internal.util.ScalaClassLoader$URLClassLoader.asContext(ScalaClassLoader.scala:101)
    at scala.reflect.internal.util.ScalaClassLoader$class.run(ScalaClassLoader.scala:70)
    at scala.reflect.internal.util.ScalaClassLoader$URLClassLoader.run(ScalaClassLoader.scala:101)
    at scala.tools.nsc.CommonRunner$class.run(ObjectRunner.scala:22)
    at scala.tools.nsc.ObjectRunner$.run(ObjectRunner.scala:39)
    at scala.tools.nsc.CommonRunner$class.runAndCatch(ObjectRunner.scala:29)
    at scala.tools.nsc.ObjectRunner$.runAndCatch(ObjectRunner.scala:39)
    at scala.tools.nsc.MainGenericRunner.runTarget(MainGenericRunner.scala:65)
    at scala.tools.nsc.MainGenericRunner.run(MainGenericRunner.scala:87)
    at scala.tools.nsc.MainGenericRunner.process(MainGenericRunner.scala:98)
    at scala.tools.nsc.MainGenericRunner$.main(MainGenericRunner.scala:103)
    at scala.tools.nsc.MainGenericRunner.main(MainGenericRunner.scala)

Answer 1

不要尝试完全加载文件

val datafile:String = Source.fromFile(fn).mkString //this should be the culprit.

同时尝试增加 JVM 的堆大小，以防无法逐行处理。

Answer 2

您的计算机上可能有 16Gib，但这并不意味着 JVM 可以使用所有这些。 Scala 代码（通常）在 Java 虚拟机 (JVM) 中运行，它有自己的内存。您可用的默认内存量对于您的程序来说可能太低了。可以使用 -Xmx 选项设置进程的最大可用内存。尝试 java -Xmx1024m Regexer 或 java -Xmx2g Regexer 之类的东西，或者你认为应该工作的内存。如果在增加处理文件所需的可用内存后问题仍然存在，那么可能存在内存泄漏，或者需要优化算法。

在您的特定情况下，与其将整个文件加载到内存中，不如考虑逐行处理或其他一些缓冲量，以便在任何时候您只需要将文件的一小部分保留在内存中

Answer 3

要添加到 puhlen 答案，您可以逐行阅读文件：

import scala.io.Source
for(line <- Source.fromPath("myfile.txt").getLines())

Scala 中 OutOfMemoryError 的原因是什么？

What is the cause of OutOfMemoryError in Scala?

java

scala

heap-memory

out-of-memory