How to fix java.lang.OutOfMemoryError: Java heap space error?

Question

我有一个大小为 32 MB 的文件，我已将其从 DocuShare 服务器下载到 DocuShare 临时文件夹。我正在尝试从中读取文件内容以创建文件。当我 URL 编码我的 base64 内容时出现错误。当我运行使用相同的代码一个简单的 java 应用程序时，我没有得到任何异常。但是当我在 DocuShare 服务中使用相同的代码来获取文档内容时，我得到了异常。 HTTP 状态 500 - org.glassfish.jersey.server.ContainerException: java.lang.OutOfMemoryError: Java 堆 space

org.glassfish.jersey.server.ContainerException:java.lang.OutOfMemoryError:Java堆space

File file = new File(filePath);
FileInputStream fileInputStreamReader = new FileInputStream(file);
byte[] bytes = new byte[(int)file.length()];
fileInputStreamReader.read(bytes);
String encodedBase64 = String encodedBase64 = java.util.Base64.getEncoder().encodeToString(bytes);
String urlEncoded = URLEncoder.encode(encodedBase64);

如何解决这个错误？我需要增加 tomcat 堆大小吗？

Answer 1

如果您有大文件，根据文件的大小，您总是会运行出现 OOM 错误。如果您的目标是使用 Apache Commons Base64 Streams 进行 base64 编码。

https://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/binary/Base64InputStream.html

Answer 2

您可以通过两种方式解决此问题。

您可以增加堆大小，但我认为这是一个糟糕的解决方案，因为如果您收到多个并行请求或尝试处理更大的文件，您将遇到同样的问题。

您可以优化您的算法 - 不是在内存中存储多个文件副本，您可以以流方式处理它，因此在内存中不超过几个 KB：

import java.io.InputStream;
import java.io.OutputStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.Base64;

public class Launcher {
    public static void main(String[] args) throws Exception {
        final Path input = Paths.get("example");
        final Path output = Paths.get("output");

        try (InputStream in = Files.newInputStream(input); OutputStream out = Base64.getUrlEncoder().wrap(Files.newOutputStream(output))) {
            final byte[] buffer = new byte[1024 * 8];

            for (int read = in.read(buffer); read > 0; read = in.read(buffer)) {
                out.write(buffer, 0, read);
            }
        }
    }
}

PS：如果你真的需要 URL 编码器，你必须创建它的流式版本，但我认为 URL-safe base64 会更好绰绰有余

Answer 3

Base64将每3个字节转换成4个字母。这意味着您可以分块读取数据并以与解码整个文件相同的方式对其进行解码。

试试这个：

       File file = new File(filePath);
       FileInputStream fileInputStreamReader = new FileInputStream(file);
       StringBuilder sb = new StringBuilder();
       Base64.Encoder encoder = java.util.Base64.getEncoder();
       int bufferSize = 3 * 1024; //3 mb is the size of a chunk
       byte[] bytes = new byte[bufferSize]; 
       int readSize = 0;

       while ((readSize = fileInputStreamReader.read(bytes)) == bufferSize) {
            sb.append(encoder.encodeToString(bytes));
       }

       if (readSize > 0) {
            bytes = Arrays.copyOf(bytes, readSize);
            sb.append(encoder.encodeToString(bytes) );
       }

       String encodedBase64  = sb.toString();

How to fix java.lang.OutOfMemoryError: Java heap space error?

How to fix java.lang.OutOfMemoryError: Java heap space error?

java

tomcat

jersey

out-of-memory

docushare