Java 8 - 读取和存储在 REST 服务中接收的文件的最佳方式

Question

我想要一个用户可以在前端上传 csv 文件的应用程序 (Angular)。我想要一个休息服务来读取它，然后将文件作为 BLOB 存储到 Oracle 数据库中。

对于 REST 服务，我将收到一个 MultipartFile 对象：

@PostMapping(value = "/upload")
public String processUploadFile(@RequestParam MultipartFile file) {
    // Call to a service 
}

对于实体，它将是这样的：

@Entity
@DynamicUpdate
@Table(name = "FILE_UPLOAD")
public class FileUploadEntity implements Serializable {

    @Id
    @Column(name = "ID")
    private Long id;

    @Column(name = "BLOB")
    @Lob
    private Blob blob;
    
    // ...
}

我看到我有 getInputStream() 和 getBytes() 方法。

逐行读取 CSV 文件进行处理然后在处理成功且没有错误的情况下存储它的最佳和优化方法是什么？

Answer 1

为了逐行处理 csv 文件，您可以使用以下库中的任何一个：

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
</dependency>

或

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-csv</artifactId>
</dependency>

假设您的 csv 行代表某个 DTO 对象 YourDtoClass。使用这些库的示例（确保根据您的需要进行自定义）：

import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvParser;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;
import com.opencsv.CSVParserBuilder;
import com.opencsv.ICSVParser;
...

@PostMapping(value = "/upload", consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
public void processUploadFile(@RequestParam MultipartFile file) throws IOException {
    // option #1. using `opencsv` library
    ICSVParser parser = new CSVParserBuilder()
            .withQuoteChar(ICSVParser.DEFAULT_QUOTE_CHARACTER)
            .build();
    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(file.getInputStream(), UTF_8));
    bufferedReader.lines()
            .forEach(line -> {
                // process line...
                log.info("line has been processed");
            });

    // option #2. using `jackson-dataformat-csv` library
    List<YourDtoClass> list = readCsv(YourDtoClass.class, file.getInputStream());
}

public <T> List<T> readCsv(Class<T> clazz, InputStream stream) throws IOException {
    CsvMapper mapper = new CsvMapper();
    CsvSchema schema = mapper.schemaFor(clazz)
            .withoutHeader()
            .withColumnSeparator(CsvSchema.DEFAULT_COLUMN_SEPARATOR)
            .withArrayElementSeparator(CsvSchema.DEFAULT_ARRAY_ELEMENT_SEPARATOR)
            .withNullValue(StringUtils.EMPTY)
            .withoutEscapeChar();
    return mapper
            .readerFor(clazz)
            .with(CsvParser.Feature.TRIM_SPACES)
            .with(CsvParser.Feature.SKIP_EMPTY_LINES)
            .with(schema)
            .<T>readValues(stream)
            .readAll();
}

// your csv line represents this DTO class
class YourDtoClass {
    private String name;
    private String surname;
    // ...
}

如果您需要将 csv 文件保存到数据库中，您可以 convert InputStream into byte array and 。

实际上，InputStream 不能被处理两次，但是有一些变通方法，其中之一 - 将 InputStream 存储到一个临时文件中，之后，您可以从中读取数据多次临时文件。

File tempFile = File.createTempFile(prefix, suffix);
FileUtils.copyInputStreamToFile(inputStream, tempFile); // from `org.apache.commons.io`

并且在对临时文件进行操作后，确保将其删除。

Java 8 - 读取和存储在 REST 服务中接收的文件的最佳方式

Java 8 - Best way to read and store a file received in REST service

java

spring

file-upload

spring-boot