spark处理大文件的方法
The approache for precessing a large file on spark
当我在 spark 集群上处理一个大文件时，发生了内存不足的情况。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是好方法。我很好奇将大文件批量拆分成小文件是个不错的选择。所以我们可以批量处理小文件而不是大文件。
我遇到了OOM问题either.As spark使用内存来计算，数据，中间文件等都存储在memory.I认为缓存或持久化将是helpful.You可以设置存储级别为MEMORY_AND_DISK_SER.
当我在 spark 集群上处理一个大文件时，发生了内存不足的情况。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是好方法。我很好奇将大文件批量拆分成小文件是个不错的选择。所以我们可以批量处理小文件而不是大文件。
我遇到了OOM问题either.As spark使用内存来计算，数据，中间文件等都存储在memory.I认为缓存或持久化将是helpful.You可以设置存储级别为MEMORY_AND_DISK_SER.