我怎样才能得到大文件来做实验
how can i get large files to do experimentation
我完成了第一个 spark 应用程序的创建。为了了解它的性能,我需要大文件 (.csv) 来做一些测试和实验来监控我的应用程序,以便对其进行调整。
我们都知道数据的大小对结果有很大的影响,但我所有的files.csv都是小的,所以我不能相信或确认我得到的结果。
如何获取大文件?请帮助我
I need large sizes such:
10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....
1) 可以通过使用您喜欢的任何语言编写数据生成代码来生成大量数据,例如Java、C、C++。
2) Jmeter也是一个生成海量数据的工具,通常用于性能测试
希望能帮到你!!!..
我完成了第一个 spark 应用程序的创建。为了了解它的性能,我需要大文件 (.csv) 来做一些测试和实验来监控我的应用程序,以便对其进行调整。
我们都知道数据的大小对结果有很大的影响,但我所有的files.csv都是小的,所以我不能相信或确认我得到的结果。
如何获取大文件?请帮助我
I need large sizes such:
10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....
1) 可以通过使用您喜欢的任何语言编写数据生成代码来生成大量数据,例如Java、C、C++。
2) Jmeter也是一个生成海量数据的工具,通常用于性能测试
希望能帮到你!!!..