Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/performance/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Performance 如何获取大文件以进行实验_Performance_Csv_Testing_Apache Spark_Cluster Computing - Fatal编程技术网

Performance 如何获取大文件以进行实验

Performance 如何获取大文件以进行实验,performance,csv,testing,apache-spark,cluster-computing,Performance,Csv,Testing,Apache Spark,Cluster Computing,我完成了第一个spark应用程序的创建。为了了解它的性能,我需要大文件(.csv)来进行一些测试和实验,以监控我的应用程序,从而对其进行调优 我们都知道数据的大小对结果有严重影响,但我拥有的所有.csv文件都很小,因此我无法信任或确认我得到的结果 如何获取大文件?请帮帮我 我需要大尺寸的,比如: < P > 1)通过编写数据生成代码可以生成大量数据,如java、C++、C++、。 2) Jmeter也是一种生成巨大数据的工具,通常用于性能测试 希望这有帮助 您是否尝试搜索大型csv生成器?有一系

我完成了第一个spark应用程序的创建。为了了解它的性能,我需要大文件(.csv)来进行一些测试和实验,以监控我的应用程序,从而对其进行调优

我们都知道数据的大小对结果有严重影响,但我拥有的所有.csv文件都很小,因此我无法信任或确认我得到的结果

如何获取大文件?请帮帮我

我需要大尺寸的,比如:

< P > 1)通过编写数据生成代码可以生成大量数据,如java、C++、C++、

。 2) Jmeter也是一种生成巨大数据的工具,通常用于性能测试


希望这有帮助

您是否尝试搜索大型csv生成器?有一系列的服务…还有很多大型的CSV数据集,你可以下载2000年美国人口普查数据。好的,我会试试,谢谢
 10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....