从大型CSV文件中提取的随机记录

从大型CSV文件中提取的随机记录,csv,Csv,我有50个CSV文件,每个文件中最多有200万条记录 我每天需要从50个文件中的每个文件中获取10000条随机记录,并用所有信息创建一个新的CSV文件(10000*50) 我不能手动操作,因为这会花费我很多时间,我也尝试过使用Access,但是,因为数据库比2G大,我不能使用它。 此外,我还尝试使用CSVed——一种很好的软件,但仍然没有帮到我 有人能提供一个想法/软件,以便从文件中获取随机记录并创建一个新的CSV文件吗?您可以使用多种语言,我会使用C#并这样做 1) 获取文件中的行数 2)

我有50个CSV文件,每个文件中最多有200万条记录

我每天需要从50个文件中的每个文件中获取10000条随机记录,并用所有信息创建一个新的CSV文件(10000*50)

我不能手动操作,因为这会花费我很多时间,我也尝试过使用Access,但是,因为数据库比2G大,我不能使用它。 此外,我还尝试使用CSVed——一种很好的软件,但仍然没有帮到我


有人能提供一个想法/软件,以便从文件中获取随机记录并创建一个新的CSV文件吗?

您可以使用多种语言,我会使用C#并这样做

1) 获取文件中的行数

2) 根据步骤1中的最大计数生成10000个随机数(如果需要,则唯一)

3) 从文件中提取步骤2中的记录并写入新文件

4) 对每个文件重复此操作


如果您想考虑除Access以外的数据库,其他选项是MySQL或SQLServer Express来命名一对。

< p>您可以使用多种语言,我将使用C语言,并执行此操作。< /P> 1) 获取文件中的行数

2) 根据步骤1中的最大计数生成10000个随机数(如果需要,则唯一)

3) 从文件中提取步骤2中的记录并写入新文件

4) 对每个文件重复此操作


如果您想考虑除Access以外的数据库,其他选项是MySQL或SQLServer Express来命名一对。

< p>您可以使用多种语言,我将使用C语言,并执行此操作。< /P> 1) 获取文件中的行数

2) 根据步骤1中的最大计数生成10000个随机数(如果需要,则唯一)

3) 从文件中提取步骤2中的记录并写入新文件

4) 对每个文件重复此操作


如果您想考虑除Access以外的数据库,其他选项是MySQL或SQLServer Express来命名一对。

< p>您可以使用多种语言,我将使用C语言,并执行此操作。< /P> 1) 获取文件中的行数

2) 根据步骤1中的最大计数生成10000个随机数(如果需要,则唯一)

3) 从文件中提取步骤2中的记录并写入新文件

4) 对每个文件重复此操作


如果您想考虑除Access之外的数据库,其他选项是MySQL或SQLServer Express来命名一对。

这与Excel无关,因为您将无法通过1M行的限制。另外,这对于另一个网站来说也是一个完美的问题。在awk的某些版本中,这不是很容易做到的吗?这与Excel无关,因为你不会通过~1M行的限制。另外,这对于另一个网站来说也是一个完美的问题。在awk的某些版本中,这不是很容易做到的吗?这与Excel无关,因为你不会通过~1M行的限制。另外,这对于另一个网站来说也是一个完美的问题。在awk的某些版本中,这不是很容易做到的吗?这与Excel无关,因为你不会通过~1M行的限制。另外,这对于另一个网站来说也是一个完美的问题。这在awk的某些版本中不是很容易做到的吗?