使用cudf读取巨大的csv文件

我试图读取一个巨大的csv文件CUDF，但内存问题

import cudf
cudf.set_allocator("managed")
cudf.__version__
user_wine_rate_df = cudf.read_csv('myfile.csv',
                                 sep = "\t",
                                 parse_dates = ['created_at'])


'0.17.0a+382.gbd321d1e93'

terminate called after throwing an instance of 'thrust::system::system_error'
  what():  parallel_for failed: cudaErrorIllegalAddress: an illegal memory access was encountered
Aborted (core dumped)

如果我删除

cudf.set\u分配器（“托管”）

我明白了

我通过

rapidsai/rapidsai:cuda11.0-runtime-ubuntu16.04-py3.8使用CUDF

我想知道是什么原因导致了我的记忆力下降，而我可以和熊猫一起阅读这个大文件

**更新

我安装了dask_cudf

并且使用了
dask\u cudf.read\u csv（'myfile.csv'）
——但是仍然可以得到

parallel\u for failed:cudaErrorIllegalAddress:遇到非法内存访问
如果您正在读取的文件大于可用内存，那么当cuDF在单GPU上运行时，您将观察到OOM（内存不足）错误。
为了读取非常大的文件，我建议使用。
如果您正在读取的文件大于可用内存，那么当cuDF在单GPU上运行时，您将观察到OOM（内存不足）错误。
为了读取非常大的文件，我建议使用。
查看Nick Becker关于读取大于GPU内存文件的介绍。这应该会让你走上正轨。
查看Nick Becker关于读取大于GPU内存文件的介绍。这应该会让你上路。
你有问题吗？你有问题吗？谢谢，我刚刚安装并使用了dask_cudf.read_csv（'example_output/*.csv'））-但仍然获得并行_for failed:cudaerrorillegaddress:遇到非法内存访问-感谢您的帮助请您通过发布客户端安装代码提供更多信息我有一个RTX2070 super使用rapidsai/rapidsai:cuda11.0-runtime-ubuntu16.04-py3.8 docker，我可以在github中执行示例代码页我应该在这里向您提供什么样的信息？谢谢，我刚刚安装并使用了dask_cudf.read_csv（'example_output/*.csv'）-但仍然获得并行_for failed:cudaerrorillegaddress:遇到非法内存访问-感谢您的帮助请您通过发布客户端安装代码提供更多信息我有一个RTX2070 super使用rapidsai/rapidsai:cuda11.0-runtime-ubuntu16.04-py3.8 docker，我可以在github中执行示例代码页我应该在这里向您提供什么样的信息？谢谢
MemoryError: std::bad_alloc: CUDA error at: /opt/conda/envs/rapids/include/rmm/mr/device/cuda_memory_resource.hpp:69: cudaErrorMemoryAllocation out of memory