Python 读取拼花地板数据时出现类型错误
我有一个名为Python 读取拼花地板数据时出现类型错误,python,pandas,dask,parquet,Python,Pandas,Dask,Parquet,我有一个名为data.parquet的拼花文件。我正在使用Python中的库dask。当我排队的时候 import dask.dataframe as dd df = dd.read_parquet('data.parquet',engine='pyarrow') 我得到了错误 TypeError Traceback (most recent call last) <ipython-input-22-807fa43763c1
data.parquet
的拼花文件。我正在使用Python中的库dask
。当我排队的时候
import dask.dataframe as dd
df = dd.read_parquet('data.parquet',engine='pyarrow')
我得到了错误
TypeError Traceback (most recent call last)
<ipython-input-22-807fa43763c1> in <module>
----> 1 df = dd.read_parquet('data.parquet',engine='pyarrow')
~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in read_parquet(path, columns, filters, categories, index, storage_options, engine, infer_divisions)
1395 categories=categories,
1396 index=index,
-> 1397 infer_divisions=infer_divisions,
1398 )
1399
~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in _read_pyarrow(fs, fs_token, paths, columns, filters, categories, index, infer_divisions)
858 _open = lambda fn: pq.ParquetFile(fs.open(fn, mode="rb"))
859 for piece in dataset.pieces:
--> 860 pf = piece.get_metadata(_open)
861 # non_empty_pieces.append(piece)
862 if pf.num_row_groups > 0:
TypeError: get_metadata() takes 1 positional argument but 2 were given
TypeError回溯(最近一次调用)
在里面
---->1 df=dd.read_拼花地板('data.parquet',engine='pyarrow')
读取拼花地板中的~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py(路径、列、过滤器、类别、索引、存储选项、引擎、推断分区)
1395个类别=类别,
1396索引=索引,
->1397推断分割=推断分割,
1398 )
1399
~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in\u read\u pyarrow(fs、fs\u标记、路径、列、筛选器、类别、索引、推断分区)
858 _open=lambda fn:pq.ParquetFile(fs.open(fn,mode=“rb”))
859对于dataset.pieces中的工件:
-->860 pf=piece.get_元数据(_打开)
861#非#空#件。追加(件)
862如果pf.num_行组>0:
TypeError:get_metadata()接受1个位置参数,但提供了2个
我只是不明白为什么会发生这种情况,因为这就是它的实现方式
任何帮助都将不胜感激 您使用的是哪个版本的pyarrow和dask?请更新至最新版本。