Pandas 带结构的拼花地板(非阵列)
打电话给Pandas 带结构的拼花地板(非阵列),pandas,pyarrow,Pandas,Pyarrow,打电话给 pd.read_parquet('foo.parquet') 在以下情况下失败: ArrowInvalid: Chunked field reads not yet supported with StructArray 鉴于 spark.read.parquet('foo.parquet').printSchema() 很好用 注意:它不包含任何数组,只是一个简单的结构: root |-- id: string (nullable = true) ... |-- foo: s
pd.read_parquet('foo.parquet')
在以下情况下失败:
ArrowInvalid: Chunked field reads not yet supported with StructArray
鉴于
spark.read.parquet('foo.parquet').printSchema()
很好用
注意:它不包含任何数组,只是一个简单的结构:
root
|-- id: string (nullable = true)
...
|-- foo: struct (nullable = true)
| |-- baz: string (nullable = true)
| |-- bar: double (nullable = true)
|-- bar: struct (nullable = true)
| |-- baz: string (nullable = true)
| |-- bar: double (nullable = true)
有没有一种方法可以不用借助spark就能阅读熊猫的结构
编辑
这与
但是,我已经在使用最新的0.12版本,仍然面临这个问题