Javascript 将拼花地板转换为常规TXT文件的最快方法是什么?

Javascript 将拼花地板转换为常规TXT文件的最快方法是什么?,javascript,python,module,parquet,Javascript,Python,Module,Parquet,我正在研究如何快速地将拼花文件格式转换为TXT格式 使用parquet tools cat parque_file>parque_file.txt尝试 但5KB文件需要2秒以上的时间 我相信这个工具会带来额外的开销。更快的方法是什么 (如果可能,请查看500ms解决方案)您可以尝试将Python与pandas和pyarrow结合使用: import pandas as pd df = pd.read_parquet('input.parquet') df.to_csv('out.csv', in

我正在研究如何快速地将拼花文件格式转换为TXT格式

使用
parquet tools cat parque_file>parque_file.txt尝试
但5KB文件需要2秒以上的时间

我相信这个工具会带来额外的开销。更快的方法是什么


(如果可能,请查看500ms解决方案)

您可以尝试将Python与pandas和pyarrow结合使用:

import pandas as pd
df = pd.read_parquet('input.parquet')
df.to_csv('out.csv', index=False)             # Exporting to CSV is easy
df.to_csv('out.txt', index=False, sep=' ')    # Text is just a tad more difficult
df.to_csv('out.txt', index=False, sep='\t')   # Alternatively, you can use tab separators
df.to_json('out.json')                        # Exporting to JSON is easy as well
请参阅相关API文档:

您还可以将上面的代码更改为使用fastparquet而不是pyarrow,并测试这是否会提高或降低性能。您只需修改读取拼花地板文件的行:

df = pd.read_parquet('input.parquet', engine = 'fastparquet')

别忘了先安装pandas、pyarrow和fastparquet,方法是发布
pip install pandas、Pyarow和fastparquet
(或类似,取决于您的包管理解决方案)。

为什么要使用javascript标记?我在项目中使用javascript,但如果有解决方案,则不一定需要JS。。