Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/performance/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 将考拉数据帧转换为Spark数据帧是否有成本？_Python_Performance_Dataframe_Pyspark_Koala - Fatal编程技术网
Fatal编程技术网
  • python/
  • Python 将考拉数据帧转换为Spark数据帧是否有成本？

Python 将考拉数据帧转换为Spark数据帧是否有成本？

python performance dataframe pyspark

Python 将考拉数据帧转换为Spark数据帧是否有成本？,python,performance,dataframe,pyspark,koala,Python,Performance,Dataframe,Pyspark,Koala,我知道熊猫在“引擎盖下”使用字典中存储的numpy数组工作。相比之下，考拉使用的是底层的Spark框架。这是否意味着在考拉和Pypark数据帧之间来回切换不会产生额外的成本 #convert to pyspark dataframe df.to_spark() #convert to kolas frame koalas_df = ks.DataFrame(df)

我知道熊猫在“引擎盖下”使用字典中存储的numpy数组工作。相比之下，考拉使用的是底层的Spark框架。这是否意味着在考拉和Pypark数据帧之间来回切换不会产生额外的成本

#convert to pyspark dataframe
df.to_spark()

#convert to kolas frame
koalas_df = ks.DataFrame(df)