Apache spark 谷歌云存储桶拷贝

Apache spark 谷歌云存储桶拷贝,apache-spark,hadoop,google-cloud-storage,bucket,Apache Spark,Hadoop,Google Cloud Storage,Bucket,我在GCS有两个水桶。每个水桶都有一张桌子。 我想使用JavaSpark将bucket的内容复制到Hadoop中。可以通过GCS Hadoop连接器吗 地面军事系统的定价取决于作战数量及其等级(A或B),我如何估计所需的作战数量?例如,复制表内容的操作数是否等于字段数(列数*行数),或者是否有其他计算方法?操作取决于Spark启动的执行器数和写入的文件数。如果压缩输出,文件会减少,但内容相同谢谢@cricket_007我将有两个表,每个存储桶中有一个,我只使用GCS作为临时缓冲区,将表复制到ha

我在GCS有两个水桶。每个水桶都有一张桌子。 我想使用JavaSpark将bucket的内容复制到Hadoop中。可以通过GCS Hadoop连接器吗


地面军事系统的定价取决于作战数量及其等级(A或B),我如何估计所需的作战数量?例如,复制表内容的操作数是否等于字段数(列数*行数),或者是否有其他计算方法?

操作取决于Spark启动的执行器数和写入的文件数。如果压缩输出,文件会减少,但内容相同谢谢@cricket_007我将有两个表,每个存储桶中有一个,我只使用GCS作为临时缓冲区,将表复制到hadoop系统中。