Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 按比例的DF.write.mode(“追加”)_Apache Spark - Fatal编程技术网

Apache spark 按比例的DF.write.mode(“追加”)

Apache spark 按比例的DF.write.mode(“追加”),apache-spark,Apache Spark,是用于写入数据库的SPARK SQL API系列,如下所示: DF.write.mode("append").jdbc(url, table, prop) 能大规模工作吗 或者是否有一段时间应该使用sqoop?一般来说,通过JDBC进行编写通常会受到目标系统功能的限制。一般来说,JDBC连接器不是为批量数据迁移而设计的,大多数供应商都有自己的、特定于平台的批量插入工具 像append这样的特定写入模式几乎没有影响 和往常一样,如果您对某个特定选择的性能影响有疑问,最好在您使用的平台上自己对其

是用于写入数据库的SPARK SQL API系列,如下所示:

 DF.write.mode("append").jdbc(url, table, prop)
能大规模工作吗


或者是否有一段时间应该使用sqoop?

一般来说,通过JDBC进行编写通常会受到目标系统功能的限制。一般来说,JDBC连接器不是为批量数据迁移而设计的,大多数供应商都有自己的、特定于平台的批量插入工具

append
这样的特定写入模式几乎没有影响


和往常一样,如果您对某个特定选择的性能影响有疑问,最好在您使用的平台上自己对其进行基准测试,这些数据反映了实际输入的属性,并使用了与实际输入相当的资源,您可以在生产中使用。

为了节省时间,可以向前看。我曾经是DBA等,所以这很好。我想知道在水下会发生什么-只是插入或批量插入,或者在ORACLE的情况下是生成的某些脚本-找不到这个。也许我是一个不好看的人,像append这样的特定写作模式几乎没有影响我不确定我是否得到了这句话,我认为对于繁重的中间书写-因此不是批量迁移-应该可以。理解目标系统是瓶颈,但它取决于水下发生了什么,可以说,不是吗?