Fatal编程技术网
  • mysql/
  • 如何在Spark中将数据从csv加载到mysql数据库？

如何在Spark中将数据从csv加载到mysql数据库？

mysql scala csv apache-spark jdbc

如何在Spark中将数据从csv加载到mysql数据库？,mysql,scala,csv,apache-spark,jdbc,Mysql,Scala,Csv,Apache Spark,Jdbc,我想将数据从csv批量加载到mySql。但我可以看到将数据从csv插入hive数据库的教程/逻辑。有谁能帮我使用scala在spark中实现上述集成吗？这些教程不存在是有原因的。这项任务非常简单。以下是最简单的工作示例： val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]" spark .read .format("csv") .option("header", "true"

我想将数据从csv批量加载到mySql。但我可以看到将数据从csv插入hive数据库的教程/逻辑。有谁能帮我使用scala在spark中实现上述集成吗？

这些教程不存在是有原因的。这项任务非常简单。以下是最简单的工作示例：

val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]"

spark
  .read
    .format("csv")
    .option("header", "true")
    .load("some/path/to/file.csv")
  .write
    .mode("overwrite")
    .jdbc(dbStr, tablename, props)
使用spark会话创建
dataframe
读取
CSV
，并使用
jdbc
方法和
mysql
连接属性进行写入

val url = "jdbc:mysql://[host][:port][/[database]]"
val table = "mytable"
val property = new Properties()

spark
  .read
    .csv("some/path/to/file.csv")
  .write
    .jdbc(url, table, property)
你做这件事遇到了什么问题？您能够与mysql建立JDBC连接吗？然后，您可以在数据集上
编写（“jdbc”）
。重复，您可以找到许多文档@cricket_007现在我可以将csv中的所有数据作为数据帧。但我有点困惑，加载相同的数据帧以将其插入mysql数据库。您可以
df。将
写入新源
jdbc
是格式化方法。给它你的数据库选项