Spark CSV：在不更改特定列的情况下将数据插入现有表

我想从每周公布的csv文件更新我的数据库。 到目前为止，我已经设法将一个csv文件插入到我的数据库中

我的问题是，我还有两个我不想碰的柱子。一个来自不同的CSV文件，另一个来自Solr_查询

那么我怎么能忽略这两列呢

示例（CSV文件）：

示例（表1是我的示例）：

示例（我想要的表2）

我的代码：

DataFrame DF = sqlContext
                        .read()
                        .format("csv")
                        .option("delimiter", ";")
                        .option("header", "true")
                        //mv .option("inferschema", "true")
                        .load("file:///home/2.csv");

query = "select firstname, lastname, city from mytable"

DataFrame letsgo = sqlContext.sql(query);

letsgo.write().mode(SaveMode.Append).saveAsTable("mytable");

当我有3列但我的表有5列时，它可以正常工作

---

我能做什么？

查询中可以包含其他空值列：

query = "select firstname, lastname, city, null as Age, null as SolrQuery from mytable"

---

试试这个letsgo.withColumn（“age”，lit（null:String））.withColumn（“solrquery”，lit（null:String））.write（）.mode（SaveMode.Append）.saveAsTable（“mytable”）；谢谢，但我不想碰Age和SolrQuery列。您的查询将更改Age和SolrQuery并将它们更改为null谢谢，但我不想涉及Age和SolrQuery列。您的查询更改年龄和SolrQuery并将其更改为Null您的初始数据集没有“年龄”和“SolrQuery”列，查询如何更改它们？猜猜看，你关于数据将如何处理的想法是错误的。也许，最好在第一个staging表中加载“2.csv”，在第二个表中使用“Age”和“SolrQuery”文件，然后通过查询连接第一个表和第二个表，并将结果存储在“mytable”中。

FisrtName-Lastname-City-Age-SolrQuery

DataFrame DF = sqlContext
                        .read()
                        .format("csv")
                        .option("delimiter", ";")
                        .option("header", "true")
                        //mv .option("inferschema", "true")
                        .load("file:///home/2.csv");

query = "select firstname, lastname, city from mytable"

DataFrame letsgo = sqlContext.sql(query);

letsgo.write().mode(SaveMode.Append).saveAsTable("mytable");

query = "select firstname, lastname, city, null as Age, null as SolrQuery from mytable"