Fatal编程技术网
  • sql/
  • Sql DropNA返回的Spark数据帧上的特殊字符异常

Sql DropNA返回的Spark数据帧上的特殊字符异常

sql scala apache-spark dataframe

Sql DropNA返回的Spark数据帧上的特殊字符异常,sql,scala,apache-spark,dataframe,apache-spark-sql,Sql,Scala,Apache Spark,Dataframe,Apache Spark Sql,我使用Scala中的na.drop返回一个具有非null和非特殊字符的新数据帧。 当我对数据帧进行RDD转换时，我只能正确地看到非空字符和特殊字符 但是，当我在RDD上执行映射操作以转换为Double时，我遇到了一个异常，即RDD中仍然存在特殊字符并崩溃 但是，如果在没有特殊字符的数据帧上执行相同的操作，则效果很好 请为这个问题提出解决方案 inputData.show +------------+-----------+------------+-----------+-------+ |Se

我使用Scala中的na.drop返回一个具有非null和非特殊字符的新数据帧。 当我对数据帧进行RDD转换时，我只能正确地看到非空字符和特殊字符

但是，当我在RDD上执行映射操作以转换为Double时，我遇到了一个异常，即RDD中仍然存在特殊字符并崩溃

但是，如果在没有特殊字符的数据帧上执行相同的操作，则效果很好

请为这个问题提出解决方案

inputData.show

+------------+-----------+------------+-----------+-------+
|Sepal_Length|Sepal_Width|Petal_Length|Petal_Width|Species|
+------------+-----------+------------+-----------+-------+
|         5.1|        3.5|         1.4|        0.2|       |
|         4.9|        3.0|         1.4|        0.2| setosa|
|            |       null|         1.3|        0.1| setosa|
|         4.6|       null|         1.5|          ?| setosa|
|            |        3.6|        null|           | setosa|
|         5.4|        3.9|         1.7|        0.4| setosa|
|         4.6|        3.4|         1.4|        0.3| setosa|
|           5|        3.4|         1.5|        0.2| setosa|
+------------+-----------+------------+-----------+-------+
返回新的数据帧

val inputData1:DataFrame = inputData.na.drop() <br/>
+------------+-----------+------------+-----------+-------+
|Sepal_Length|Sepal_Width|Petal_Length|Petal_Width|Species|
+------------+-----------+------------+-----------+-------+
|         5.1|        3.5|         1.4|        0.2|       |
|         4.9|        3.0|         1.4|        0.2| setosa|
|         5.4|        3.9|         1.7|        0.4| setosa|
|         4.6|        3.4|         1.4|        0.3| setosa|
|           5|        3.4|         1.5|        0.2| setosa|
+------------+-----------+------------+-----------+-------+

val rdd_fromDf =inputData1.rdd

+------------+
|Sepal_Length|
+------------+
|         5.1|
|         4.9|
|         5.4|
|         4.6|
|           5|
+------------+
异常堆栈跟踪如下所示：

java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
16/02/17 15:13:01 ERROR Executor: Exception in task 1.0 in stage 417.0 (TID 654)<br/>
java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
16/02/17 15:13:01 WARN TaskSetManager: Lost task 1.0 in stage 417.0 (TID 654, localhost): java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
16/02/17 15:13:01 ERROR TaskSetManager: Task 1 in stage 417.0 failed 1 times; aborting job<br/>
org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 417.0 failed 1 times, most recent failure: Lost task 1.0 in stage 417.0 (TID 654, localhost): java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
Driver stacktrace:<br/>
        at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1431)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1419)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1418)<br/>
        at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)<br/>
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)<br/>
        at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1418)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)<br/>
        at scala.Option.foreach(Option.scala:236)<br/>
        at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:799)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1640)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1599)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1588)<br/>
        at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)<br/>
        at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:620)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1832)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1845)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:910)<br/>
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)<br/>
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)<br/>
        at org.apache.spark.rdd.RDD.withScope(RDD.scala:316)<br/>
        at org.apache.spark.rdd.RDD.foreach(RDD.scala:910)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$.pangea_DFtoRDD_LabeledPoint(<console>:264)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:126)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:128)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:130)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:132)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:134)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:136)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:138)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:140)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:142)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:144)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:146)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:148)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:150)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:152)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:154)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:156)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:158)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:160)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:162)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:164)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:166)<br/>
        at $iwC$$iwC$$iwC$$iwC.<init>(<console>:168)<br/>
        at $iwC$$iwC$$iwC.<init>(<console>:170)<br/>
        at $iwC$$iwC.<init>(<console>:172)<br/>
        at $iwC.<init>(<console>:174)<br/>
        at <init>(<console>:176)<br/>
        at .<init>(<console>:180)<br/>
        at .<clinit>(<console>)<br/>
        at .<init>(<console>:7)<br/>
        at .<clinit>(<console>)<br/>
        at $print(<console>)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)<br/>
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)<br/>
        at java.lang.reflect.Method.invoke(Method.java:483)<br/>
        at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)<br/>
        at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1346)<br/>
        at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)<br/>
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)<br/>
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)<br/>
        at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:857)<br/>
        at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:902)<br/>
        at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:814)<br/>
        at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:657)<br/>
        at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:665)<br/>
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:670)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:997)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)<br/>
        at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)<br/>
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:945)<br/>
        at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1059)<br/>
        at org.apache.spark.repl.Main$.main(Main.scala:31)<br/>
        at org.apache.spark.repl.Main.main(Main.scala)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)<br/>
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)<br/>
        at java.lang.reflect.Method.invoke(Method.java:483)<br/>
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)<br/>
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)<br/>
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)<br/>
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)<br/>
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)<br/>
Caused by: java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
<br/>

java.lang.ClassCastException:java.lang.String不能转换为java.lang.Double

在scala.runtime.BoxesRunTime.unboxedouble（BoxesRunTime.java:119）中

位于org.apache.spark.sql.Row$class.getDouble（Row.scala:243）

位于org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble（rows.scala:192）

在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在scala.collection.Iterator$$anon$11.next（Iterator.scala:328）

位于scala.collection.Iterator$class.foreach（Iterator.scala:727）

位于scala.collection.AbstractIterator.foreach（迭代器.scala:1157）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

位于org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala:66）

位于org.apache.spark.scheduler.Task.run（Task.scala:89）

位于org.apache.spark.executor.executor$TaskRunner.run（executor.scala:213）

位于java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1142）

位于java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:617）

在java.lang.Thread.run（Thread.java:745）

17年2月16日15:13:01错误执行者：任务1.0在阶段417.0（TID 654）中出现异常

java.lang.ClassCastException:java.lang.String不能转换为java.lang.Double

在scala.runtime.BoxesRunTime.unboxedouble（BoxesRunTime.java:119）中

位于org.apache.spark.sql.Row$class.getDouble（Row.scala:243）

位于org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble（rows.scala:192）

在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在scala.collection.Iterator$$anon$11.next（Iterator.scala:328）

位于scala.collection.Iterator$class.foreach（Iterator.scala:727）

位于scala.collection.AbstractIterator.foreach（迭代器.scala:1157）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

位于org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala:66）

位于org.apache.spark.scheduler.Task.run（Task.scala:89）

位于org.apache.spark.executor.executor$TaskRunner.run（executor.scala:213）

位于java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1142）

位于java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:617）

在java.lang.Thread.run（Thread.java:745）

17年2月16日15:13:01警告TaskSetManager：在阶段417.0（TID 654，localhost）中丢失任务1.0：java.lang.ClassCastException:java.lang.String无法转换为java.lang.Double

在scala.runtime.BoxesRunTime.unboxedouble（BoxesRunTime.java:119）中

位于org.apache.spark.sql.Row$class.getDouble（Row.scala:243）

位于org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble（rows.scala:192）

在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在$line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$I
在scala.collection.Iterator$$anon$11.next（Iterator.scala:328）

位于scala.collection.Iterator$class.foreach（Iterator.scala:727）

位于scala.collection.AbstractIterator.foreach（迭代器.scala:1157）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.rdd.rdd$$anonfun$foreach$1$$anonfun$apply$32.apply（rdd.scala:912）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

在org.apache.spark.SparkContext$$anonfun$runJob$5.apply（SparkContext.scala:1858）

位于org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala:66）


java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
16/02/17 15:13:01 ERROR Executor: Exception in task 1.0 in stage 417.0 (TID 654)<br/>
java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
16/02/17 15:13:01 WARN TaskSetManager: Lost task 1.0 in stage 417.0 (TID 654, localhost): java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $line286.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
16/02/17 15:13:01 ERROR TaskSetManager: Task 1 in stage 417.0 failed 1 times; aborting job<br/>
org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 417.0 failed 1 times, most recent failure: Lost task 1.0 in stage 417.0 (TID 654, localhost): java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
Driver stacktrace:<br/>
        at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1431)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1419)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1418)<br/>
        at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)<br/>
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)<br/>
        at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1418)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)<br/>
        at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)<br/>
        at scala.Option.foreach(Option.scala:236)<br/>
        at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:799)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1640)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1599)<br/>
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1588)<br/>
        at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)<br/>
        at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:620)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1832)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1845)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:910)<br/>
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)<br/>
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)<br/>
        at org.apache.spark.rdd.RDD.withScope(RDD.scala:316)<br/>
        at org.apache.spark.rdd.RDD.foreach(RDD.scala:910)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$.pangea_DFtoRDD_LabeledPoint(<console>:264)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:126)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:128)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:130)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:132)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:134)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:136)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:138)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:140)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:142)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:144)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:146)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:148)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:150)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:152)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:154)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:156)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:158)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:160)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:162)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:164)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:166)<br/>
        at $iwC$$iwC$$iwC$$iwC.<init>(<console>:168)<br/>
        at $iwC$$iwC$$iwC.<init>(<console>:170)<br/>
        at $iwC$$iwC.<init>(<console>:172)<br/>
        at $iwC.<init>(<console>:174)<br/>
        at <init>(<console>:176)<br/>
        at .<init>(<console>:180)<br/>
        at .<clinit>(<console>)<br/>
        at .<init>(<console>:7)<br/>
        at .<clinit>(<console>)<br/>
        at $print(<console>)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)<br/>
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)<br/>
        at java.lang.reflect.Method.invoke(Method.java:483)<br/>
        at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)<br/>
        at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1346)<br/>
        at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)<br/>
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)<br/>
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)<br/>
        at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:857)<br/>
        at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:902)<br/>
        at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:814)<br/>
        at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:657)<br/>
        at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:665)<br/>
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:670)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:997)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)<br/>
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)<br/>
        at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)<br/>
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:945)<br/>
        at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1059)<br/>
        at org.apache.spark.repl.Main$.main(Main.scala:31)<br/>
        at org.apache.spark.repl.Main.main(Main.scala)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)<br/>
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)<br/>
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)<br/>
        at java.lang.reflect.Method.invoke(Method.java:483)<br/>
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)<br/>
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)<br/>
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)<br/>
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)<br/>
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)<br/>
Caused by: java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double<br/>
        at scala.runtime.BoxesRunTime.unboxToDouble(BoxesRunTime.java:119)<br/>
        at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)<br/>
        at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$pangea_Missing$$anonfun$5.apply(<console>:260)<br/>
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)<br/>
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)<br/>
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$32.apply(RDD.scala:912)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)<br/>
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)<br/>
        at org.apache.spark.scheduler.Task.run(Task.scala:89)<br/>
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)<br/>
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br/>
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br/>
        at java.lang.Thread.run(Thread.java:745)<br/>
<br/>
<br/>



get(i).asInstanceOf[T]



import org.apache.spark.sql.functions

val exprs = Seq("Sepal_Length", "Sepal_Width", "Petal_Length", "Petal_Width")

exprs.foldLeft(inputData)((df, c) => df.withColumn(c, col(c).cast("double"))