Hive SparkSql从配置单元表获取浮点类型字段值null

我使用sqoop创建和导入配置单元表，并使用pyspark获取数据。该表由一个字符串字段、一个int字段和几个float字段组成。我可以通过hue-hivesql查询得到整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点字段，并且浮点字段始终显示空值。 色调配置单元sql结果：

齐柏林飞艇Pypspark输出：

配置单元表的详细信息：

---

我终于找到了原因。因为我通过sqoop从mysql导入了这些表。原始表列是大写的，在配置单元中，它们被自动转换为所有小写。这导致sparksql无法检索所有转换的字段值。（但HUE hive通常查询这些数据，这可能是spark的一个缺陷。）我必须通过指定选项--query in sqoop命令将大写字段名转换为小写。i、 e.--查询“从表中选择MMM作为MMM…”