Fatal编程技术网
  • hadoop/
  • Hadoop 配置单元：在unicode csv文件上创建表

Hadoop 配置单元：在unicode csv文件上创建表

hadoop hive

Hadoop 配置单元：在unicode csv文件上创建表,hadoop,hive,azure-hdinsight,hortonworks-data-platform,Hadoop,Hive,Azure Hdinsight,Hortonworks Data Platform,在HDInsight群集上，尝试在unicode csv文件上创建配置单元表 Invoke-Hive -Query @" CREATE EXTERNAL TABLE TestUnicode(Numeric1 INT,Numeric2 INT,Numeric3 INT,Name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 'wasb://$containerName@$storag

在HDInsight群集上，尝试在unicode csv文件上创建配置单元表

Invoke-Hive -Query @"
CREATE EXTERNAL TABLE TestUnicode(Numeric1 INT,Numeric2 INT,Numeric3 INT,Name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION
'wasb://$containerName@$storageAccountName.blob.core.windows.net/TestUnicode.csv';
"@
但Hive无法正确识别unicode字符串。此外，所有整数字段都加载为空。

将TestUnicode.csv的编码更改为UTF-8。对我有用