R 将csv数据加载到配置单元表时出错
我在hadoop中有一个csv文件,我有一个配置单元表,现在我想把这个csv文件放到这个配置单元表中 我已经使用加载数据本地'path/to/csv/file'覆盖到表tablename中 最终出现以下错误:R 将csv数据加载到配置单元表时出错,r,hive,rjdbc,R,Hive,Rjdbc,我在hadoop中有一个csv文件,我有一个配置单元表,现在我想把这个csv文件放到这个配置单元表中 我已经使用加载数据本地'path/to/csv/file'覆盖到表tablename中 最终出现以下错误: Error in .verify.JDBC.result(r, "Unable to retrieve JDBC result set for ", : Unable to retrieve JDBC result set for LOAD DATA local 'path/to/cs
Error in .verify.JDBC.result(r, "Unable to retrieve JDBC result set for ", :
Unable to retrieve JDBC result set for LOAD DATA local
'path/to/csv/file' overwrite INTO TABLE tablename
(Error while processing statement: FAILED:
ParseException line 1:16 missing INPATH at ''path/tp csv/file'' near '<EOF>'
)
注意:我正在使用r中的RJDBC连接尝试此操作,我认为将CSV加载到配置单元表的命令是当CSV在HDFS中时
LOAD DATA INPATH '/user/test/my.csv' INTO TABLE my_test;
由于您的文件已存在于HDFS中,请删除关键字Local
将路径“path/to/csv/file”中的数据加载到表tablename中 我开发了一个从csv文件生成配置单元脚本的工具。下面是几个关于如何生成文件的示例。 工具- 使用Browse和set-hadoop根目录ex:/user/bigdataproject选择CSV文件/ 该工具使用所有csv文件生成Hadoop脚本,下面是 生成Hadoop脚本以将csv插入Hadoop 生成的配置单元脚本示例 谢谢 维杰
#!/bin/bash -v
hadoop fs -put ./AllstarFull.csv /user/bigdataproject/AllstarFull.csv
hive -f ./AllstarFull.hive
hadoop fs -put ./Appearances.csv /user/bigdataproject/Appearances.csv
hive -f ./Appearances.hive
hadoop fs -put ./AwardsManagers.csv /user/bigdataproject/AwardsManagers.csv
hive -f ./AwardsManagers.hive
CREATE DATABASE IF NOT EXISTS lahman;
USE lahman;
CREATE TABLE AllstarFull (playerID string,yearID string,gameNum string,gameID string,teamID string,lgID string,GP string,startingPos string) row format delimited fields terminated by ',' stored as textfile;
LOAD DATA INPATH '/user/bigdataproject/AllstarFull.csv' OVERWRITE INTO TABLE AllstarFull;
SELECT * FROM AllstarFull;