Import 将csv文件导入Qubole
我正在使用qubole运行presto查询 我需要上传一个csv文件到我的查询中,但是我不知道怎么做 有没有人有这方面的经验 关于更多细节,我在分析部分 这是我根据@leftjoin的回答得出的结论-Import 将csv文件导入Qubole,import,qubole,Import,Qubole,我正在使用qubole运行presto查询 我需要上传一个csv文件到我的查询中,但是我不知道怎么做 有没有人有这方面的经验 关于更多细节,我在分析部分 这是我根据@leftjoin的回答得出的结论- use adhoc; create external table adhoc.test( Media_Buy_Key string, Day string, DSP_Publisher string, Final_Media_Cost string ) row format d
use adhoc;
create external table adhoc.test(
Media_Buy_Key string,
Day string,
DSP_Publisher string,
Final_Media_Cost string
)
row format delimited
fields terminated by ','
lines terminated by '\n'
location 's3://bucket/folder/folder/file.csv/';
然后我运行配置单元查询,结果显示为[Empty]
这就是我的s3存储桶的外观:
Presto使用Hive元存储获取表信息及其数据位置
s3://your bucket name/your location/your file.csv
location这里是s3://your bucket name/your location
。如果文件已经在s3中,您可以使用aws s3 cp
命令将其复制到新位置使用您的_模式;
创建外部表测试(
col1字符串,
col2字符串,
...
coln型
)
行格式分隔
以“,”结尾的字段
以“\n”结尾的行
位置“s3://your bucket name/your location/”;
检查它是否在蜂巢中工作:
select * from your_schema.test limit 10;
从您的_模式中选择*测试限制10代码>谢谢!我能够将数据上传到s3存储桶。当我尝试运行第一个配置单元查询时,使用您的_模式
等等。我运行它时没有指定列。只是保持测试
。它导致一个错误,在org.apache.log4j.RollingFileAppender中显示-log4j:WARN无此类属性[rollingPolicy]
知道原因吗?@nak5120这不是错误,这是警告(WARN)。跳过它。真正的错误是别的。列应该在表DDL中指定,所以我添加了列名,并能够生成表。没有填充数据,尽管它只是显示为[Empty]。还显示了我在问题中所做的工作,以提供更多信息@leftjoinRemove filename from table location。s3://bucket/folder/folder/。删除表并在位置固定的情况下再次创建。还要检查文件中的字段分隔符是否为逗号,并进行相应的修复。它可以是其他字符,请在表中指定它。很遗憾,它仍然显示为空。还添加了我的s3 bucket的屏幕截图@LeftJoin使用qubole shell命令检查表位置。执行hadoop fs-ls s3://bucket/folder/应该会显示您的文件直到出现空文件,不幸的是,即使在我发现文件位置意识到我无法访问qubole中的s3 bucket之后。谢谢你的帮助!