Import 将csv文件导入Qubole

Import 将csv文件导入Qubole,import,qubole,Import,Qubole,我正在使用qubole运行presto查询 我需要上传一个csv文件到我的查询中,但是我不知道怎么做 有没有人有这方面的经验 关于更多细节,我在分析部分 这是我根据@leftjoin的回答得出的结论- use adhoc; create external table adhoc.test( Media_Buy_Key string, Day string, DSP_Publisher string, Final_Media_Cost string ) row format d

我正在使用qubole运行presto查询

我需要上传一个csv文件到我的查询中,但是我不知道怎么做

有没有人有这方面的经验

关于更多细节,我在分析部分

这是我根据@leftjoin的回答得出的结论-

use adhoc;
create external table adhoc.test(
  Media_Buy_Key string,
  Day string,
  DSP_Publisher string,
  Final_Media_Cost string
)
row format delimited
fields terminated by ','
lines terminated by '\n'
location 's3://bucket/folder/folder/file.csv/';
然后我运行配置单元查询,结果显示为
[Empty]

这就是我的s3存储桶的外观:

Presto使用Hive元存储获取表信息及其数据位置

  • 将文件上载到某个S3位置。实际上,S3没有位置,它们使用包含“/”的文件名进行模拟。使用Qubole S3接口上传文件。比如说,进入
    s3://your bucket name/your location/your file.csv
    location这里是
    s3://your bucket name/your location
    。如果文件已经在s3中,您可以使用
    aws s3 cp
    命令将其复制到新位置

  • 在文件位置顶部使用配置单元创建表

  • 使用您的_模式;
    创建外部表测试(
    col1字符串,
    col2字符串,
    ...
    coln型
    )
    行格式分隔
    以“,”结尾的字段
    以“\n”结尾的行
    位置“s3://your bucket name/your location/”;
    
    检查它是否在蜂巢中工作:

    select * from your_schema.test limit 10;
    
  • 使用Presto查询您的表

  • 从您的_模式中选择*测试限制10

    谢谢!我能够将数据上传到s3存储桶。当我尝试运行第一个配置单元查询时,
    使用您的_模式
    等等。我运行它时没有指定列。只是保持
    测试
    。它导致一个错误,在org.apache.log4j.RollingFileAppender中显示-
    log4j:WARN无此类属性[rollingPolicy]
    知道原因吗?@nak5120这不是错误,这是警告(WARN)。跳过它。真正的错误是别的。列应该在表DDL中指定,所以我添加了列名,并能够生成表。没有填充数据,尽管它只是显示为[Empty]。还显示了我在问题中所做的工作,以提供更多信息@leftjoinRemove filename from table location。s3://bucket/folder/folder/。删除表并在位置固定的情况下再次创建。还要检查文件中的字段分隔符是否为逗号,并进行相应的修复。它可以是其他字符,请在表中指定它。很遗憾,它仍然显示为空。还添加了我的s3 bucket的屏幕截图@LeftJoin使用qubole shell命令检查表位置。执行hadoop fs-ls s3://bucket/folder/应该会显示您的文件直到出现空文件,不幸的是,即使在我发现文件位置意识到我无法访问qubole中的s3 bucket之后。谢谢你的帮助!