Logging 创建配置单元表以加载S3子文件夹中的日志
我想将S3存储桶中的日志文件加载到配置单元表中,但这些日志位于S3存储桶中的不同子文件夹(abc def/PMTA/2013/xxx、yyy、zzz子文件夹)中。我正在使用以下配置单元命令,但它不会向其中加载任何数据:Logging 创建配置单元表以加载S3子文件夹中的日志,logging,amazon-web-services,amazon-s3,Logging,Amazon Web Services,Amazon S3,我想将S3存储桶中的日志文件加载到配置单元表中,但这些日志位于S3存储桶中的不同子文件夹(abc def/PMTA/2013/xxx、yyy、zzz子文件夹)中。我正在使用以下配置单元命令,但它不会向其中加载任何数据: CREATE EXTERNAL TABLE pmtalograw( type STRING, timeLogged STRING,
CREATE EXTERNAL TABLE pmtalograw(
type STRING,
timeLogged STRING,
timeQueued STRING,
ROW FORMAT delimited fields terminated by ',' STORED AS TEXTFILE
LOCATION 's3://abc-def/PMTA/2013';
创建配置单元的表并将PMTA日志的内容加载到表中:
CREATE EXTERNAL TABLE pmtalograw(
type STRING,
timeLogged STRING,
timeQueued STRING,
timeImprinted STRING,
origin STRING,
recipient STRING,
orcpt STRING,
dsnAction STRING,
dsnStatus STRING,
dsnDiag STRING,
dsnMta STRING,
bounceCat STRING,
srcType STRING,
srcMta STRING,
dlvType STRING,
dlvSourceIp STRING,
dlvDestinationIp STRING,
dlvEsmtpAvailable STRING,
dlvSize STRING,
vmta STRING,
jobId STRING,
envId STRING)
ROW FORMAT delimited fields terminated by ',' STORED AS TEXTFILE
LOCATION 's3://abc-def/PMTA/Logs';
为了解决这个问题,我需要指定log folderSimple Select语句来查询配置单元表1中的数据。查找dsnstatus列不等于“success”的记录并筛选所需的列:从pmtalograw中选择timelogged、origin、dlvdestinationip,其中dsnstatus与“%success%”不同;