Hadoop DynamicFileListRecordReader无限期等待
我正在使用GoogleBigQueryHadoop连接器,遇到了一个问题。 DynamicFileListRecordReader期望0-record文件出现在bucket路径中,但看起来它不是自动创建的,因此读取器进入无限循环。 据此, 此0记录文件仅在使用通配符URL时创建。但根据hadoop日志,使用的是不带通配符的单一url,不需要等待 我的haddop作业配置为Hadoop DynamicFileListRecordReader无限期等待,hadoop,google-bigquery,google-cloud-storage,Hadoop,Google Bigquery,Google Cloud Storage,我正在使用GoogleBigQueryHadoop连接器,遇到了一个问题。 DynamicFileListRecordReader期望0-record文件出现在bucket路径中,但看起来它不是自动创建的,因此读取器进入无限循环。 据此, 此0记录文件仅在使用通配符URL时创建。但根据hadoop日志,使用的是不带通配符的单一url,不需要等待 我的haddop作业配置为 BigQueryConfiguration.configureBigQueryInput(conf, "publicdata
BigQueryConfiguration.configureBigQueryInput(conf, "publicdata:samples.shakespeare");
conf.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem");
// tempoary path where to download data from BiqQuery tables
conf.set(BigQueryConfiguration.TEMP_GCS_PATH_KEY, "gs://mybucket/mypath");
conf.set(BigQueryConfiguration.PROJECT_ID_KEY, "myprojid");
conf.set(GoogleHadoopFileSystemBase.GCS_PROJECT_ID_KEY, "myprojid");
我看到在项目的GitHub页面上提出了一个问题,这是正确的做法-。我看到在项目的GitHub页面上提出了一个问题,这是正确的做法-。