Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop DynamicFileListRecordReader无限期等待_Hadoop_Google Bigquery_Google Cloud Storage - Fatal编程技术网

Hadoop DynamicFileListRecordReader无限期等待

Hadoop DynamicFileListRecordReader无限期等待,hadoop,google-bigquery,google-cloud-storage,Hadoop,Google Bigquery,Google Cloud Storage,我正在使用GoogleBigQueryHadoop连接器,遇到了一个问题。 DynamicFileListRecordReader期望0-record文件出现在bucket路径中,但看起来它不是自动创建的,因此读取器进入无限循环。 据此, 此0记录文件仅在使用通配符URL时创建。但根据hadoop日志,使用的是不带通配符的单一url,不需要等待 我的haddop作业配置为 BigQueryConfiguration.configureBigQueryInput(conf, "publicdata

我正在使用GoogleBigQueryHadoop连接器,遇到了一个问题。 DynamicFileListRecordReader期望0-record文件出现在bucket路径中,但看起来它不是自动创建的,因此读取器进入无限循环。 据此, 此0记录文件仅在使用通配符URL时创建。但根据hadoop日志,使用的是不带通配符的单一url,不需要等待

我的haddop作业配置为

BigQueryConfiguration.configureBigQueryInput(conf, "publicdata:samples.shakespeare");
    conf.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem");
    // tempoary path where to download data from BiqQuery tables
    conf.set(BigQueryConfiguration.TEMP_GCS_PATH_KEY, "gs://mybucket/mypath");
    conf.set(BigQueryConfiguration.PROJECT_ID_KEY, "myprojid");
    conf.set(GoogleHadoopFileSystemBase.GCS_PROJECT_ID_KEY, "myprojid");

我看到在项目的GitHub页面上提出了一个问题,这是正确的做法-。我看到在项目的GitHub页面上提出了一个问题,这是正确的做法-。