Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/310.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 是否可以从Google云存储对象创建TFRecordDataset?_Python_Tensorflow_Google Cloud Platform_Google Cloud Storage_Google Cloud Datalab - Fatal编程技术网

Python 是否可以从Google云存储对象创建TFRecordDataset?

Python 是否可以从Google云存储对象创建TFRecordDataset?,python,tensorflow,google-cloud-platform,google-cloud-storage,google-cloud-datalab,Python,Tensorflow,Google Cloud Platform,Google Cloud Storage,Google Cloud Datalab,我正在谷歌云数据实验室的Jupyter笔记本上测试Tensorflow模型。该模型被设置为使用TFRecord文件的TFRecordDataset作为输入,我认为这是组织模型输入的推荐方法。我想知道是否有一些受支持的方法可以从Google云存储对象列表创建这个TFRecordDataset,这些对象由Google.datalab.Storage API提供,作为访问Google云存储桶上数据的一种方式 编辑:我发现通过调用存储对象上的.uri并将这些uri传递给TFRecordDataset似乎

我正在谷歌云数据实验室的Jupyter笔记本上测试Tensorflow模型。该模型被设置为使用TFRecord文件的TFRecordDataset作为输入,我认为这是组织模型输入的推荐方法。我想知道是否有一些受支持的方法可以从Google云存储对象列表创建这个TFRecordDataset,这些对象由Google.datalab.Storage API提供,作为访问Google云存储桶上数据的一种方式


编辑:我发现通过调用存储对象上的.uri并将这些uri传递给TFRecordDataset似乎是可行的,但我不确定这是否是推荐的方法。

您的问题有点不清楚,但下面是我如何将输入数据转换为tfrecord,以便将其输入到我的模型中


您可以从Datalab中的google存储中读取数据,并将其转换为tfrecord,然后将其保存回google存储

您的问题有点不清楚,但以下是我如何将输入数据转换为tfrecord,以便将其输入到模型中


您可以从Datalab中的google存储中读取数据,并将其转换为tfrecord,然后将其保存回google存储

通常,这类任务的设置是,谷歌云存储将数据(比如图像)存储在存储桶中,用户希望将输入转换为tfrecord格式,以便训练/优化模型(比如分类/检测)。对于此类任务,您必须创建一个文件,其中包含有关图像路径的信息和适当的其他信息,如标签、bbox等。创建该文件后,您可以迭代文件,并使用这些输入文件的google存储路径访问GCS数据,以对其进行处理并将其保存为tfrecord。为图像数据创建流行格式COCO/Pascal VOC的文件非常有用,因为您可以使用不易出错且速度更快的预制转换脚本。例如:

通常,这类任务的设置是,谷歌云存储将数据(比如图像)存储在存储桶中,用户希望将输入转换为tfrecord格式,以便训练/优化模型(比如分类/检测)。对于此类任务,您必须创建一个文件,其中包含有关图像路径的信息和适当的其他信息,如标签、bbox等。创建该文件后,您可以迭代文件,并使用这些输入文件的google存储路径访问GCS数据,以对其进行处理并将其保存为tfrecord。为图像数据创建流行格式COCO/Pascal VOC的文件非常有用,因为您可以使用不易出错且速度更快的预制转换脚本。例如:

您能更好地解释您所解释的可能性吗?除了为了转换和准备数据,我找不到关于这个文件的任何信息。你能更好地解释一下你解释的可能性吗?除了为了转换和准备数据,我找不到关于这个文件的任何信息。