Numpy 带浮点数组的tensorflow记录
我想创建tensorflow记录来为我的模型提供数据; 到目前为止,我使用以下代码将uint8 numpy数组存储为TFRecord格式Numpy 带浮点数组的tensorflow记录,numpy,tensorflow,Numpy,Tensorflow,我想创建tensorflow记录来为我的模型提供数据; 到目前为止,我使用以下代码将uint8 numpy数组存储为TFRecord格式 def _int64_feature(value): return tf.train.Feature(int64_list=tf.train.Int64List(value=[value])) def _bytes_feature(value): return tf.train.Feature(bytes_list=tf.train.BytesLi
def _int64_feature(value):
return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
def _bytes_feature(value):
return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
def _floats_feature(value):
return tf.train.Feature(float_list=tf.train.FloatList(value=[value]))
def convert_to_record(name, image, label, map):
filename = os.path.join(params.TRAINING_RECORDS_DATA_DIR, name + '.' + params.DATA_EXT)
writer = tf.python_io.TFRecordWriter(filename)
image_raw = image.tostring()
map_raw = map.tostring()
label_raw = label.tostring()
example = tf.train.Example(features=tf.train.Features(feature={
'image_raw': _bytes_feature(image_raw),
'map_raw': _bytes_feature(map_raw),
'label_raw': _bytes_feature(label_raw)
}))
writer.write(example.SerializeToString())
writer.close()
我用这个示例代码阅读了它
features = tf.parse_single_example(example, features={
'image_raw': tf.FixedLenFeature([], tf.string),
'map_raw': tf.FixedLenFeature([], tf.string),
'label_raw': tf.FixedLenFeature([], tf.string),
})
image = tf.decode_raw(features['image_raw'], tf.uint8)
image.set_shape(params.IMAGE_HEIGHT*params.IMAGE_WIDTH*3)
image = tf.reshape(image_, (params.IMAGE_HEIGHT,params.IMAGE_WIDTH,3))
map = tf.decode_raw(features['map_raw'], tf.uint8)
map.set_shape(params.MAP_HEIGHT*params.MAP_WIDTH*params.MAP_DEPTH)
map = tf.reshape(map, (params.MAP_HEIGHT,params.MAP_WIDTH,params.MAP_DEPTH))
label = tf.decode_raw(features['label_raw'], tf.uint8)
label.set_shape(params.NUM_CLASSES)
这很好。现在我想对我的数组“map”做同样的处理,它是一个float numpy数组,而不是uint8,我找不到如何做的示例;
我尝试了函数_floats_功能,如果我向它传递一个标量,它就可以工作,但不能使用数组;
使用uint8,可以通过方法tostring()完成序列化
如何序列化浮点numpy数组以及如何读取该数组?
FloatList
和BytesList
需要一个iterable。所以你需要给它一个浮动列表。移除\u float\u功能
中的额外括号,即
def _floats_feature(value):
return tf.train.Feature(float_list=tf.train.FloatList(value=value))
numpy_arr = np.ones((3,)).astype(np.float)
example = tf.train.Example(features=tf.train.Features(feature={"bytes": _floats_feature(numpy_arr)}))
print(example)
features {
feature {
key: "bytes"
value {
float_list {
value: 1.0
value: 1.0
value: 1.0
}
}
}
}
我将详述雅罗斯拉夫的答案 Int64List、ByteList和FloatList需要一个(重复的字段)。在您的例子中,可以使用列表作为迭代器 您提到:如果我将标量传递给它,它就可以工作,但不能使用数组。这是意料之中的,因为当传递标量时,
\u floats\u特性
会在其中创建一个由一个float元素组成的数组(与预期完全相同)。但是当你传递一个数组时,你会创建一个数组列表,并将它传递给一个需要一个浮动列表的函数
因此,只需从函数中删除数组的构造:
float\u list=tf.train.FloatList(value=value)
Yaroslav的示例在nd数组作为输入时失败:
numpy_arr=np.one((3,3)).astype(np.float)
当我使用numpy_arr.ravel()作为输入时,我发现它是有效的。但是有更好的方法吗?我在处理类似问题时偶然发现了这一点。由于原始问题的一部分是如何从
tfrecords
读回float32
功能,我将把它留在这里,以防它对任何人都有帮助:
如果使用map.ravel()
将map
尺寸[x,y,z]
输入到\u浮动\u功能中
:
功能={
...
“映射”:tf.FixedLenFeature([x,y,z],dtype=tf.float32)
...
}
parsed_example=tf.parse_single_示例(serialized=serialized,features=features)
map=parsed_示例['map']
Yaroslav提到,您需要浮点数列表,num_arr不是一个列表,因此您必须以某种方式将其展平,然后在将其传递给模型之前固定其形状。对于二维NumPy数组,您如何处理此问题