Python 使用tf.data.TFRecordDataset时，无法解释的RAM使用情况和潜在内存泄漏
背景 我们对TensorFlow比较陌生。我们正在研究一个涉及视频数据集的DL问题。由于涉及的数据量很大，我们决定对视频进行预处理，并将帧作为JPEG格式存储在TFRecord文件中。然后，我们计划使用Python 使用tf.data.TFRecordDataset时，无法解释的RAM使用情况和潜在内存泄漏,python,tensorflow,tensorflow2.0,tensorflow2.x,Python,Tensorflow,Tensorflow2.0,Tensorflow2.x,背景 我们对TensorFlow比较陌生。我们正在研究一个涉及视频数据集的DL问题。由于涉及的数据量很大，我们决定对视频进行预处理，并将帧作为JPEG格式存储在TFRecord文件中。然后，我们计划使用tf.data.TFRecordDataset将数据提供给我们的模型 这些视频已经被处理成段，每段由16帧组成，以一个连续的张量。每一帧是一幅128*128 RGB图像，编码为jpeg。每个序列化段与一些元数据一起存储为tf记录中的序列化tf.train.Example TensorFlow版本：
tf.data.TFRecordDatasettf.train.Exampletf.data.TFRecordDatasetnumfile导入操作系统
输入数学
导入tensorflow作为tf
#此处将进行相应的更改
#如果tf2_preprocessing.py中的功能描述
#改变
功能描述={
“段”：tf.io.FixedLenFeature（[]，tf.string），
“文件”：tf.io.FixedLenFeature（[]，tf.string），
“num”：tf.io.FixedLenFeature（[]，tf.int64）
}
def build_数据集（目录路径，批处理大小=16，文件缓冲区=500*1024*1024，
洗牌（缓冲区=1024，标签=1）：
''基于目录路径中的所有tf记录返回tf.data.Dataset
Args：
dir\u path：指向包含TFR记录的目录的路径
批次大小：数据集每个元素的批次ie培训示例的大小
文件缓冲区：对于TF记录，大小以字节为单位
洗牌缓冲区：#洗牌时缓冲区的示例
标签：示例的目标标签
'''
#文件的全局模式
file_pattern=os.path.join（dir_path，'*.tfrecord'）
#存储无序文件名
file\u ds=tf.data.Dataset.list\u文件（文件模式）
#并行读取多个文件
ds=tf.data.TFRecordDataset（文件，
num_parallel_reads=tf.data.experimental.AUTOTUNE，
缓冲区大小=文件缓冲区）
#从洗牌缓冲区中随机抽取示例
ds=ds.shuffle（缓冲区大小=1024，
重新洗牌（每次迭代=真）
#批处理示例
#现在删除剩余部分，在解析时遇到麻烦-添加标签
ds=ds.batch（批大小，丢弃剩余=True）
#将记录解析为正确的类型
ds=ds.map（lambda x:_my_解析器（x，标签，批量大小），
num_parallel_calls=tf.data.experimental.AUTOTUNE）
ds=ds.预取（tf.数据.实验.自动调谐）
返回ds
定义我的解析器（示例、标签、批次大小）：
''解析一批序列化的tf.train.Example
Args：
示例：批量序列化的tf.train.示例
返回：
元组（段、标签）
其中段是形状张量（#在#批中，#帧，h，w，#通道）
'''
#ex将是连续张量的张量
ex=tf.io.parse_示例（示例，功能=功能描述）
ex['segment']=tf.map\u fn（λx:\u parse\u segment（x），
ex['segment']，dtype=tf.uint8）
#暂时忽略文件名和段数
#返回元组（tensor1，tensor2）
#tensor1是一批段，tensor2是相应的标签
退货（例如['segment'，tf.填充（（批次大小，1），标签））
定义解析段（段）：
''解析段并将其作为张量返回
段是许多编码JPEG的序列化张量
'''
#现在是编码JPEG的张量
parsed=tf.io.parse_张量（段，输出类型=tf.string）
#现在是形状的张量（#帧，h，w，#通道）
已解析=tf.map\u fn（lambda y:tf.io.decode\u jpeg（y），已解析，数据类型=tf.uint8）
返回解析
--include childrencount=0
目录路径='some/path'
ds=构建数据集（目录路径、文件缓冲区=某些值）
对于范围（100）内的itr：
打印（itr）
对于ds中的itx：
计数+=1