Tensorflow 用于图像数据的TFX StatisticsGen
嗨，我正试图让一个TFX管道作为一个练习来运行，真的。我正在使用Tensorflow 用于图像数据的TFX StatisticsGen,tensorflow,tfx,Tensorflow,Tfx,嗨，我正试图让一个TFX管道作为一个练习来运行，真的。我正在使用ImportExampleGen从磁盘加载TFRecords。TFRecord中的每个示例都包含一个jpg，格式为字节字符串、高度、宽度、深度、转向和油门标签 我正在尝试使用StatisticsGen，但我收到了此警告； 警告：root:Feature“image_raw”的字节值为“None”，无法解码为UTF-8字符串。并使我的Colab笔记本崩溃。据我所知，TFR记录中的所有字节字符串图像都没有损坏 我找不到有关Statist
ImportExampleGenTFRecordsTFRecord示例StatisticsGen警告：root:Feature“image_raw”的字节值为“None”，无法解码为UTF-8字符串。StatisticsGenStatisticsGenImportExampleGenStatisticsGen从tfx.utils.dsl\u utils导入tfrecord\u输入
从tfx.components.example\u gen.import\u example\u gen.component import ImportExampleGen
从tfx.proto导入示例\u gen\u pb2
示例=tfrecord\u输入（\u tf\u record\u dir）
# https://www.tensorflow.org/tfx/guide/examplegen#custom_inputoutput_split
#对“output_config”参数拆分数据有很好的解释
#输入列车拆分为_tf_record_dir/*'
#输出2个分段：序列：eval=8:2。
列车传动比=8
评估比率=10列评估比率
输出=示例_gen_pb2.output(
split\u config=example\u gen\u pb2.SplitConfig（splits=[
示例\u gen\u pb2.SplitConfig.Split（name='train'，
hash_buckets=序列比率），
示例\u gen\u pb2.SplitConfig.Split（name='eval'，
散列存储桶=评估比率）
]))
示例_gen=ImportExampleGen（输入=示例，
输出（配置=输出）
context.run（示例\u gen）
统计学(
示例=示例生成输出['examples']）
context.run（统计信息\u gen）
提前感谢。对此进行了探索，发现解决方案比我想象的要简单得多
from tfx.orchestration.experimental.interactive.interactive_context import InteractiveContext
import logging
...
logger = logging.getLogger()
logger.setLevel(logging.CRITICAL)
...
context = InteractiveContext(pipeline_name='my_pipe')
...
c = StatisticsGen(...)
...
context.run(c)
从google.protobuf导入文本\u格式
从tensorflow.python.lib.io导入文件
从tensorflow_metadata.proto.v0导入模式_pb2
#加载自动生成的架构（使用小批量的统计信息）
schema=tfx.utils.io_utils.SchemaAreder（）.read(
tfx.utils.io_utils.get_only_uri_in_dir(
tfx.types.artifact\u utils.get\u single\u uri（schema\u gen.outputs['schema'].get（）））
#修改架构以指示哪些字符串特征是图像。
#理想情况下，您应该在某个地方保留此模式的黄金版本，而不是
#而不是在每次跑步时都重新生成它。
对于schema.feature中的功能：
如果feature.name=='image/raw'：
feature.image\u domain.SetInParent（）
#将修改后的架构写入本地文件
user_schema_dir='/tmp/user schema/'
tfx.utils.io_utils.write_pbtxt_文件(
join（user\u schema\u dir，'schema.pbtxt'），schema）
#创建ImportNode以使修改后的架构可用于其他组件
用户\架构\导入器=tfx.components.ImporterNode(
实例\u name='import\u user\u schema'，
source\u uri=user\u schema\u dir，
工件类型=tfx.types.standard_工件.Schema）
#运行用户架构ImportNode
运行（用户\架构\导入器）
希望您发现此解决方法很有用。与此同时，我们将为图像值功能提供更好的默认体验。更新：我一直在做一些挖掘工作。这种倾向引导我尝试这一点
stats=tfdv。从\u tfrecord（data\u location=tfrecords\u filename）