在CIFAR-10教程中，我注意到变量被放置在CPU内存中，但它是用单个GPU进行训练的 我很困惑。。图层/激活是否存储在GPU中？或者，梯度是否存储在GPU中？否则，在CPU上存储变量似乎根本不会使用GPU——所有内容都存储在CPU内存中，因此只有CPU用于向前/向后传播 如果GPU用于f/b传播，由于延迟洗牌数据CPU GPU，这不是一种浪费吗？事实上，在cifar10系列中，激活和梯度在GPU上，只有参数在CPU上。您是对的，由于在CPU和GPU之间复制参数的成本，这对于单个GPU培训不是

如果有关于如何在多台机器上跨多个GPU使用deployment/model_deploy.py运行TF Slim models/Slim的示例，我会很好奇。文档很好，但我遗漏了一些内容。具体来说，需要为worker_设备和ps_设备添加哪些内容，以及在每台机器上还需要运行哪些内容 一个像分布式页面底部的例子会很棒。

在tensorflow/models/slim/nets中，以下是相关代码片段的链接。我很好奇为什么slim.nets.vgg使用conv2d而不是完全连接的层，尽管它的工作原理实际上是相同的？是为了提高速度吗？ 我感谢你的解释。谢谢 过了一段时间，我认为至少有一个原因可以避免权重转换错误 Tensorflow/slim以及其他高级库允许默认情况下使用tensor格式BHWC（批次大小、高度、宽度、通道。如下所示）或BCHW（以获得更好的性能） 在这两种格式之间转换权重时，必须将第一个fc（完全

我在训练tensorflow，然后我在键盘上捣乱，弄得大便和咯咯笑： INFO:tensorflow:global step 101: loss = 5.1761 (52.61 sec/step) INFO:tensorflow:global step 102: loss = 4.8679 (18.78 sec/step) INFO:tensorflow:global step 103: loss = 4.9662 (19.02 sec/step) INFO:tensorflow:global

“tensorboard scalars”选项卡上图形右侧显示的计数是多少（请参见所附图像右侧的1） 没有显示此度量值的运行 选中左上角的“按下划线拆分”选项时，这是在该类别下分组的摘要数量： 例如，我有两个标量摘要，一个称为loss\u per-epoch，另一个称为loss\u per-batch。选中“下划线拆分”选项时，两个选项都被分组在“损失”类别下，计数变为2： 未启用分组时，数字代表什么？它是否只显示1？我从未见过在其他情况下数字发生变化。很抱歉，我无法提供更准确的答案，因为我没

从Inception V3模型的“avg_pool”层提取特征向量。如果提取程序在不同的机器/操作系统（例如Windows-64位和Ubuntu-64位）上运行，那么特征向量是否具有不同的值？为了澄清，这是您正在加载和提取权重的已保存图形，还是从头开始进行训练？这是一个已保存的模型。我现在有了答案，即特征向量值在操作系统中是相同的，因为数学是相同的。谢谢

我正在websit搜索数据集。 我想找到一些特定类型的数据集，可以用卷积神经网络进行训练。事实上，我在这方面没有太多经验。 你能告诉我上面链接上的哪种数据集可以用于CNN吗 如果数据集的类型不是很大，对我来说会更好，因为我使用的是Tensorflow CPU 提前感谢，如果您是卷积神经网络的初学者，我建议您使用。这是一个手写数字图像数据库。这是一个相对简单的小数据集，非常适合初学者。关于如何在这个数据集上应用神经网络技术，这里有一个非常好的例子。@Harsh Wardhan:谢谢你的建议。我已经

我试图以图像格式显示conv_层的重量 下面是我的代码 def get_scope_variable(scope_name, var, shape=None): with tf.variable_scope(scope_name) as scope: try: v = tf.get_variable(var, shape) except ValueError: scope.reuse_variables()

我正在训练一个tensorflow.contrib.seq2seq编码器-解码器模型，每个小批量的训练时间是单调增加的 步骤编号：10经过的时间：52.89215302467346损失：1.0420862436294556度量：{'accurity'：0.2249999} 步骤编号：20经过的时间：60.28505992889404损失：0.8007364869117737度量：{'accurity'：0.28} 步骤编号：30经过的时间：73.98479580879211损失：0.72923

在一个测试示例中，经过网络培训后，我无法收到结果。 这是帮助perceptron.py的标准示例 我试图以这种方式获得结果 examples_to_show = 5 y_result = sess.run(y_pred, feed_dict={x:mnist.test.images[:examples_to_show]}) print("y_result=",y_result) 我收到的不是不清楚的数字，而是[0 0 1 0 0 0 0 0 0 0] In [20]: ''' A Multil

假设我有一个训练有素的TensorFlow分类网络，用于PASCAL VOC 2007中的20个类别：飞机、自行车、汽车、猫、人、电视监视器 现在，我只想为类的子集建立一个子网络，例如，3个类：汽车、猫、人 然后，我可以使用该网络对新数据集进行测试或重新训练/微调，仅针对3个类 应该可以从原始网络中提取此子网络，因为它只是最后一层将发生变化。我们需要丢弃丢弃类的神经元/权重 我的问题：在TensorFlow中有没有一种简单的方法可以做到这一点？ 如果您能指出一些示例代码或类似的解决方案，那就太好

我对tf.contrib.layers.embedding_column中tensorflow中实现的嵌入列的使用有一些疑问 我正在为两人游戏（本例中为网球）训练一个二进制分类器。作为feature_列传递给DNNClassifier的我的功能如下所示： deep_columns = [ tf.contrib.layers.embedding_column(player1, dimension=9), tf.contrib.layers.embedding_column(player2, dim

这是我的代码片段，我是如何连接所有列车图像的（左、右和掩码分别）。在图中，指定了形状为[4，？、？3]的变量l、r张量 with tf.Session() as session: l_train = [x.l_img for x in images][:4] r_train = [x.r_img for x in images][:4] m_train = [x.mask for x in images][:4] l = tf.concat(l_train,

最近，我阅读了TensorFlow中关于未记录特性的指南，因为我需要将可变长度序列作为输入传递。然而，我发现tf.train.SequenceExample的协议相对混乱（尤其是由于缺乏文档），并设法使用tf.train.Example构建了一个输入管道 使用tf.train.SequenceExample有什么好处吗？当有一个专用于可变长度序列的协议时，使用标准示例协议似乎是一种欺骗，但它会产生任何后果吗？您提供的链接列出了一些好处。你可以看看这里是怎么用的 如果您使用示例成功地将数据输入到模

我试图在GPU上训练我的模型，而不是在Jupyter笔记本的AWS p2.xlarge实例上训练CPU。我使用的是tensorflow gpu后端（仅安装了tensorflow gpu，并在requirements.txt中提及，而不是tensorflow） 与使用CPU相比，在这些实例上训练模型时，我没有看到任何速度的提高，事实上，我每个历元的训练速度几乎与我在4核笔记本电脑CPU上的训练速度相同（p2.xlarge也有4个带有特斯拉K80 GPU的VCPU）。我不确定是否需要对代码进行一些更

下面是我的项目代码的一部分 with tf.name_scope("test_accuracy"): test_mean_abs_err, test_mean_abs_err_op = tf.metrics.mean_absolute_error(labels=label_pl, predictions=test_eval_predict) test_accuracy, test_accuracy_op = tf.metrics.accuracy(labels=l

这个问题已经被问过好几次了，但我似乎无法将以前的解决方案应用到我的代码中。因此，如能就如何解决这一问题提供任何建议，我将不胜感激。我尝试过使用pdb，并在问题出现之前设置了一个跟踪点，但没有提供太多信息。 我正在根据我的问题调整本教程： 数据形状： x_train.shape: (1161, 68, 68, 1) x_test.shape: (216, 68, 68, 1) y_test.shape: (216,) y_train.shape: (1161,) 发生错误的地方： #Train

我之前读过，sgd的概括能力更好，但adam在训练的早期阶段收敛得很快。 因此，我想在完成一些步骤后更改我的优化器。但下面这样的代码引发了预条件错误。如果有人知道如何在培训期间更换优化器 for i in range(config.train_steps): _, l, s = sess.run([train_op, loss, summary]) if i % 100 == 0: saver.save(sess, os.path.join(args.model

所以tensorflow在创建涉及感知器神经元的神经网络方面非常有用。然而，如果一个人想使用一种新型的神经元而不是传统的感知器神经元，这是否可能通过增加tensorflow代码来实现？我似乎找不到答案。我知道这会改变正向传播和更多的数学计算，我愿意改变所有必要的领域 我也知道，我可以从头开始编写我需要的层和我心目中的神经元，但tensorflow仍然具有GPU集成，因此人们可以看到，与从头开始创建自己的代码相比，操作他们的代码更为理想 有人试过这个吗？我的目标是创建使用不同于经典感知器的神经元类

我正在使用基于检测的CNN进行手姿势估计（在单手的深度图像中查找手关节）。我的计划是首先使用FCN找到所有16个关键点的二维坐标。主干是ResNet-50-FPN，可以看到计算图。显示了res2a~res5c的结构 当我用ICVL手姿势数据集训练这个模型时，输出特征映射收敛为全部黑色图像，其中所有像素值几乎为零。地面真相是深度图和热图，比如。如果我在最后一个卷积层（如图所示）后添加一个sigmoid激活函数，输出热图将类似于白噪声。不管怎么说，FCN的检测是完全无用的，而损失不会下降 我的CNN

我想对视频文件中的对象进行语义分割。我更喜欢在COCO数据集（或COCO stuff数据集）上使用预先训练好的模型，并开始在我自己的视频文件上使用它进行语义分割和对象检测。我遇到的大多数线程都在讨论COCO数据集上的训练算法。我正在寻找一个预先训练过的模型（一个冻结的图形文件），我可以直接用于分割我自己的视频文件 谁能告诉我怎么做 另外，我可以使用tensorflow model zoo预先训练的模型进行对象检测，但我无法将其扩展到对象分割 本周，我对从iNaturalist.org下载的图像进

我在tensorflow中编写了一个简单的softmax回归神经网络，具有6个特征和6个目标。但是，我想对其中两个目标施加某种二进制类型的约束，这样当它找到一个目标时，另一个目标将被迫为零。也就是说，如果目标为y1、y2、y3、y4、y5、y6，则作为示例，当y3存在值时，y4=0，反之亦然。注意，这在训练数据上是明确的，但我只想确保网络能够有效地捕捉到这一点，因为这是一个硬约束。可能吗？还是我们希望网络了解这种约束 这是否意味着您在训练数据中将两个输出节点解码为[01]或[10]？是的。但这是

我在tensorflow的最后一个项目是在2016年，从那时起，我开始了渴望执行。进一步阅读之后，似乎可以使用它来代替会话对象的原始方法 由于渴望执行可以提供更好的反馈和更直接的方法来设计和调试神经网络，我们应该始终在新项目中使用渴望执行，还是原始会话方法有优势？编辑： 下面的答案是基于“急切行动”的公告和当前可用的文档。然而，l给出了关于渴望模式的未来计划及其在TensorFlow 2.x中更重要的作用的进一步见解 不，渴望执行是作为学习和实验的“简单模式”引入的。TensorFlow的优势

给定一个tensorflow数据集 Train_dataset = tf.data.Dataset.from_tensor_slices((Train_Image_Filenames,Train_Image_Labels)) Train_dataset = Train_dataset.map(Parse_JPEG_Augmented) ... 我想对我的批次进行分层，以处理班级不平衡问题。我找到了tf.contrib.training.u样本，并认为可以通过以下方式使用它： Train_dat

假设培训结束：Keras在推断时（在LSTM和RNN层中）对第0个单元状态和隐藏状态使用什么值？我可以想到至少三种情况，但在文档中找不到任何结论性答案： （a） 初始状态被学习，然后用于所有预测 （b） 或者初始状态总是设置为零 （c） 初始状态总是随机的（希望不是…？）我的理解是，在大多数情况下，它们被初始化为零。如果使用LSTM（stateful=True），隐藏状态被初始化为零，使用fit或predict进行更改，并保持在任何状态，直到.reset\u states（）被调用。如果LSTM

我得到的错误是tf.fromPixels不是一个函数。两周前我还没有收到这个错误，但是我在运行相同的代码时突然收到了这个错误。看起来tf.fromPixels（）已经被删除，它的功能被tf.browser.fromPixels（）接管了 function preprocessImage(img) { const tensor = tf.fromPixels(img) .resizeNearestN

我正在为CNN训练tf.keras。保存检查点后，Keras没有开始下一个纪元 注意： 1） 使用tf.keras.callbacks.ModelCeckpoint作为保存程序 2） 用于培训使用的fit_生成器（） def iterate_小批量（输入、目标、批次大小）： 断言len（输入）=len（目标） 指数=np.arange（长度（输入）） np.random.shuffle（索引） 对于np.arange（0，len（输入）-batchsize+1，batchsize）中的start

我按照中的说明将我的ssd\u mobilenet\u v2\u coco模型转换为tflite。我已经将我的模型导出到tflite，它生成了tflite_graph.pb，然后当我用命令行将它转换到.tflite文件时 tflite_convert --graph_def_file=tflite_graph.pb \ --output_file=detect1.tflite \ --input_shapes=1,300,300,3

我正在通过阅读学习变分自动编码器的原理和实现。 在文档中，它说优化以下函数：log{p（x|z）}+log{p（z）}-log{q（z|x）}。然而，在代码中，我无法理解为什么实现使用交叉熵来计算log{p（x | z）}。有人能给我解释一下交叉熵是如何与log{p（x | z）}联系在一起的吗 提前谢谢。好的，这不是我的专业，但是。在定义变分损失时，我们通常谈论KL散度。交叉熵是KL散度和一个分布熵的总和。如果该分布的熵不依赖于模型参数（即它是抽样的），那么我们可以使用CE而不是KL来产生损失

我正在ubuntu 16.04上使用anaconda python 3.6。我有带quadro 4000图形卡的systme。我已经为运行tensorflow和keras安装了cuda 9.0.176和cudnn 7.1.4。运行代码时，我遇到以下错误： 2019-07-09 14:20:49.199895: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties: name

我正在尝试训练一个模型，该模型采用15x15图像，并将每个像素分为两类（1/0） 这是我的损失函数： smooth = 1 def tversky(y_true, y_pred): y_true_pos = K.flatten(y_true) y_pred_pos = K.flatten(y_pred) true_pos = K.sum(y_true_pos * y_pred_pos) false_neg = K.sum(y_true_pos * (1-y_pre

错误是内核重新启动：内核似乎已死亡。它将自动重新启动。Am按照上述步骤操作。内核在执行下面代码中的解释器.invoke（）时崩溃 我用Tensorflow 1.14.0在Jupyter笔记本上运行代码 编辑1：当我为二进制分类模型的.tflite文件运行相同的代码时，效果很好 interpreter = tf.lite.Interpreter(model_path=PATH_TO_MODEL) interpreter.allocate_tensors() # Get input and out

我有一个关于变分自动编码器中的损失函数的问题。我按照tensorflow示例创建了一个LSTM-VAE，用于对窦性函数进行采样 我的编码器输入是一组点x_i，sinx_i，用于随机采样的特定范围，作为解码器的输出，我期望类似的值 在tensorflow指南中，交叉熵用于比较编码器输入和解码器输出 cross_ent = tf.nn.sigmoid_cross_entropy_with_logits(logits=x_logit, labels=x) 这是有意义的，因为输入和输出被视为概率。但实

我正在使用TF2.0和tensorboard 2.0。我想在jupyter笔记本中使用tb，但出现错误： 错误：无法启动TensorBoard（以-6退出）。内容 stderr:[libprotobuf错误 external/com_google_protobuf/src/google/protobuf/descriptor_database.cc:393] 传递到的文件描述符数据无效 EncodedDescriptorDatabase:：Add（）。[libprotobuf致命 externa

环境变量TF_CUDA_COMPUTE_CAPABILITIES可以设置为： TF_CUDA_COMPUTE_CAPABILITIES=3.0,3.5,5.2,7.0,7.5，为什么可以设置多个值？我想，在编译时适合不同的CUDA Verison。我想，在编译时适合不同的CUDA Verison。TF_CUDA_COMPUTE_COMPUTE_CAPABILITIES是TensorFlow的一个构建时参数，如果在运行时设置它就没有效果 将其设置为多个值允许您构建TensorFlow安装映像，该映

所以我有一个冻结的tensorflow模型，可以用来对图像进行分类。当我尝试使用这个模型一个接一个地推断图像时，模型运行得越来越慢。我搜索并发现eval（）函数可能导致的问题，该函数将不断向图形中添加新节点，从而减慢过程 以下是我的代码的关键部分： with open('/tmp/frozen_resnet_v1_50.pb', 'rb') as f: graph_def = tf.GraphDef() graph_def.ParseFromString(f.read())

我对MNIST数字进行分类，我想对每个类的概率（不是潜在函数）进行多次采样。然而，gp.predict\u y仅给出了一种情况的概率 因此，我采用f_samples=gp.predict\u f_samples，它从底层潜在函数返回大量示例。 现在，如何通过鲁棒最大似然法“压缩”f_样本？ 我的家庭医生代码： kernel = gpflow.kernels.Matern52(input_dim=128, ARD=ARD, active_dims=np.arange(128))\ +

我对tfapi TF.data.Dataset.from_tensor_slices（）有问题 下面的代码运行良好： features = {'letter': [['A','A'], ['C','D'], ['E','F'], ['G','A'], ['X','R']]} letter_feature = tf.feature_column.categorical_column_with_vocabulary_list( "letter", ["A", "B"

我一直在使用tensorflow估计器API来训练模型。我以这种方式保存和加载检查点： estimator=tf.keras.estimator.model_to_estimator(keras_model=keras_model, model_dir=checkpoints_dir) estimator.train ... estimator.predict ... 这工作正常，我一直在保存检查点文件，如下所示： model.ckpt.data-00000-of-000001 mode

我想用python库构建tensorflow。目前我已经安装了tensorflow，但是在/usr/local/lib/python3.6/dist包中没有看到python包，所以当我尝试在python终端中导入tensorflow模块时，它失败了。但是，在 > /UR/LIB < /代码>和C++程序中都有库。 bazel构建中需要什么标志/目标？您可以通过以下方式获得python包中的TensorFlow： 直接执行pip安装tensorflow：它将通过直接下载一个wheel文件来安装预编

我在Vmware的ubuntu上使用rasa 1.9.6，我在培训和运行模型时都遇到了这个错误。它允许训练模型，但我无法运行它我需要运行我的机器人。请有人帮助我。根据，此问题的根源是tensorflow和图形卡配置。GPU通常不会为Rasa型号提供优势。可以放心地忽略这一点 安装nvidia modprobe可以解决此问题 sudo apt install nvidia-modprobe 您可以尝试的其他解决方案有： 卸载并安装CUDA和cuDNN 安装tensorflow gpu 卸载并安

我安装了NVIDIA RTX 2070 GPU和CUDA，但当我运行各种TFJS示例（如或）时，我看到我的CPU使用率达到100%，但GPU（通过NVIDIA smi计量）从未使用过 如何对此进行故障排除？我没有看到任何关于找不到GPU的控制台消息。TFJS文档对此非常含糊，只是说如果支持WebGL，它就使用GPU，如果找不到WebGL，它就求助于CPU。但同样，WebGL正在发挥作用。那么…如何帮助它找到我的GPU 其他相关的SO问题似乎与工作有关。这与此无关。 我说的是在我的浏览器的官方TF

完成迁移学习后，可以使用tf中心的模型。比如MobilNetV2或者《盗梦空间》。这些模型需要一定大小的输入和图像。因此，在应用模型之前，必须将图像调整为该大小。在这种情况下，使用以下方法： feature_extractor_url = "https://tfhub.dev/google/tf2-preview/mobilenet_v2/feature_vector/2" feature_extractor_layer = hub.KerasLayer(feature_

在使用KMeans时，我试图通过肘部方法和轮廓分数在数据上找到最佳数量的聚类。不过，我正在使用降维测试这些方法 如果我多次尝试PCA，每次都会得到相同的肘部方法和轮廓图。但是如果我为了同样的目的尝试一个带有神经网络结构的编码器，每次我都会得到不同的图形。因此，我没有信心使用这种编码器技术，因为它会产生不同的最佳聚类数 为什么会发生这种情况？即使我规范化了我的数据，结果也会不断变化 如何正确使用此编码器技术？我知道我可以简单地选择PCA，但我想了解并看看我是否做错了什么 这是我的代码，你可以运行几

我正在使用tf.loadLayersModel（）加载到并获取此错误： Error: Layer invocation in the presence of activity regularizer(s) is not supported yet. 我正在使用L2正则化器，为了确保它正常工作，我还包括以下内容： class L2 { static className = 'L2'; constructor(config) { return tf.regularizers.

我正在使用Keras构建一个ddpg模型，我遵循了这里的官方指示 但我想要的是我自己的环境，不是健身房，这是我自己的环境： class Environment1: def __init__(self, data, history_t=90): self.data = data self.history_t = history_t self.reset () def reset(self): self.t = 0 self.done = False

Tensorflow 2.0既有Luong风格的tf.keras.layers.Attention（）也有Bahdanau风格的tf.keras.layers.AdditiveAttention（）作为帮助提供。我想为文本分类建立一个双向LSTM模型，需要第一次尝试关注 让我们假设我的基本模型如下所示： model = Sequential() model.add(Embedding(max_words, emb_dim, input_length=max_len)) model.add(Bid

我从csv读取数据，其中标签列是整数的标签，例如0、1、2 ds_train = tf.data.experimental.make_csv_dataset( file_pattern = "./df_profile_seq_fill_csv/*.csv", batch_size=batch_size, column_names=use_cols, label_name='label', select_columns= select_cols,

下面是来自Keras的CycleGAN示例 这是我修改过的使用多个GPU的实现。为了实施定制培训，我使用了一个参考 我想要一个来自Keras的CycleGAN示例，使用GPU快速运行。此外，我还需要处理和训练大量数据。除了CycleGAN使用多个损耗函数外，train_step还将返回4种类型的损耗，目前，为了便于理解，我只返回一种。尽管如此，GPU的培训还是非常缓慢。我找不到这背后的原因 我是否错误地使用了tf.distribute.Strategy """ T

我目前正在尝试在tensorflow2中使用投影梯度下降进行对抗性训练。所以我想迭代地计算负损耗的梯度，当前的迭代，然后沿着负梯度的方向扰动我的批次 因此，我修改了中的示例，并尝试覆盖train\u步骤方法。但是，这给了我以下错误消息，我认为它禁用了tensorflow中的图形执行，并在急切执行中运行代码： E tensorflow/core/grappler/optimizers/meta_optimizer.cc:808] layout failed: Invalid argument: M