我想使用Tensorflow进行序列标记,即词性标记。我尝试使用这里概述的相同模型:(它概述了一个将英语翻译成法语的模型)
由于在标记中,输入序列和输出序列具有完全相同的长度,因此我配置了桶,以便输入和输出序列具有相同的长度,并尝试在ConLL 2000上使用此模型学习词性标记器
然而,解码器有时输出的标记序列似乎比输入序列短(似乎感觉EOS标记过早出现)
例如:
他估计9月份经常账户赤字将缩小到18亿欧元。
上面的句子被标记为有18个标记,填充到20个(由于bucketing)
当要求解码上述
我是Python的新用户,希望使用tensorflow。我想我通过Anaconda在我的mac OSX上成功安装了tensorflow。但我仍然不知道如何在Spyder上使用tensorflow。有人能帮我吗?非常感谢 系统默认python可能在命令行上使用,首先验证您使用的是来自anaconda发行版的python。首先设置环境变量
如果您不使用GPU支持构建tensorflow。您可以在一个命令中通过conda安装tensorflow
$conda安装-c tensorflow
在Spyde
在gensim word2vec中,输入可以是一个句子列表。然而,在tensorflow word2vec中,输入是一个单词列表(将句子连接在一起)。在构建{目标词,上下文词}对时,有没有办法将句子分开?
我正在使用以下代码:
该示例使用自定义op进行数据处理,主要是为了获得最佳性能。您可以自己输入数据,然后按照自己的意愿获得要训练的词对,使用小批量可能会稍微慢一点。对于大的小批量,速度应该不会太慢,但是对于这些类型的模型,使用小的小批量,您可能会获得最佳的学习进度。听起来您不希望句子末尾的单词
我正在使用tensorflow建立线性回归模型,下面是我的代码。但从我的实验来看,我必须对训练数据进行洗牌,否则权重和偏差将被估计为na。谁能给我解释一下为什么我要洗牌这些数据?谢谢
train_X = np.linspace(1, 50, 100)
train_Y = 1.5 * train_X + 10.0 + np.random.normal(scale=10, size=1)
data = list(zip(train_X, train_Y))
random.shuffle(data)
请参阅运行tensorflow官方教程中所示的tf.contrib.learn示例时的分段错误https://www.tensorflow.org/get_started/get_started
教程示例代码是
import tensorflow as tf
# NumPy is often used to load, manipulate and preprocess data.
import numpy as np
# Declare list of features. We only h
我希望每个人都有一个美好的一天
我正试图训练一个convnet以获得乐趣,但是TensorFlow Inception v3模型在我的文件夹中找不到任何文件,即使它们在那里
我在尝试训练时遇到了以下错误:
Looking for images in 'evening_star'
No files found
Looking for images in 'morning_star'
No files found
No valid folders of images found at /tf_fil
我正在运行一个CNN的左右鞋印分类。我有190000张训练图像,其中10%用于验证。我的模型设置如下所示。我得到所有图像的路径,读入它们并调整它们的大小。我规范化了图像,然后将其适配到模型中。我的问题是,我的训练准确率一直停留在62.5%左右,损失大约0.6615-0.6619。我做错什么了吗?我怎样才能阻止这种事情发生
请注意以下几点:
我首先在10张图片上测试了这一点,我遇到了同样的问题,但将优化器更改为adam,将批处理大小更改为4起作用
然后,我对越来越多的图像进行了测试,但每次我都需
我想在keras中使用一个上采样2D层,以便将图像大小增加一个小数因子(在本例中,从[213213]增加到[640640640])。该层按预期进行编译,但当我想在真实图像上进行训练或预测时,它们只会按与输入因子最接近的整数进行上采样。有什么想法吗?详情如下:
网络:
mp_size = (3,3)
inputs = Input(input_data.shape[1:])
lay1 = Conv2D(32, (3,3), strides=(1,1), activation='relu', pad
当我运行下面的Tensorflow代码时,我收到一个运行时错误,上面写着“试图使用一个关闭的会话”。有人能告诉我如何避免这个错误吗?代码如下:
# coding=utf-8
# (...imports omitted...)
# (...some constant declarations and helper functions omitted:
# max_steps, batch_size, log_dir, variable_with_weight_loss, variable_su
我正在尝试用tensorflow实现一个卷积神经网络来对文本进行分类。我已经找到了一些实现的模型,特别是两个实现:
[我不允许发布超过2个链接,我将尝试在评论中提供来源]
然而,它们的架构似乎有着根本的不同。第一个模型使用与输入数据并行的卷积,而第二个模型以顺序方式使用卷积。我用tensorboard可视化了两个模型:
首先是并行卷积。在卷积之后,结果是浓缩的,并且使用一个完全连接的层创建输出
顺序卷积似乎更直接,我们使用前一层的结果作为下一层的输入
所以我的问题是,既然这两种方法都用于对文
我使用分布式tensorflow从HDFS路径读取数据文件以进行训练
每个工人将运行tf.train.batch从同一组文件中检索数据批。我多次尝试重新运行该程序。对于每次运行,当有文件要读取时,不一致的工作人员子集将在培训开始时返回OutOfRangeError。它将抛出:
FIFOQueue'\u 0\u batch\u csv/fifo\u queue'已关闭且元素不足(请求2048,当前大小为0)
将HDFS路径中的内容排入队列的线程太慢了吗?谢谢,我知道这类问题,所以我做了一些检查。但
我试图将一维稀疏向量传递给Tensorflow:
将tensorflow导入为tf
将numpy作为np导入
x=tf.sparse\u占位符(tf.float32)
y=tf.sparse\u reduce\u和(x)
使用tf.Session()作为sess:
索引=np.array([0,1],dtype=np.int64)
values=np.array([1.5,3.0],dtype=np.float32)
shape=np.array([2],dtype=np.int64)
打印(s
我正在使用Tensorflow的简单音频识别教程构建一个唤醒词(ww)检测器。生成的模型大约需要5秒钟来检测输入音频文件是否为唤醒字。必须加快速度
我想知道是否有任何方法可以获得Alexa/Google Home检测其ww所需时间的指标/数据。那里似乎没有任何这样的文档。有没有人已经有了这种测量方法,以便我知道我自己的探测器可以更快地执行任务
假设我有下列张量
r = 8
c = 12
n = 2
a = np.arange(0, 96)
o = tf.ones([(n*2)+1, (n*2)+1], tf.int32)
m = tf.constant(a, tf.int32, [r,c])
[[ 0 1 2 3 4 5 6 7 8 9 10 11]
[12 13 14 15 16 17 18 19 20 21 22 23]
[24 25 26 27 28 29 30 31 32 33 34 35]
[36
我正在Keras(tensorflow后端)中构建一个简单的序列模型。在培训期间,我想检查各个培训批次和模型预测。因此,我试图创建一个自定义的回调,它保存每个训练批的模型预测和目标。但是,该模型不是使用当前批次进行预测,而是使用整个训练数据
如何仅将当前培训批交给回调
如何访问回调保存在self.prethis和self.targets中的批和目标
我目前的版本如下:
callback\u list=[prediction\u history((self.x\u train,self.y\u t
我想问一下tensorflow的版本是否与tensorboard的版本不同
我有一个问题(404问题),有人建议使用以下方法安装:
我检查了我的版本,它们都是1.6.0:
from tensorboard import version; print(version.VERSION)
import tensorflow as tf; print(tf.__version__)
1.6.0
另外,由于我不记得单独安装tensorboard(虽然我可能会弄错这一个),我想它应该在同一个版本上
所以,
我正在使用scikit培训一个模型,了解我的数据集中有一个ID列。我在训练模型时删除了ID列。但是对于测试数据集,我需要在做预测后将其映射回ID列
最好的方法是什么?在scikit learn中构建模型时,我们可以设置非预测列?另外,其他的ML工具,比如TensorFlow,Spark ML,一般来说又如何呢。他们支持这个功能吗
我在stackoverflow上发现了这个,但正在寻找其他选项。我假设您将数据(X)存储在pd.DataFrame中。
如果是这种情况,只需将值提取到numpy nda
请帮助我解决这个问题-我使用Google的Colaboratory运行tensor_hub示例文本分类和TF hub,它需要1.7.0之后的版本,但我安装的版本是1.8.0
#安装最新的Tensorflow版本。
!pip安装--安静的“tensorflow>=1.7”
#安装TF轮毂。
!pip安装tensorflow轮毂
导入tensorflow作为tf
将tensorflow_hub导入为hub
将matplotlib.pyplot作为plt导入
将numpy作为np导入
导入操作系统
作
我发现,在这种情况下,TF估计器与Dataset配对使用了不合理的巨大内存(约1GB),需要数十分钟,尽管批处理大小只有10,迭代次数为100。
模型初始化代码:
classifier = tf.estimator.LinearClassifier (
feature_columns=construct_feature_columns(),
n_classes=10,
optimizer=my_optimizer,
config=tf.estimator.RunConfig(ke
当OpenCV和tensorflow都使用libgtk时,就会出现分段错误。我在下面给出了一个创建问题的简单脚本、相关的硬件和软件版本以及堆栈跟踪。FWITW,三月份我在另一台机器上安装opencv、tensorflow、pandas等的相同版本时,工作正常。不确定到底发生了什么变化
如何制造问题
下面的脚本工作得很好。按预期捕获并显示帧
import cv2
cv2.namedWindow('frame')
但是,如果我在上面的任何地方添加一行“import pandas”或“import
下面是一段用于训练简单神经网络的代码
for epoch in range(hm_epochs):
epoch_loss = 0
for _ in range(int(mnist.train.num_examples/batch_size)):
epoch_x, epoch_y = mnist.train.next_batch(batch_size)
_, c = sess.run([
我正在尝试建立机器学习程序,以比较猫和狗的图像,并已成功创建TFRecords文件,现在当我尝试读取该文件进行培训时,我收到一个错误,如下所示。这是我的代码:
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
data_path = 'train.tfrecords'
with tf.Session() as sess:
feature = {'train/image': tf.Fixe
Google给出了以下数据流图作为示例,没有对场景本身进行任何解释()。
我无法理解这样一个图形的用例。为什么我们需要在ReLu层之上有一个Logit层?Softmax有什么用途(看不到输出和其他节点之间的任何链接)?四个参数(两个权重和两个偏差)的含义是什么?我希望看到一个与这个数据图相匹配的真实案例 此图是一个密集层,后面是softmaxlayer。它基本上是一个神经网络,有一个隐藏层用于分类 我认为这个图表背后的想法是创建一个例子,它涵盖了TensorFlow中使用的大量词汇。对于大多数
我正在将我的计算机设置为使用GPU运行DL,但我找不到是否应该安装keras或keras GPU的信息。目前,我使用tensorflow gpu作为后端运行conda和keras。如果我将keras切换到keras gpu,会有什么不同 这是从维基百科借来的一段:
Keras被认为是一个接口,而不是一个独立的机器学习框架。它提供了更高层次、更直观的抽象集,使开发深度学习模型变得更容易,而不必考虑所使用的计算后端。
因此,只要Keras的三个后端(TensorFlow、Microsoft认知工具
由于某些原因,我无法同时检测多张脸。它一次只能检测一张脸。我如何解决这个问题?我在下面添加了代码。我使用谷歌的facenet进行实时人脸识别
在视频输出中,它一次仅在一个面上创建边界框。但在控制台输出中,可以计算出存在的面数为两个或两个以上
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import tensorflow a
我刚开始在spyder中使用tensorflow和keras。我试图运行一个张量流示例:。但当我关闭控制台并再次运行代码时,keras模块似乎找不到,并显示以下错误
ImportError: cannot import name 'keras'
我已经在我的巨蟒上安装了keras和tensorflow。我在spyder上使用windows 10运行此功能。我在stackoverflow上看到的另一个答案是安装keras,我已经这样做了。我已经尝试过安装和重新安装它,但在我杀死内核后,错
我在Keras有一个定制模型。它本质上是RNN模型,每一步都计算负采样损失,即正对数和负对数上的s形
from tensorflow.keras.layers import Input, Embedding, GRU, dot, Dense, add, concatenate, multiply, Subtract
class rnn_neg_sampling(keras.models.Model):
def __init__(self, vocab_size, dim, seq_le
我正在使用Keras训练一名ANN。训练本身由指挥部完成:
history=model.fit(x_train,y_train,batch_size=32,epochs=500,verbose=1,validation_split = 0.2 ) #train on the noise (not moshe)
fit=model.predict(x_test)
loss = history.history['loss']
val_loss = history.history['val_loss'
我有一个神经网络,它已经在本地训练过,可以检测场景中的物体
但我必须将神经网络分成两部分,假设它有16层,我想让一个微服务处理前8层,并将第8层的输出提供给下一个微服务,它从那里获取数据,然后继续第9层(第2个微服务中的第1层)
将图像发送到第一个微服务将给出第二个微服务的结果,使用TensorFlow是否可行?是,可行。您可以将图形分成两部分,设置服务并将它们连接起来,以便一个将其输出发送给另一个。你现在有什么?你在哪一步上有困难?实际上,我在从第8层提取数据并在下一个微服务中从第9层启动神经
例如,我在pytorch中有一个cuda tensor,如何在gpu中将其直接转换为mxnet/tensorflow,而不将其复制到cpu?经常在cpu和gpu之间复制数据非常耗时。最快的方法就是使用它
只有CPU支持通过PyTorch共享张量
如果你想做一些Python展示,你会因为GIL而慢下来。我现在没有@古旺。
今天,我使用Tensorflow 2.0中的tf.Estimator高级API建立了一个定制模型。
在***中运行它是一件痛苦的事情,而且在Tensorflow 2中实现自定义估计器的在线完整示例非常少,这让我质疑使用此API的原因
根据文件,使用tf.Estimator API的主要优点是:
您可以在本地主机或分布式多服务器环境上运行基于估计器的模型,而无需更改模型。此外,您可以在CPU、GPU或TPU上运行基于估计器的模型,而无需重新编码您的模型
您不再需要担心创建计算图或会话,因为估计器为
现在它引发了错误状态ValueError:没有为任何变量提供梯度:['sequential_1/l1/kernel:0'、'sequential_1/l1/bias:0'、'sequential_1/l2/bias:0'、'sequential_1/dense_1/kernel:0'、'sequential_1/dense_1/bias:0'.
这太奇怪了,因为我把神经网络作为可训练变量,它在正向过程中传递。我看了教程,但看起来所有新的实现都需要手动调用梯度函数并将梯度应用到优化器
旧的方法,通
在计算我的CNN深度学习网络时,使用交叉熵函数计算训练阶段的损失:
tf.nn.weighted_cross_entropy_with_logits(targets = labels_flat, logits = logits_flat, pos_weight=98.22)
但是,它假设预测和地面真相的位置很好,但这里的情况并非如此。事实上,我的基本真理可以从2-3个像素局部移动,因此,我想使用“像素级”比较的不确定性来计算交叉熵
为此,我将按照以下步骤进行处理:
我定义了想要的不确定性,这里
在Tensorflow2.0中,我发现我可以用以下方式初始化模型中的变量
classmymodel(tf.keras.Model):
定义初始化(self,*args,kwargs**):
“这里有一些定义”
self(tf.keras.Input(shape=(3,))
def呼叫(自我,x):
“某些实现”
但我不能做像这样的事情
classmymodel(tf.keras.Model):
定义初始化(self,*args,kwargs**):
“这里有一些定义”
self.step(tf
如果数据中只有两个标签,LabelBinarizer.fit_transform将返回只有一列的数组
但对于我用例的tensorflow模型训练,我需要的是标签数组中的2列。
如何使用LabelBinarizer实现这一点,或者是否有其他API?或者是否需要通过迭代手动修改数组?由于您使用的是TensorFlow,因此可以使用
我想知道是否有人知道为什么Conv2d操作的失败次数是2而不是1。在下面的示例中,输入是具有1个通道的1x1图像,批大小为1。卷积中的特征数也是1,没有偏差。理想情况下,乘法数应为1。但TF profiler的输出显示失败次数为2次。失败是否包括乘法以外的内容?谢谢
以下是一个例子:
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0' # assuming you have a gpu0
import tensorflow as tf
from
首先,我试图研究其他类似的问题,但它并没有解决我的问题
我有一个项目要求我使用数据扩充来增加样本,并使用VGG16进行迁移学习以提高准确性。我在网上找到了这个Github链接,并尝试将其应用于我的项目,但错误是列表索引超出范围。我已经在数据-->训练或测试-->良性或恶性中加载了图像。我的图像的形状是(360560,3)。我使用的是Tensorflow 2.1.0。这是我的密码
import random
import numpy as np
from numpy.random import r
我想在进行深度学习时找到我的GPU的实际TFLOP
有没有办法找到训练ResNet50这样的模型所需的浮点运算
我在网上找到了一些判断推理失败的方法(一张图片),但我不确定这将如何转化为训练
我认为这将是模型*图像数量*时代的失败,但这样我就没有考虑反向传播
我发现一些基准测试可以输出每秒处理的图像数量,这会有帮助吗
嗨,我一直在用阿德里安的指南
我正试图在Jetson Nano上运行Tensorflow 1.13.1。当我启动python并导入tensorflow时,会出现以下错误:
Python 3.6.9(默认值,2020年4月18日01:56:04)
linux上的[GCC 8.4.0]
有关详细信息,请键入“帮助”、“版权”、“信用证”或“许可证”
输入张量流
回溯(最近一次呼叫最后一次):
文件“/home/zachwad/.virtualenvs/py3cv4/lib/python3.6/sit
我有一个CNN节目,它成功地运行了,但我得到了一些类似这样的警告
它也不断地发出类似的警告,我的环境有什么问题吗?我使用的是Tensorflow 1.15.0不,您的环境没有问题
这些都是纯粹的弃用警告,一旦您将tensorflow版本更新为>=2.0.0,您将不会收到这些警告。我应该将tensorflow更新为2.0还是保留为1.15?这取决于您正在处理的项目。如果你有确切的要求,需要1.15,你不应该。否则,您可以更新到目前最新版本的2.1或2.2。既然我的评论回答了你的问题,我将恳请你接
我有一个我一直在训练的模型,我想增加我最初为AdamW设置的权重衰减参数
为了方便起见,这里是优化器的文档
和样本初始化
tfa.optimizers.AdamW(
weight_decay: Union[FloatTensorLike, Callable],
learning_rate: Union[FloatTensorLike, Callable] = 0.001,
beta_1: Union[FloatTensorLike, Callable] = 0.9,
我定义了一个损失函数,但当我运行model.fit()时,我遇到了一个无法解决的错误
这是我的损失函数:
def l2_loss_eye_distance_normalised(y_actual, y_pred):
#this loss function expects an exact, specific indexing order in the labels
# the squared, ground truth, interocular distance
eye
是否可以使用Keras调谐器使用时间序列分割来调整NN,类似于sklearn中的sklearn.model_selection.TimeSeriesSplit
例如从中考虑一个采样调谐器类
调谐器:
tuner_rs = RandomSearch(
hypermodel,
objective='mse',
seed=42,
max_trials=10,
executions_p
我有一个可以通过ModelConfig配置的生产模型,我自己编写了一个类配置(dict)。在该ModelConfig中,我正在设置hidden\u size=123。以下是我的生产型号代码的简化:
类配置(dict):
# ..
def作为命令(自身)->命令:
返回self.\u serialize()
类ModelConfig(Config):
隐藏大小:int=123
现在,我有一个自定义的keras模型,它的实现方式如下:
类MyModel(keras.Model):
def uuu
标签: Tensorflow
conv-neural-networktensorflow2.0layermax-pooling
我有一个名为“model”的CNN模型,我试图将卷积特征图可视化。
我可以通过执行以下操作来完成前两个卷积层:
inp= model.inputs #input of model
out2= model.layers[2].output #output
feature_map_2= Model(inputs= inp, outputs= out2) #defining the model
f2=feature_map_2.predict(test_img) #predicting
但是当我
标签: Tensorflow
tensorflow-datasetstraining-databatchsize
我研究了一个图像分割问题,其中有一个tensorflow数据集格式的数据管道,并使用tensorflow迭代器。
现在我已经将训练图像的数量从以前的250张增加到500张。我有一个单独的图像增强管道。我的问题是
如果我使用相同的批处理大小=16,是否会因为图像数量的增加而产生影响?我已经设定了一个240步的时代。正如我从Tensorboard中每个历元的日志文件中看到的,网络在每个步骤中只输入16个图像,并且重复同一批,并且图像在单个历元运行期间不会改变?那么,这是否意味着它在240个步骤中只训
我正在尝试编写一个自定义包装层,如下面的一个(简化),其中我要修改包装层的内核权重:
import tensorflow as tf
class MyWrapper(tf.keras.layers.Wrapper):
def __init__(self, layer: tf.keras.layers, **kwargs):
super().__init__(layer, **kwargs)
def call(self, inputs, **kwargs):
错误:
未实现文件系统方案“[local]”(文件:'/content/drive/MyDrive/foop/train/bete_sala/2056837.jpg')[[{node ReadFile}}]]
...
导入操作系统
from google.colab import drive
drive.mount('/content/drive', force_remount=True)
import matplotlib.pyplot as plt
import numpy as np
i
我不知何故删除了conda UI中唯一工作的tensorflow环境。它的文件夹仍然存在于conda/envs中,但我找不到.yml文件将其导入回
有什么方法可以让我免于几个小时的悲伤吗?当你做conda info--envs时,环境不再出现了?首次设置时遇到问题?文件夹中是否仍有环境?或者它只是散乱者(例如,安装了pip)的软件包?如果完整环境仍然存在,conda activate/path/to/the/envs/env_name应该可以工作。从理论上讲,我们应该能够用conda meta/
我不熟悉张量流。只是想知道为什么一个参数为51264的(7,7,64)形状在经过平坦层时会丢失所有参数。我假设展平层就是这样做的,但我只是想知道丢失的参数会发生什么;这些参数有用吗?如果通过参数,你指的是层中的权重和偏差(我猜是这样),那么这些参数不会传递到任何地方。这些参数将附着到图层和节点。在训练期间,我们尝试使用优化算法和反向传播过程来优化这些参数。将要传递的是输入。例如,如果将一个带有形状(Batch_size,7,7,64)的张量作为输入传递给展平层,那么输出的形状将为[Batch_s
上一页 1 2 3 4 5 6 ...
下一页 最后一页 共 394 页