Python 3.x RNN实现

Python 3.x RNN实现,python-3.x,recurrent-neural-network,pytorch,rnn,Python 3.x,Recurrent Neural Network,Pytorch,Rnn,我将使用Pytorch实现RNN。但是,在此之前,我在理解问题中提出的字符级别1热编码方面遇到了一些困难 请找出下面的问题 选择你想让你的神经网络学习的文本,但要记住 为了了解结构,数据集必须相当大!RNN已经过培训 在高度多样化的文本(小说、歌词、Linux内核等)上获得成功,所以 你可以变得有创造力。作为一个简单的选择,古腾堡图书是免费图书的来源 您可以下载.txt格式的完整小说 我们将使用此模型的字符级表示。为此,您可以使用 扩展ASCII码,256个字符。当你阅读你选择的训练集时,你会

我将使用Pytorch实现RNN。但是,在此之前,我在理解问题中提出的字符级别1热编码方面遇到了一些困难

请找出下面的问题

  • 选择你想让你的神经网络学习的文本,但要记住 为了了解结构,数据集必须相当大!RNN已经过培训 在高度多样化的文本(小说、歌词、Linux内核等)上获得成功,所以 你可以变得有创造力。作为一个简单的选择,古腾堡图书是免费图书的来源 您可以下载.txt格式的完整小说

  • 我们将使用此模型的字符级表示。为此,您可以使用 扩展ASCII码,256个字符。当你阅读你选择的训练集时,你会 将字符一次读入一个热编码,即每个字符 将映射到一个由1和0组成的向量,其中1表示哪个字符 出席者:

    煤焦→ [0, 0, · · · , 1, · · · , 0, 0] 您的RNN将读取这些长度为256的二进制向量作为输入

例如,我读了一本python小说。唯一字符总数为97个。总角色数大约在30万左右

那么,我的输入是97 x 256一个热编码矩阵吗


或者一个热编码矩阵是300000 x 256?

一个热编码矩阵假设每个向量在一个地方都不同。所以,如果你有97个唯一字符,那么我认为你应该使用大小为(97+1=98)的1-hot向量。额外的向量将所有未知字符映射到该向量。但也可以使用256长度的向量。因此,您的输入将是:

B x N x V(B=批大小,N=字符数,V=一个热向量大小)

但是,如果您使用库,它们通常会询问词汇表中字符的索引,并处理索引到一个热转换。希望有帮助