Multithreading Torch-多线程将张量加载到队列中以进行训练

我希望使用库线程（或者并行线程）将数据加载/预处理到队列中，但我不完全确定它是如何工作的。总之,

加载数据（张量），预处理张量（这需要时间，因此我在这里）并将它们放入队列中。我希望有尽可能多的线程这样做，这样模型就不会等待或等待太久

对于队列顶部的张量，将其提取并通过模型转发，然后将其从队列中移除

我对这个例子的理解还不够透彻。如果能给我一个提示或示例，告诉我在哪里将数据加载到队列中，然后进行训练，那就太好了

2016年3月14日编辑

---

在本例中，使用低级线程，是否有人知道如何将这些线程中的数据提取到主线程中

看看这个多线程数据提供程序：

它在线程中运行此文件：

在这里打电话：

然后，如果要将作业排队到线程中，则提供两个函数： 第一个在线程内运行，第二个在第一个线程完成后在主线程中运行

---

希望这能让它更清楚一点。

如果前面答案中的Soumith示例不太容易使用，我建议您从头开始构建自己的管道。我在这里提供了两个同步线程的示例：一个用于写入数据，另一个用于读取数据：

local t = require 'threads'
t.Threads.serialization('threads.sharedserialize')
local tds = require 'tds'
local dict = tds.Hash()  -- only local variables work here, and only tables or tds.Hash()
dict[1] = torch.zeros(4)

local m1 = t.Mutex()
local m2 = t.Mutex()
local m1id  = m1:id()
local m2id  = m2:id()

m1:lock()

local pool = t.Threads(
  1,
  function(threadIdx)
  end
)

pool:addjob(
  function()
    local t = require 'threads'
    local m1 = t.Mutex(m1id)
    local m2 = t.Mutex(m2id)

    while true do
      m2:lock()
      dict[1] = torch.randn(4)
      m1:unlock()

      print ('W ===> ')
      print(dict[1])
      collectgarbage()
      collectgarbage()      
    end

    return __threadid
  end,
  function(id)
  end
)

-- Code executing on master:
local a = 1
while true do
  m1:lock()
  a = dict[1]
  m2:unlock()

  print('R --> ')
  print(a)
end

---

我确实看到了这个例子，但如果我诚实的话，它又有点复杂。不确定是否有外行的例子。