C++ 使用两个不同LMDB的多标签

我是caffe框架的新手，我想使用caffe实施多标签培训。我使用两个LMDB分别保存数据和标签。数据LMDB的尺寸为Nx1xHxW，而标签LMDB的尺寸为Nx1x1x3。标签是浮动数据

文本文件如下所示：

5911 3
train/train_data/4224.bmp        13         0        12
train/train_data/3625.bmp        11         3         7
...                              ...

我使用C++来创建LMDB。My main.cpp：

#include <algorithm>
#include <fstream>  // NOLINT(readability/streams)
#include <string>
#include <utility>
#include <vector>
#include <QImage>

#include "boost/scoped_ptr.hpp"
#include "gflags/gflags.h"
#include "glog/logging.h"

#include "caffe/proto/caffe.pb.h"
#include "caffe/util/db.hpp"
#include "caffe/util/format.hpp"
#include "caffe/util/rng.hpp"

#include <boost/filesystem.hpp>
#include <iomanip>
#include <iostream>  // NOLINT(readability/streams)
#include <string>

#include "google/protobuf/message.h"

#include "caffe/common.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/format.hpp"

#ifndef CAFFE_TMP_DIR_RETRIES
#define CAFFE_TMP_DIR_RETRIES 100
#endif

using namespace caffe;  // NOLINT(build/namespaces)
using std::pair;
using boost::scoped_ptr;

const char *dat_lab="/home/mul/caffe-master/examples/2D_3D/new/info/train.data";
string data_db="/home/mul/caffe-master/examples/2D_3D/new/2D_3D_data_leveldb";
string label_db="/home/mul/caffe-master/examples/2D_3D/new/2D_3D_label_leveldb";
string root="/home/mul/caffe-master/examples/2D_3D/new/";
string path;

int main()
{

    //Create data DB
    scoped_ptr<db::DB> dat_db(db::GetDB("leveldb"));
    dat_db->Open(data_db, db::NEW);
    scoped_ptr<db::Transaction> dat_txn(dat_db->NewTransaction());

    //Create label DB
    scoped_ptr<db::DB> lab_db(db::GetDB("leveldb"));
    lab_db->Open(label_db, db::NEW);
    scoped_ptr<db::Transaction> lab_txn(lab_db->NewTransaction());

    //Storing to db
    Datum dat_datum,lab_datum;
    int count=0;

    std::ifstream infile(dat_lab);
    std::string filename;
    const char *dataname;
    int dataNum;
    int labelcount;
    QImage img;
    infile>>dataNum>>labelcount;
    LOG(INFO) << "A total of " << dataNum<< " images.";

    for (int line_id = 0; line_id < dataNum; ++line_id)
    {
        infile>>filename;
        path=root+filename;
        dataname=path.c_str();
        img.load(dataname);

        dat_datum.set_channels(1);
        dat_datum.set_height(img.height());
        dat_datum.set_width(img.width());
        dat_datum.clear_data();
        dat_datum.clear_float_data();

        int datum_channels = dat_datum.channels();
        int datum_height = dat_datum.height();
        int datum_width = dat_datum.width();
        int datum_size = datum_channels * datum_height * datum_width;
        std::string buffer(datum_size, ' ');
        const uchar* ptr = img.bits();
        int img_index = 0;
        for (int h = 0; h < datum_height; ++h)
        {

            for (int w = 0; w < datum_width; ++w)
            {
                for (int c = 0; c < datum_channels; ++c)
                {
                    int datum_index = (c * datum_height + h) * datum_width + w;
                    buffer[datum_index] = static_cast<char>(ptr[img_index++]);
                }
            }
        }
        dat_datum.set_data(buffer);


        lab_datum.set_channels(labelcount);
        lab_datum.set_height(1);
        lab_datum.set_width(1);
        lab_datum.clear_data();
        lab_datum.clear_float_data();
        for(int i=0;i<labelcount;++i)
        {
            float mid;
            infile>>mid;
            lab_datum.add_float_data(mid);
        }

        // sequential
        string key_str = caffe::format_int(line_id, 8);

        // Put in db
        string out;
        CHECK(dat_datum.SerializeToString(&out));
        dat_txn->Put(key_str, out);
        CHECK(lab_datum.SerializeToString(&out));
        lab_txn->Put(key_str, out);

        if (++count % 1000 == 0)
        {
            // Commit db
            dat_txn->Commit();
            dat_txn.reset(dat_db->NewTransaction());
            lab_txn->Commit();
            lab_txn.reset(lab_db->NewTransaction());
            LOG(INFO) << "Processed " << count << " files.";
        }
    }
    // write the last batch
    if (count % 1000 != 0)
    {
        dat_txn->Commit();
        lab_txn->Commit();
        LOG(INFO) << "Processed " << count << " files.";
    }
    return 0;
}

#包括
#include//NOLINT（可读性/流）
#包括
#包括
#包括
#包括
#包括“增压/范围内的水电站”
#包括“gflags/gflags.h”
#包括“glog/logging.h”
#包括“caffe/proto/caffe.pb.h”
#包括“caffe/util/db.hpp”
#包括“caffe/util/format.hpp”
#包括“caffe/util/rng.hpp”
#包括
#包括
#include//NOLINT（可读性/流）
#包括
#包括“google/protobuf/message.h”
#包括“caffe/common.hpp”
#包括“caffe/proto/caffe.pb.h”
#包括“caffe/util/format.hpp”
#ifndef CAFFE_TMP_DIR_重试
#定义CAFFE\u TMP\u目录重试100次
#恩迪夫
使用名称空间caffe；//NOLINT（生成/名称空间）
使用std：：pair；
使用boost:：scoped_ptr；
const char*dat_lab=“/home/mul/caffe master/examples/2D_3D/new/info/train.data”；
字符串data_db=“/home/mul/caffe master/examples/2D_3D/new/2D_3D_data_leveldb”；
字符串label_db=“/home/mul/caffe master/examples/2D_3D/new/2D_3D_label_leveldb”；
字符串root=“/home/mul/caffe master/examples/2D_3D/new/”；
字符串路径；
int main（）
{
//创建数据数据库
范围数据库（db:：GetDB（“leveldb”）；
数据数据库->打开（数据数据库，数据库：：新建）；
作用域为dat_db->NewTransaction（）；
//创建标签数据库
作用域数据库（db:：GetDB（“leveldb”）；
实验室数据库->打开（标签数据库，数据库：：新建）；
作用域为（lab_db->NewTransaction（））；
//存储到数据库
基准数据，实验室数据；
整数计数=0；
标准：ifstream INFLE（dat_实验室）；
std：：字符串文件名；
常量字符*数据名；
int-dataNum；
int-labelcount；
QImage img；
infle>>dataNum>>labelcount；
日志（信息）mid；
实验室数据。添加浮动数据（mid）；
}
//连续的
字符串key\u str=caffe:：format\u int（行id，8）；
//输入分贝
串出；
检查（数据序列化字符串（&out））；
dat_txn->Put（按键，输出）；
检查（实验室数据序列化字符串（&out））；
实验室txn->Put（按键，输出）；
如果（++计数%1000==0）
{
//提交数据库
dat_txn->Commit（）；
dat_txn.reset（dat_db->NewTransaction（））；
lab_txn->Commit（）；
重置（lab_db->NewTransaction（））；
LOG（INFO）作为一个整体，上面的代码还可以，但您应该注意：

您的.cpp是创建LEVELDB而不是LMDB，当然这不是导致问题的原因，两种类型都可以
您的代码生成的标签是维度的Nx3x1x1而不是Nx1x1x3（NumberxChannelxWidthxHeight）

在使用minibatch SGD的学习任务中，据我所知，洗牌数据以获得更优化的模型非常有用。我不确定您是否注意到这一点。但至少您的cpp没有洗牌您的“train.data”
最重要的是，导致您出现问题的原因很可能是您网络中的数据层读取了您的数据并标记了lmdb/leveldb文件，因为您将标签分配给了DATAM的浮点数据，而caffe中的数据层实际上不读取浮点数据（只有使用自定义数据层的情况下才可以）。因此，请同时上传定义网络的prototxt文件。这样我们才能了解问题的真正原因
最后，我添加了一个“MultiTaskData”层，用于从多任务培训的数据中读取多个标签，您可以进行简单的修改，将其添加到您的caffe中，并使用如下方式：

    name: "AgeNet"
    layer {
        name: "Age"
        type: "MultiTaskData"
        top: "data"
        top: "age_label"
        top: "gender_label"
        data_param { 
            source: "age_gender_classification_0_60p_train_leveldb"   
            batch_size: 60 
            task_num: 2
            label_dimension: 1
            label_dimension: 1
        }
        transform_param {
            scale: 0.00390625
            crop_size: 60
            mirror: true
        }
        include:{ phase: TRAIN }
    }
    layer { 
        name: "cls_age" 
        type: "InnerProduct"
        bottom: "data"  
        top: "cls_age" 
        param {
            lr_mult: 1
            decay_mult: 1
        }
        param {
            lr_mult: 2
            decay_mult: 0
        }
        inner_product_param {
            num_output: 7
            weight_filler {
            type: "xavier"
            }    
        bias_filler {      
            type: "constant"
            }  
        }
    }
    layer {  
        name: "age_loss"  
        type: "SoftmaxWithLoss"  
        bottom: "cls_age" 
        bottom: "age_label"
        top: "age_loss"
        include:{ phase: TRAIN }
    }
    layer { 
        name: "cls_gender" 
        type: "InnerProduct"
        bottom: "data"  
        top: "cls_gender" 
        param {
            lr_mult: 1
            decay_mult: 1
        }
        param {
            lr_mult: 2
            decay_mult: 0
        }
        inner_product_param {
            num_output: 2
            weight_filler {
                type: "xavier"
            }    
            bias_filler {      
                type: "constant"
            }  
        }
    }
    layer {  
        name: "gender_loss"  
        type: "SoftmaxWithLoss"  
        bottom: "cls_gender" 
        bottom: "gender_label"
        top: "gender_loss"
        include:{ phase: TRAIN }
    }

为什么使用<代码> DATA数据？SETIODATA（缓冲区）< /C> >在使用“代码”> LabyDATAM.ADDIOFLATATODATA（MID）< /C>标签的情况下设置图像数据？我没有经验，<>代码>数据< /COD> C++接口，但有可能设置<代码> LabyDATAM.SETIVAL通道（LabelCalt）<代码> >然后使用<代码> AddioFooLaTyDATA < /代码>方法更改数据的大小，并最终在“代码> 3, 4, 5”/代码>位置设置标签值，而不是<代码> 0, 1, 2 >代码>，而不是使用LealFB用于标签，为什么不考虑使用HDF5输入？请参见一个例子。计算机的y无法加载所有数据。这就是为什么我不接受hdf5。我刚刚解决了这个问题，谢谢你的回答。你能分享你的解决方案吗？顺便说一句，你不需要将所有数据放在一个hdf5文件中：caffe支持存储在多个hdf5文件中的数据。首先，我的方法是正确的。但是当我使用我的网络经过测试的培训，我得到了错误的答案，因为我使用不同的方式打开图片数据。此外，如果方便的话，你能告诉我如何在caffe中使用几个hdf5文件吗？谢谢你的回答，我已经解决了我的问题。