Python 带有附加文本输入的ImageDataGenerator

我试图实现的体系结构如下： . “我的图像”按标签拆分为文件夹，如下所示：

root/
    ├── train/
    │   ├── class1/
    │   ├── class2/
    │   ...
    │
    └── validation/
       ├── class1/
       ├── class2/
       ...

我还有一个CSV文件，其中包含图像名称、图像标签（一个图像可以有多个类标签）和其他信息：

+--------+---------------+-------+------+
| File  |    Labels     | Info1 | Info2 |
+-------+---------------+-------+-------+
| 1.png | class1        | 0.512 |     1 |
| 2.png | class2        |   0.4 |     0 |
| 3.png | class1|class2 |  0.64 |     1 |
+-------+---------------+-------+-------+

我的网络模型有两个输入，一个用于处理图像，另一个连接到密集层之前的最后一层：

input_shape=（img_高度，img_宽度，1）
img_输入=输入（输入_形状）
向量输入=输入（（2，））
res=零填充2D（（3，3））（img_输入）
#处理。。。
res=展平（）（res）
res=Concatenate（）（[res，vec_输入]）
res=密集（类，激活class='softmax'，name='fc'+str（类））（res）

要获取图像，我正在使用ImageDataGenerator和来自\u目录的flow\u，它只用于获取图像数据：

validation\u datagen=ImageDataGenerator（重缩放=1./255）
验证\u生成器=验证\u datagen.flow\u来自\u目录(
行政总监，
目标大小=（目标大小，目标大小），
批次大小=批次大小，
class_模式=class_模式，
颜色模式=颜色模式）
#同样，对于列车数据生成器。。。
#使用上述定义的数据生成器训练模型
历史=model.fit\u生成器(
列车发电机，
时代，
验证\数据=验证\生成器）

我现在需要使用每个图像的附加信息作为模型中的vec_输入。我已经看过如何使用来自数据帧的flow_并创建自定义生成器，但不确定如何实现这一点。如果需要的话，我可以通过将图像放在同一个文件夹中来重新构造图像，不过我想我不能使用来自目录的flow\u。有什么办法可以做到这一点吗

编辑：

如果有人需要解决方案，以下是我能想到的：

class CustomSequenceGenerator(Sequence):

    def __init__(self, image_dir, csv_file_path, label_path, dim=448, batch_size=8,
                 n_classes=15, n_channels=1, vec_size=3, shuffle=True):
        # Keras generator
        self.image_dir = image_dir
        self.image_file_list = os.listdir(image_dir)
        self.batch_size = batch_size
        self.csv_file = pd.read_csv(csv_file_path)
        self.n_classes = n_classes
        self.dim = dim
        self.n_channels = n_channels
        self.shuffle = shuffle
        self.vec_size = vec_size
        self.labels = get_class_labels(label_path)
        self.labels_dict = dict(zip(self.labels, range(0, len(self.labels))))

        self.csv_file.set_index('File', inplace=True, drop=True)

    def __len__(self):
        """It is mandatory to implement it on Keras Sequence"""
        return int(np.ceil(len(self.image_file_list) / float(self.batch_size)))

    def __getitem__(self, index):

        # Generate indexes of the batch
        samples = self.image_file_list[index * self.batch_size:(index + 1) * self.batch_size]

        x, y = self.__data_generation(samples, index)
        return x, y

    def __data_generation(self, samples, start_index):

        x_batch_image = np.empty((self.batch_size, self.dim, self.dim, self.n_channels))
        x_batch_vector = np.empty((self.batch_size, self.vec_size))
        y_batch = np.empty((self.batch_size, self.n_classes))
        self.csv_file.reindex()
        for i, sample in enumerate(samples):
            image_file_path = self.image_dir + "/" + sample
            image = self.preprocess_image(Image.open(image_file_path), 448)

            features, labels = self.preprocess_csv(self.csv_file, sample, self.labels_dict, self.n_classes)
            x_batch_image[i] = image
            x_batch_vector[i] = features
            y_batch[i] = labels

        return [x_batch_image, x_batch_vector], y_batch

---

我认为实现这一点的最佳方法是实现一个定制，可能继承

ImageDataGenerator

的方法。也许您所需要的并不需要像

ImageDataGenerator

那样复杂（即随机变换、图像保存、插值），在这种情况下，您不需要继承它。

我认为实现这一点的最佳方法是实现自定义，可能继承

ImageDataGenerator

的方法。也许您所需要的并不需要

ImageDataGenerator

的所有复杂性（即随机变换、图像保存、插值），在这种情况下，您不需要继承它