Python 同时洗牌两个numpy阵列的更好方法

我有两个不同形状的numpy数组，但长度相同（前导尺寸）。我想对每一个元素进行洗牌，这样对应的元素就可以继续对应——也就是说，根据它们的领先指数对它们进行一致的洗牌

这段代码有效，并说明了我的目标：

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例如：

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

然而，这感觉笨拙、低效且缓慢，并且需要制作数组的副本——我宁愿将它们洗牌，因为它们会非常大

有没有更好的办法？更快的执行速度和更低的内存使用率是我的主要目标，但优雅的代码也不错

我的另一个想法是：

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

---

这是可行的…但有点可怕，因为我看不出它能继续工作的保证--例如，它看起来不像是保证在整个numpy版本中都能存在的那种东西。

如果你想避免复制数组，那么我建议你不要生成排列列表，而是遍历数组中的每个元素，然后将其随机交换到阵列中的另一个位置

for old_index in len(a):
    new_index = numpy.random.randint(old_index+1)
    a[old_index], a[new_index] = a[new_index], a[old_index]
    b[old_index], b[new_index] = b[new_index], b[old_index]

这实现了Knuth-Fisher-Yates洗牌算法

您可以使用NumPy的：

这将导致创建单独的unison混洗阵列。

您的“可怕”解决方案在我看来并不可怕。对相同长度的两个序列调用

shuffle（）

会导致对随机数生成器的调用次数相同，而这些是shuffle算法中唯一的“随机”元素。通过重置状态，您可以确保对随机数生成器的调用将在第二次调用

shuffle（）

时给出相同的结果，因此整个算法将生成相同的排列

如果您不喜欢这样，另一种解决方案是将数据存储在一个数组中，而不是从一开始就存储在两个数组中，并在单个数组中创建两个视图，模拟您现在拥有的两个数组。您可以使用单个数组进行洗牌，并将视图用于所有其他目的

示例：假设数组

a

和

b

如下所示：

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

现在，我们可以构建一个包含所有数据的数组：

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

现在，我们创建模拟原始

a

和

b

的视图：

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

a2

和

b2

的数据与

c

共享。要同时洗牌两个数组，请使用

numpy.random.shuffle（c）

在生产代码中，您当然会尽量避免创建原始的

a

和

b

，并立即创建

c

、

a2

和

b2

此解决方案可适用于

a

和

b

具有不同数据类型的情况

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

---

要了解更多信息，请参见带有示例的

，这是我正在做的：

combo = []
for i in range(60000):
    combo.append((images[i], labels[i]))

shuffle(combo)

im = []
lab = []
for c in combo:
    im.append(c[0])
    lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)

非常简单的解决方案：

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

---

两个数组x，y现在都以相同的方式随机洗牌

我扩展了python的random.shuffle（）以获得第二个参数：

def shuffle_together(x, y):
    assert len(x) == len(y)

    for i in reversed(xrange(1, len(x))):
        # pick an element in x[:i+1] with which to exchange x[i]
        j = int(random.random() * (i+1))
        x[i], x[j] = x[j], x[i]
        y[i], y[j] = y[j], y[i]

---

通过这种方式，我可以确保洗牌发生在适当的位置，并且函数不会太长或太复杂。

对连接列表进行适当洗牌的一种方法是使用种子（可能是随机的）并使用numpy.random.shuffle进行洗牌

# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
   np.random.seed(seed)
   np.random.shuffle(a)
   np.random.seed(seed)
   np.random.shuffle(b)

就这样。这将以完全相同的方式洗牌a和b。这也是在适当的地方完成的，这总是一个加号

编辑，不要使用np.random.seed（）而是使用np.random.RandomState 调用它时，只需传入任意种子以提供随机状态：

a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)

输出：

>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]

---

编辑：修复了重新设置随机状态种子的代码

您可以创建如下数组：

s = np.arange(0, len(a), 1)

然后洗牌：

np.random.shuffle(s)

现在使用这个s作为数组的参数。相同的混洗参数返回相同的混洗向量

x_data = x_data[s]
x_label = x_label[s]

---

詹姆斯在2015年写了一篇有帮助的sklearn。但他添加了一个随机状态变量，这是不需要的。在下面的代码中，将自动假定numpy的随机状态

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)

---

只使用NumPy将任意数量的数组就地混洗在一起

import numpy as np


def shuffle_arrays(arrays, set_seed=-1):
    """Shuffles arrays in-place, in the same order, along axis=0

    Parameters:
    -----------
    arrays : List of NumPy arrays.
    set_seed : Seed value if int >= 0, else seed is random.
    """
    assert all(len(arr) == len(arrays[0]) for arr in arrays)
    seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed

    for arr in arrays:
        rstate = np.random.RandomState(seed)
        rstate.shuffle(arr)

需要注意的几点：

• 断言可确保所有输入数组沿方向具有相同的长度 他们的第一维度
• 数组按其第一维度在适当的位置移动-没有返回任何内容
• 正int32范围内的随机种子
• 如果需要可重复的洗牌，则可以设置种子值

---

洗牌后，可以使用

np拆分数据。拆分
或使用切片引用数据-具体取决于应用程序。
有一个众所周知的函数可以处理此问题：

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

只需将test_size设置为0，就可以避免拆分，并为您提供无序数据。
虽然它通常用于分割训练和测试数据，但它也会对它们进行洗牌。

从

将数组或矩阵拆分为随机序列和测试子集

快速实用程序，包装输入验证和
接下来（ShuffleSplit（）.split（X，y））和应用程序将数据输入到
单个调用，用于在
一行

假设我们有两个数组：a和b

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]]) 

我们首先可以通过排列第一维来获得行索引

indices = np.random.permutation(a.shape[0])
[1 2 0]

然后使用高级索引。
在这里，我们使用相同的索引来同步洗牌两个数组

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

这相当于

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]

只需使用
numpy

首先合并两个输入数组1D数组是标签（y）和2D数组是数据（x），并使用NumPy
shuffle
方法将它们洗牌。最后把他们分开再回来

将numpy导入为np
def shuffle_2d（a、b）：
行=a.shape[0]
如果b.形状！=（第1行）：
b=b.重塑（（行，1））
S=np.hstack（（b，a））
np.random.shuffle（S）
b、 a=S[：，0]，S[：，1:]
返回a，b
特征，样本=2,5
x、 y=np.random.random（（样本，特征）），np.arange（样本）
x、 y=shuffle_2d（训练、测试）
这似乎是一个非常简单的解决方案：

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

让我对实现自己的洗牌算法感到谨慎；部分原因是
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))