Python 将同一数据集的张量矩阵和稀疏矩阵相结合,进行数据拆分
我有一个张量类型的数组和稀疏矩阵,它们都将被输入到神经网络分类器中。由于数据太大,我需要分批拆分它 我应该如何将稀疏矩阵和数组组合在一起,然后批量拆分训练数据Python 将同一数据集的张量矩阵和稀疏矩阵相结合,进行数据拆分,python,pandas,machine-learning,nlp,pytorch,Python,Pandas,Machine Learning,Nlp,Pytorch,我有一个张量类型的数组和稀疏矩阵,它们都将被输入到神经网络分类器中。由于数据太大,我需要分批拆分它 我应该如何将稀疏矩阵和数组组合在一起,然后批量拆分训练数据 tensor(indices=tensor([[ 0, 0, 0, ..., 426017, 426017, 426017], [ 223, 310, 1045, ..., 39, 14, 542]]), val
tensor(indices=tensor([[ 0, 0, 0, ..., 426017, 426017, 426017],
[ 223, 310, 1045, ..., 39, 14, 542]]),
values=tensor([0.0730, 0.0722, 0.0911, ..., 0.3244, 0.0883, 0.1659]),
size=(426018, 10000), nnz=19173512, layout=torch.sparse_coo)
上面是同一数据集的两部分,其中一部分是数字特征(16),另一部分是稀疏矩阵中的tfidf特征。因此,为了批量拆分,我需要将它们合并在一起。
我知道一个函数
data.utils.data.DataLoader
,但不知道如何将我的数据集合并到其中。提供示例数据。@dishinghoyani编辑了问题本身。请尽快帮助。提供示例数据。@Dishinghoyani编辑了问题本身。请尽快帮忙。
torch.Size([426018, 16])
tensor([[0.0154, 0.3296, 0.7500, ..., 0.7628, 0.1643, 0.0092],
[0.1041, 0.6322, 1.0000, ..., 0.7612, 0.1629, 0.1283],
[0.4987, 0.3387, 0.7500, ..., 0.8692, 0.1879, 0.0150],
...,
[0.1158, 0.6453, 1.0000, ..., 0.6511, 0.2130, 0.0590],
[0.0751, 0.2653, 0.7500, ..., 0.7232, 0.1644, 0.0208],
[0.4051, 0.3801, 1.0000, ..., 0.8479, 0.2427, 0.1179]],
dtype=torch.float64)