TensorFlow文件路径的张量映射到numpy数据

TensorFlow文件路径的张量映射到numpy数据,numpy,dataset,mapping,tensorflow-datasets,Numpy,Dataset,Mapping,Tensorflow Datasets,我有一个文件路径的“.csv”文件,它是我通过测试序列分割生成的。每个文件路径都指向一个“.npy”文件,该文件包含100200x200个数组。我正在尝试在tensorflow中加载并缩放数据到数据集 csv文件包含npy文件的列表 每个npy文件包含100200x200个数据数组 mean = 100 std = 10 target_file = csv_file # file contains file paths of .npy files

我有一个文件路径的“.csv”文件,它是我通过测试序列分割生成的。每个文件路径都指向一个“.npy”文件,该文件包含100200x200个数组。我正在尝试在tensorflow中加载并缩放数据到数据集

csv文件包含npy文件的列表 每个npy文件包含100200x200个数据数组

mean = 100
std = 10
target_file = csv_file                        # file contains file paths of .npy files    
data = np.loadtxt(target_file, dtype = 'str', delimiter=',')
filepaths = tf.data.Dataset.from_tensor_slices(data.T)
dataset = filepaths.map(lambda x: self.zscore_calc(x, mean, std))

def zscore_calc(self, filepath, mean, std):
        npyfile = filepath.numpy()
        sonar_data = np.load(npyfile, allow_pickle=True)
        z_data = (sonar_data - mean)/std
        z_data = tf.data.Dataset.from_tensor_slices(zsonar_data)
        return z_data
我需要将输入的csv文件保留为csv文件,但如果可能更好,可以将100x200x200的npy文件转换为其他类型的文件。 当我调用
filepath.numpy()
时,它说filepath没有属性numpy()。 我也尝试过:
dataset=filepath.map(lambda x:tf.py_函数(zscore_计算,[x,mean,std],[tf.string,tf.float32,tf.float32])

我只是想把npy数据加载到一个数据集中,这样我就可以洗牌ect,但它需要在一个数据管道中,因为集合太大了