TensorFlow文件路径的张量映射到numpy数据
我有一个文件路径的“.csv”文件,它是我通过测试序列分割生成的。每个文件路径都指向一个“.npy”文件,该文件包含100200x200个数组。我正在尝试在tensorflow中加载并缩放数据到数据集 csv文件包含npy文件的列表 每个npy文件包含100200x200个数据数组TensorFlow文件路径的张量映射到numpy数据,numpy,dataset,mapping,tensorflow-datasets,Numpy,Dataset,Mapping,Tensorflow Datasets,我有一个文件路径的“.csv”文件,它是我通过测试序列分割生成的。每个文件路径都指向一个“.npy”文件,该文件包含100200x200个数组。我正在尝试在tensorflow中加载并缩放数据到数据集 csv文件包含npy文件的列表 每个npy文件包含100200x200个数据数组 mean = 100 std = 10 target_file = csv_file # file contains file paths of .npy files
mean = 100
std = 10
target_file = csv_file # file contains file paths of .npy files
data = np.loadtxt(target_file, dtype = 'str', delimiter=',')
filepaths = tf.data.Dataset.from_tensor_slices(data.T)
dataset = filepaths.map(lambda x: self.zscore_calc(x, mean, std))
def zscore_calc(self, filepath, mean, std):
npyfile = filepath.numpy()
sonar_data = np.load(npyfile, allow_pickle=True)
z_data = (sonar_data - mean)/std
z_data = tf.data.Dataset.from_tensor_slices(zsonar_data)
return z_data
我需要将输入的csv文件保留为csv文件,但如果可能更好,可以将100x200x200的npy文件转换为其他类型的文件。
当我调用filepath.numpy()
时,它说filepath没有属性numpy()。
我也尝试过:dataset=filepath.map(lambda x:tf.py_函数(zscore_计算,[x,mean,std],[tf.string,tf.float32,tf.float32])
我只是想把npy数据加载到一个数据集中,这样我就可以洗牌ect,但它需要在一个数据管道中,因为集合太大了