Hadoop 将表从配置单元复制到HDFS
我想将配置单元表从配置单元复制到HDFS。请建议步骤。稍后我想使用这个HFDS文件进行Mahout机器学习 我使用HDFS中存储的数据创建了一个配置单元表。然后,我对数据集中的几个变量进行了转换,并从中创建了一个新表。 现在我想将配置单元表从配置单元转储到HDFS。这样它就可以被管理员读出 当我打这个的时候Hadoop 将表从配置单元复制到HDFS,hadoop,hive,mahout,Hadoop,Hive,Mahout,我想将配置单元表从配置单元复制到HDFS。请建议步骤。稍后我想使用这个HFDS文件进行Mahout机器学习 我使用HDFS中存储的数据创建了一个配置单元表。然后,我对数据集中的几个变量进行了转换,并从中创建了一个新表。 现在我想将配置单元表从配置单元转储到HDFS。这样它就可以被管理员读出 当我打这个的时候 hadoop fs -ls -R /user/hive/ 我可以看到我创建的表的列表 drwxr-xr-x - hdfs supergroup 0 2014-04-2
hadoop fs -ls -R /user/hive/
我可以看到我创建的表的列表
drwxr-xr-x - hdfs supergroup 0 2014-04-25 17:00 /user/hive/warehouse/telecom.db/telecom_tr
-rw-r--r-- 1 hdfs supergroup 5199062 2014-04-25 17:00 /user/hive/warehouse/telecom.db/telecom_tr/000000_0
我试图将文件从配置单元复制到HDFS
hadoop fs -cp /user/hive/warehouse/telecom.db/telecom_tr/* /user/hdfs/tele_copy
在这里我是例外,tele_copy应该是一个csv文件,存储在hdfs中
但是当我执行hadoop fs-tail/user/hdfs/tele_copy时,我得到了以下结果
7.980.00.00.0-9.0-30.00.00.670.00.00.00.06.00.06.670.00.670.00.042.02.02.06.04.0198.032.030.00.03.00.01.01.00.00.00.01.00.01.01.00.00.00.01.00.00.00.00.00.00.06.00.040.09.990.01.01
32.64296.7544.990.016.00.0-6.75-27.844.672.3343.334.671.3331.4725.05.3386.6754.07.00.00.044.01.01.02.02.0498.038.00.00.07.01.00.00.00.01.00.00.01.00.00.00.00.00.01.01.01.00.01.00.00.03.00.010.029.991.01.01
30.52140.030.00.250.00.0-42.0-0.520.671.339.00.00.034.6210.677.3340.09.332.00.00.040.02.02.01.01.01214.056.050.01.05.00.00.00.00.00.00.01.00.01.01.00.00.01.01.00.00.01.00.00.00.06.00.001.00.00.01.01
60.68360.2549.990.991.250.038.75-10.692.331.6715.670.00.0134.576.00.0102.6729.674.00.00.3340.02.01.08.03.069.028.046.00.05.00.01.00.00.00.00.00.01.01.01.00.00.00.01.00.00.01.00.00.00.02.00.020.0129.990.01.01
它不是逗号分隔的
也收到了运行此命令后收到的相同结果
INSERT OVERWRITE DIRECTORY '/user/hdfs/data/telecom' SELECT * FROM telecom_tr;
当我做a-ls时
drwxr-xr-x - hdfs supergroup 0 2014-04-29 17:34 /user/hdfs/data/telecom
-rw-r--r-- 1 hdfs supergroup 5199062 2014-04-29 17:34 /user/hdfs/data/telecom/000000_0
当我执行cat时,结果不是CSV,您真正要求的是让Hive将文件存储为CSV文件。尝试使用以“,”结尾的行格式分隔字段。请参阅