Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/qt/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Sqoop将大型机数据摄取到Hadoop中_Hadoop_Hdfs_Sqoop_Mainframe - Fatal编程技术网

使用Sqoop将大型机数据摄取到Hadoop中

使用Sqoop将大型机数据摄取到Hadoop中,hadoop,hdfs,sqoop,mainframe,Hadoop,Hdfs,Sqoop,Mainframe,我发现Sqoop1.4.6可以连接到大型机,它可以从大型机PDS中提取数据,并将数据放入HDFS/Hive/Hbase或Accumulo 我想知道它是支持压缩的十进制数据类型还是只支持简单的数据类型? 有人能帮我理解SQOOP1.4.6支持哪些大型机文件格式吗 提前谢谢 参考文献 根据我的分析,压缩的十进制数不受支持,事实上,如果文件已压缩十进制数数据,则其他数据也会被弄乱。有关更多详细信息,请参阅。根据文档“9.2.6文件格式” “…默认情况下,数据集中的每条记录都存储为文本记录,末尾有一个换

我发现Sqoop1.4.6可以连接到大型机,它可以从大型机PDS中提取数据,并将数据放入HDFS/Hive/Hbase或Accumulo

我想知道它是支持压缩的十进制数据类型还是只支持简单的数据类型? 有人能帮我理解SQOOP1.4.6支持哪些大型机文件格式吗

提前谢谢

参考文献

根据我的分析,压缩的十进制数不受支持,事实上,如果文件已压缩十进制数数据,则其他数据也会被弄乱。有关更多详细信息,请参阅。

根据文档“9.2.6文件格式”


“…默认情况下,数据集中的每条记录都存储为文本记录,末尾有一个换行符。假定每条记录都包含一个名为default_列的文本字段。当Sqoop将数据导入HDFS时,它会生成一个Java类,该类可以重新解释它创建的文本文件…”

文档中说?在刚刚提到的文档中,它称为拉式数据表PDS,我不确定它是否称为拉式压缩decumal data,它还说“数据集中的记录只能包含字符数据”“导入大型机工具导入分区数据集中的所有顺序数据集(PDS)在大型机上连接到HDFS。PDS类似于开放系统上的目录。数据集中的记录只能包含字符数据。记录将与整个记录一起存储为单个文本字段。“在我看来,它回答了您的问题。Ha。所以我只是浪费时间帮你查找文档。好吧,你有你的答案。因为你非常熟悉将大型机数据摄取到hdfs。。我们应该使用哪种方式每周将大型机文件发送到hdfs。。