Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive 使用ApacheSqoop导入的多字符分隔符_Hive_Sqoop - Fatal编程技术网

Hive 使用ApacheSqoop导入的多字符分隔符

Hive 使用ApacheSqoop导入的多字符分隔符,hive,sqoop,Hive,Sqoop,我正在使用ApacheSqoop将数据从teradata(RDBMS)导入到hive。表中提供了导入时使用的常用分隔符,如“、”、“|”、“~”。在ApacheSqoop中有没有一种方法可以使用多个字符作为分隔符 为了避免这种情况,我在sqoop导入命令中使用了--由“\t”转义和--以“,”参数结尾的字段。因此,有没有一种方法可以将我在sqoop导入中使用的“\t”进行“unescape”处理。每当我得到包含可能包含制表符和CR/LF字符的文本的大型数据字段的具有挑战性的表时,我都会使用“\b

我正在使用ApacheSqoop将数据从teradata(RDBMS)导入到hive。表中提供了导入时使用的常用分隔符,如
“、”、“|”、“~”
。在ApacheSqoop中有没有一种方法可以使用多个字符作为分隔符


为了避免这种情况,我在sqoop导入命令中使用了
--由“\t”
转义和
--以“,”
参数结尾的字段。因此,有没有一种方法可以将我在sqoop导入中使用的
“\t”
进行“unescape”处理。

每当我得到包含可能包含制表符和CR/LF字符的文本的大型数据字段的具有挑战性的表时,我都会使用“\b”分隔符\b'作为退格,在大多数数据库中很难插入字符firld

下面是我使用的sqoop命令的一个示例:

            sqoop import 
              --connect "jdbc:sqlserver://myserver;DatabaseName=MyDB;user=MyUser;password=MyPassword;port=1433"
              --warehouse-dir=/user/MyUser/Import/MyDB 
              --fields-terminated-by '\b' --num-mappers 8
              --table training_deficiency 
              --hive-table stage.training_deficiency 
              --hive-import --hive-overwrite
              --hive-delims-replacement '<newline>' 
              --split-by Training_Deficiency_ID 
              --outdir /home/MyUser/sqoop/java
              --where "batch_update_dt > '2016-12-09 23:06:44.69'"
sqoop导入
--连接“jdbc:sqlserver://myserver;DatabaseName=MyDB;user=MyUser;password=MyPassword;port=1433“
--仓库目录=/user/MyUser/Import/MyDB
--以“\b”结尾的字段--num mappers 8
--表2.培训不足
--蜂巢台阶段训练不足
--配置单元导入--配置单元覆盖
--蜂巢熟食替代品“
--按培训\u缺陷\u ID划分
--outdir/home/MyUser/sqoop/java
--其中“批次更新>2016-12-09 23:06:44.69”

从teradata导入数据或将数据从hive导出到tera data时遇到问题..--由\\转义--由'\'括起..是否需要任何特定格式..因为这是转义字符。如果有类似要求。