Hive 未使用sqoop import all创建表_Hive_Avro_Sqoop

Hive 未使用sqoop import all创建表

hive

Hive 未使用sqoop import all创建表,hive,avro,sqoop,Hive,Avro,Sqoop,我正在尝试为基于AVRO的表创建一个不同的模式。下面是m使用的命令。我可以看到所有扩展名为.avro的数据文件的正确目录结构，但当我登录到配置单元并执行show tables时；在retail_avro.db模式下没有表 sqoop import-all-tables \ --m 2 \ --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \ --username=retail_dba \ --password=cloudera

我正在尝试为基于AVRO的表创建一个不同的模式。下面是m使用的命令。我可以看到所有扩展名为.avro的数据文件的正确目录结构，但当我登录到配置单元并执行show tables时；在retail_avro.db模式下没有表

sqoop import-all-tables \
--m 2 \
--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \
--username=retail_dba \
--password=cloudera \
--warehouse-dir=/user/hive/warehouse/retail_avro.db \
--create-hive-table \
--as-avrodatafile

在上面的命令之后，如果我使用hdfs命令访问，下面是输出：

[cloudera@quickstart ~]$ hdfs dfs -ls /user/hive/warehouse/retail_avro.db
Found 6 items
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/categories
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/customers
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/departments
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/order_items
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:26 /user/hive/warehouse/retail_avro.db/orders
drwxr-xr-x   - cloudera hive          0 2016-12-30 04:26 /user/hive/warehouse/retail_avro.db/products
[cloudera@quickstart ~]$
[cloudera@quickstart ~]$
[cloudera@quickstart ~]$ hdfs dfs -ls /user/hive/warehouse/retail_avro.db/categories
Found 3 items
-rw-r--r--   1 cloudera hive          0 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/categories/_SUCCESS
-rw-r--r--   1 cloudera hive       1007 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/categories/part-m-00000.avro
-rw-r--r--   1 cloudera hive        959 2016-12-30 04:25 /user/hive/warehouse/retail_avro.db/categories/part-m-00001.avro

当我登录到HIVE时：

 hive> use retail_avro;
    OK
    Time taken: 1.942 seconds
    hive> show tables;
    OK
    Time taken: 0.518 seconds
    hive> select * from departments;
    FAILED: SemanticException [Error 10001]: Line 1:14 Table not found 'departments'

您尚未在配置单元中创建表

作为“展示台”，我没有归还任何东西

请转到第7.2.10节。将数据导入配置单元

注意：在使用sqoop导入或导出数据时，必须创建表或表应显示

导出到RDMS-必须显示表

导出到配置单元--在HDF上转储数据时，可以创建表

开始抛出。

您尚未在配置单元中创建表

作为“展示台”，我没有归还任何东西

请转到第7.2.10节。将数据导入配置单元

注意：在使用sqoop导入或导出数据时，必须创建表或表应显示

导出到RDMS-必须显示表

导出到配置单元--在HDF上转储数据时，可以创建表

去扔吧

Sqoop配置单元导入当前与

--作为avrodatafile

和

--作为sequencefile

不兼容。请访问以获取更多信息

avrodatafile

需要

.avsc

模式和

avroSerde

来创建

avro

格式表。由于您正在生成

avro

文件，因此还需要

avroschema

。这里，Sqoop与

avrodatafile

不兼容，因此

--创建配置单元表

参数被忽略，因此Sqoop无法创建配置单元表，但它会将数据导入所需目录中的

.avro

格式，因为其他参数正确且受支持

您仍然可以生成

.avsc

模式，并在相同的数据上创建表。你可以按照这个来做

请访问以了解有关avrofile格式的更多信息