Hadoop 如何优化Sqoop导入？
可以使用哪些技术来优化sqoop导入？我尝试使用“按列拆分”来启用并行性，并根据表的数据量增加了映射器的数量。从FIFO更改为公平调度程序会有帮助吗？提前谢谢Hadoop 如何优化Sqoop导入？,hadoop,sqoop,bigdata,Hadoop,Sqoop,Bigdata,可以使用哪些技术来优化sqoop导入？我尝试使用“按列拆分”来启用并行性，并根据表的数据量增加了映射器的数量。从FIFO更改为公平调度程序会有帮助吗？提前谢谢 sqoop import -D mapred.job.queue.name=$queuename -D mapred.job.name=$table_SQOOP_INITIAL_LOAD -D java.security.egd=file:/dev/../dev/urandom -D mapred.child.java.opts=" -D
sqoop import -D mapred.job.queue.name=$queuename -D mapred.job.name=$table_SQOOP_INITIAL_LOAD -D java.security.egd=file:/dev/../dev/urandom -D mapred.child.java.opts=" -Djava.security.egd=file:/dev/../dev/urandom" --driver com.teradata.jdbc.TeraDriver --connect jdbc:teradata://${sqoopSourceServer}/DATABASE=${sqoopSchema} --username ${sqoopUsername} --password ${sqoopPassword} --hive-import --hive-overwrite --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --table "$table" --num-mappers 50 --split-by column --target-dir ${hdfsTargetDirectory}$table --hive-table ${hive_database}.$table
我没有试过，但我读过书
对于某些数据库，可以通过使用--direct来利用direct模式 参数：
sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--table cities \
--direct
希望这有帮助下面是一些常见的Sqoop性能改进技术
- 按和边界分割查询
- 直接的
- 取数大小
- 数字映射器