环境

  • Hadoop 2.7.3
  • HBase 1.3.1
  • Sqoop 1.4.7
  • MySQL 8.0

参数

导入HBase的控制参数

参数描述
–column-family设置导入的目标列族
–hbase-create-table目标HBase表不存在时，允许自动创建表
–hbase-row-key （col）指定将哪个输入的列用作rowkey，如果输入的表包含复合键，则col的格式必须是逗号分割的组合键属性列表
–hbase-table （table-name）指定作为导入目标的HBase表
hbase-bulkload启用批量加载

📢注意：
sqoop导入hbase时无法和参数–direct一起使用

如果导入时没有指定–hbase-create-table，则需要在运行前在hbase中创建该表和对应列族，不然在进行导入时会失败。如果指定了–hbase-create-table，则在检测到没有该表时，sqoop会自动创建目标表和列族

测试

1.将mysql中customer表导入到hbase中

在这里插入图片描述
检查hbase 表列表
在这里插入图片描述
导入命令

sqoop import \
--connect jdbc:mysql://lingyun2:3306/niit?useSSL=false \
--username root \
--P
--table customer  \ #对应mysql中的表
--hbase-table customer \ #对应导入的hbase的表
--column-family cf-info  \ #对应导入的hbase表的列族
--hbase-create-table \ #当检测到habse不存在目标时，自动进行创建
--hbase-row-key id \ #对应导入的hbase表中的rowkey
--hbase-bulkload #启用批量加载

因为我之前讲customer表导入到hdfs过，所以报错customer已存在，只需要将–hbase-table customer中的customer表改个名字重新运行即可
在这里插入图片描述
导入成功，结果如下
在这里插入图片描述在这里插入图片描述

# hbase # mysql # sqoop
Logo
乐奇 Rokid 开放社区

更多推荐

cover

接龙快斗：让 Rokid 眼镜接住你随口冒出来的那句成语

avatar 乐奇 Rokid 开放社区
cover

奇遇：因为乐奇，所以遇见。——在 Rokid 眼镜上做一条「留得下来」的社交链路

avatar 乐奇 Rokid 开放社区

两杯咖啡，别漏了少糖：Rokid AIUI“旅途一句”开发手记

把这几个词说出来不算难。真正让我在设计时反复停下来的，是后面那些看起来很小的要求：少糖，还是不加糖？在这里喝，还是带走？刚才选的是一杯，现在改成两杯，英文有没有一起变？“旅途一句”是一张做在Rokid AIUI里的中英沟通卡。选好问路、饮品点单或购物需求，先核对中文，再调数量、糖量、尺码等条件，最后进入英文照读。下面按三个场景展开，先看按键怎么改句子，再看代码怎样保住这些条件。我给第一版定的任务很

avatar 乐奇 Rokid 开放社区