本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至AnalyticDB MySQL版数仓版（3.0）。

背景信息

Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase、MongoDB），也支持Excel、Access类型的小型数据源。通过扩展插件，Kettle可以支持更多数据源。

更多Kettle信息，请参见Kettle。

准备工作

  • 安装Kettle。
  • 在AnalyticDB MySQL版中创建目标数据库和表。
  • 将安装了Kettle软件的设备IP添加到AnalyticDB MySQL版集群白名单中。
  • 如果您需要通过外网连接AnalyticDB MySQL版集群，请申请和释放公网地址。

操作步骤

  1. 打开Kettle，在菜单栏单击文件 > 新建 > 转换，新建一个转换。
  2. 在菜单栏单击文件 > 新建 > 数据库连接 在转换中新建一个数据库连接。
    参数说明
    连接名称为连接设置一个名字，便于后续管理。
    连接类型选择MySQL。
    连接方式选择Native（JDBC）。
    主机名称AnalyticDB MySQL版集群的连接集群，通过控制台集群信息页面，查看连接信息。
    数据库名称AnalyticDB MySQL版中的数据库名称。
    端口号3306。
    用户名AnalyticDB MySQL版集群中创建的账号：
    • 高权限账号。
    • 普通账号。
    密码账号对应的密码。
    说明 配置参数时，不要勾选Use Result Streaming Cursor。
  3. 完成上述参数配置后，单击测试弹出数据库连接测试提示框，根据提示判断是否连接至AnalyticDB MySQL版数据库，测试通过后单击确认。
  4. 在Kettle左侧核心对象的输入中，找到Excel输入，将其拖动入到工作区。
  5. 双击工作区的Excel输入，在Excel输入对话框中，单击浏览上传需要导入的Excel表格，然后单击增加将其添加到选中的文件中。

    根据实际业务需要设置工作表、内容、字段等选项卡，单击预览记录查看输入的数据是否符合要求。

  6. 在Kettle左侧核心对象的输出中，找到表输出，将其拖动入到工作区。
  7. 新建一条Excel输入到表输出的连接线。
  8. 双击表输出，在表输出对话框中进行参数配置。
    • 目标模式：您需要手动输入AnalyticDB MySQL版数据库的名字。
    • 目标表：您需要手动输入AnalyticDB MySQL版数据库中的表名。
    • 勾选指定数据库字段。
    • 勾选使用批量插入。

    在表输出的数据库字段选项卡中，单击获取字段和输入字段映射，可以设置Excel中的列与AnalyticDB MySQL版表中列名间的映射关系。

  9. 单击白色三角箭头运行转换，观察运行日志和运行状态。

    本地Excel数据成功同步至AnalyticDB MySQL版后，您就可以使用AnalyticDB MySQL版对行Excel数据进分析。