全部产品
Search
文档中心

数据湖构建:数据库表及函数

更新时间:Nov 19, 2024

元数据管理是构建数据湖重要一环,通过有效的集中式元数据管理,可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。

数据库

创建数据库

  1. 登录数据湖管理控制台

  2. 在左侧菜单栏,选择元数据 > 元数据管理

  3. 单击数据库页签,选择目标数据目录,单击新建数据库

  4. 配置以下数据库信息,单击确定

    • 所属数据目录选择所属数据目录。

    • 数据库名称输入数据库名称。

    • 数据库描述:可选,输入数据库描述。

    • 选择路径输入数据库的位置。

查看数据库详情

  1. 单击数据库页签。

  2. 在数据库列表中,单击目标库名,可查看该数据库基本信息

  3. 单击相应页签,可查看该数据库下的表列表函数列表数据权限数据概况存储规则

编辑数据库

  1. 单击数据库页签,选择目标数据目录

  2. 找到目标数据库,单击操作列的编辑

  3. 修改以下信息,单击更新

    • 数据库描述:输入数据库描述。

    • 选择路径:输入数据库的位置。

删除数据库

  1. 单击数据库页签,选择目标数据目录

  2. 找到目标数据库,单击操作列的删除

  3. 在弹出的对话框中,单击删除

说明
  • default库为DLF默认创建数据库,该数据库无法删除。生产环境建议使用其他数据库。

  • 在DLF页面删除数据库后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。

数据表

创建数据表

  1. 创建完成数据库后,单击数据表页签,选择目标数据目录库名,单击新建数据表

  2. 配置以下数据表信息,单击确定

    • 数据表名称输入数据表的名称。

    • 所属数据目录选择所属数据目录。

    • 所属数据库选择数据目录下的数据库。

    • 数据表描述可选,输入数据表描述。

    • 数据存储位置选择数据表中数据存储的位置。

    • 格式与序列化选择数据表的数据格式和输出格式。

    • 分割符:可选,当数据格式选择CSV时,选择数据表的分隔符。

    • 手动定义数据表的普通列、分区列,指定列名称、数据类型、描述等信息。

查看数据表详情

  1. 单击数据表页签。

  2. 在数据表列表中,单击目标表名,可查看该数据表基本信息

  3. 单击相应页签,可查看该数据表下的数据权限数据概况版本管理存储规则

    数据表的数据概况详情,请参见数据表-数据概况

编辑数据表

  1. 单击数据表页签,选择目标数据目录库名

  2. 找到目标数据表,单击操作列的编辑

  3. 修改数据表信息,单击更新

删除数据表

  1. 单击数据表页签,选择目标数据目录库名

  2. 找到目标数据表,单击操作列的删除

  3. 在弹出的对话框中,单击删除

说明

在DLF页面删除数据表后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。

函数

创建函数

  1. 在左侧菜单栏,选择元数据 > 元数据管理

  2. 单击函数页签,选择目标数据目录库名,单击新建函数

  3. 配置以下函数信息,单击确定

    • 函数名称:输入函数名称。

    • 函数类型:仅支持JAVA。

    • 所属数据目录:选择所属数据目录。

    • 所属数据库选择数据目录下的数据库。

    • 类名:可选,输入类名。

    • 资源URI:可选,单击增加一项,输入类型URI。资源类型支持JAR、FILE和ARCHIVE。

查看函数详情

  1. 单击函数页签,选择目标数据目录库名

  2. 在函数列表中,单击目标函数名称,可查看函数的基本信息。

编辑函数

  1. 单击函数页签,选择目标数据目录库名

  2. 找到目标函数,单击操作列的编辑

  3. 配置类名信息,单击确定

删除函数

  1. 单击函数页签,选择目标数据目录库名

  2. 找到目标函数,单击操作列的删除

  3. 在弹出的确认框中,单击删除