Tez是Apache构建在Hadoop之上的支持分布式DAG(Directed Acyclic Graph)的计算框架,支持通过复杂的DAG描述并处理大数据任务。
背景信息
Tez主要使用在Apache Hive中,作为Hive的一种运行时引擎,可以优化Hive SQL的查询引擎。与Hive On MR(MapReduce)相比,Hive On Tez具有更好的查询性能和稳定性。
Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示:
Tez的详细信息,请参见Apache TEZ。
开启Tez引擎
Hive支持使用Tez引擎执行SQL任务,在执行任务前您可以按照如下操作手动开启Tez引擎。
- 进入集群服务页面。
- 登录EMR on ECS控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 在集群管理页面,单击目标集群操作列的集群服务。
- 在集群服务页面,单击Hive服务区域的配置。
- 修改并保存配置。
- 在搜索框中输入hive.execution.engine参数。
- 修改hive.execution.engine的值为tez,单击保存。
- 在弹出的对话框中输入执行原因,单击保存。
- 重启Hive。
- 单击上方的状态页签。
- 在集群服务页面,选择右上角的 。
- 在弹出的对话框中输入执行原因,单击确定。
- 在确认对话框中,单击确定。
访问Tez Web UI
在E-MapReduce控制台的访问链接与端口页面,单击TEZ UI所在行的链接,即可访问Tez Web UI。
访问Tez Web UI的详情,请参见访问链接与端口。