您可以创建EMR(E-MapReduce) Impala节点,对PB级大数据进行快速、实时的交互式SQL查询。
前提条件
数据开发(DataStudio)中已创建业务流程。
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见创建业务流程。
已创建阿里云EMR集群,并注册EMR集群至DataWorks。
创建EMR相关节点并开发EMR任务前,您需要先将EMR集群注册至DataWorks工作空间,操作详情请参见注册EMR集群至DataWorks。
(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员。
已购买独享调度资源组并完成资源组配置,包括绑定工作空间、网络配置等,详情请参见新增和使用独享调度资源组。
使用限制
- 仅支持使用独享调度资源组运行该类型任务。
- DataWorks目前已不支持新绑定Hadoop类型的集群,但您之前已经绑定的Hadoop集群仍然可以继续使用。
操作步骤
进入数据开发页面。
登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
- 创建业务流程。如果您已有业务流程,则可以忽略该步骤。
- 鼠标悬停至图标,选择新建业务流程。
- 在新建业务流程对话框,输入业务名称。
- 单击新建。
创建EMR Impala节点。
鼠标悬停至图标,选择 。
您也可以找到相应的业务流程,右键单击业务流程,选择
。在新建节点对话框中,输入名称,并选择引擎实例、节点类型及路径。
说明节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
单击确认,进入EMR Impala节点编辑页面。
使用EMR Impala节点进行数据开发。
- 选择资源组。在工具栏单击图标,在参数对话框选择已创建的调度资源组。说明
- 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见配置资源组与网络连通。
- 如果您后续执行任务需要修改使用的资源组,您可单击带参运行图标,选择需要更换的调度资源组。
使用SQL语句创建任务。
在SQL编辑区域输入任务代码,示例如下。
show tables; CREATE TABLE IF NOT EXISTS userinfo ( ip STRING COMMENT'ip地址', uid STRING COMMENT'用户ID' )PARTITIONED BY( dt STRING ); ALTER TABLE userinfo ADD IF NOT EXISTS PARTITION(dt='${bizdate}'); //可以结合调度参数使用。 select * from userinfo ;
说明SQL语句最大不能超过130KB。
使用EMR Impala节点查询数据时,返回的查询结果最大支持10000条数据,并且数据总量不能超过10M。
如果您的工作空间绑定多个EMR引擎,则需要根据业务需求选择合适的引擎。如果仅绑定一个EMR引擎,则无需选择。
如果您需要修改代码中的参数赋值,请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别。
说明调度参数使用详情,请参考调度参数支持的格式。
- 保存并运行SQL语句。在工具栏,单击图标,保存编写的SQL语句,单击图标,运行创建的SQL任务。
- 选择资源组。
编辑高级设置。
对于任务的相关参数配置,请参考Spark Configuration。
集群类型
高级参数
DataLake集群(新版数据湖)【EMR on ECS】、Custom集群(自定义集群)【EMR on ECS】
“FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:
true
:表示每次执行多条SQL语句。false
:表示每次执行一条SQL语句。
“DATAWORKS_SESSION_DISABLE”:适用于开发环境直接测试运行场景。取值如下:
true
:表示每次运行SQL语句都会新建一个JDBC Connection。false
:表示用户在一个节点里运行不同的SQL语句时会复用同一个JDBC Connection。
默认值为
false
。
Hadoop集群(数据湖)【EMR on ECS】
“FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:
true
:表示每次执行多条SQL语句。false
:表示每次执行一条SQL语句。
“USE_GATEWAY”:设置本节点提交作业时,是否通过Gateway集群提交。取值如下:
true
:通过Gateway集群提交。false
:不通过Gateway集群提交,默认提交到header节点。
说明如果本节点所在的集群未关联Gateway集群,此处手动设置参数取值为
true
时,后续提交EMR作业时会失败。- 任务调度配置。如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:
- 配置任务调度的基本信息,详情请参见配置基础属性。
- 配置时间调度周期、重跑属性和上下游依赖关系,详情请参见时间属性配置说明及配置同周期调度依赖。说明 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
- 配置资源属性,详情请参见配置资源属性。访问公网或VPC网络时,请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见配置资源组与网络连通。
- 提交并发布节点任务。
- 单击工具栏中的图标,保存节点。
- 单击工具栏中的图标,提交节点任务。
- 在提交新版本对话框中,输入变更描述。
- 单击确定。
如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务。 - 查看周期调度任务。
- 单击编辑界面右上角的运维,进入生产环境运维中心。
- 查看运行的周期调度任务,详情请参见查看并管理周期任务。
如果您需要查看更多周期调度任务详情,可单击顶部菜单栏的运维中心,详情请参见运维中心概述。
- 本页导读 (1)