调用 CreateFlowJob接口,创建数据开发作业。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String CreateFlowJob

系统规定参数。取值:CreateFlowJob

RegionId String cn-hangzhou

地域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。

ProjectId String FP-A4FEE10D860*****

项目ID。您可以调用ListFlowProjects查看项目ID。

Name String my_spark_job

作业的名称。

Description String Job description

作业的描述。

Type String SPARK

作业类型,取值如下:

  • SPARK:spark作业,使用spark-submit提交
  • ZEPPELIN:提交zeppelin notebook,使用该作业类型,作业的params参数为notebook id
  • SPARK_STREAMING:提交spark流处理作业
FailAct String STOP

失败策略,取值如下:

  • CONTINUE:跳过本次作业
  • STOP:停止作业(default)
RetryPolicy String

保留参数。

Params String oss://bucket_name/jar_to_run.jar

作业内容,如果是SPARK类型的作业,则该参数即为spark-submit的参数,如果为ZEPPELIN类型的作业,该参数为Notebook的ID。

ParamConf String

保留参数。

CustomVariables String [{\"name\":\"key1\",\"value\":\"value1\",\"properties\":{\"password\":false}}]

用户自定义变量。使用json数组存储。

EnvConf String {\"key1\":\"value1\"}

环境变量设置。json格式存储。

RunConf String {\"memory\":1024,\"cores\":2,\"userName\":\"hadoop\"}

运行配置,可选的配置项包括:

  • priority:task的优先级
  • userName:提交任务的linux用户
  • memory:内存,单位为MB
  • cores:CPU核心数
MonitorConf String {"inputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]}

监控配置,仅SPARK_STREAMING类型的作业支持监控配置。

Mode String YARN

运行模式,取值如下:

  • YARN:将作业包装成一个launcher提交到YARN中运行
  • LOCAL:作业直接在机器上以进程方式运行
ParentCategory String FC-5BD9575E3462****

父目录ID,可以调用DescribeFlowCategory查看目录结构。

Adhoc Boolean false

是否为临时查询。

ClusterId String C-A23BD131A862****

集群ID。您可以调用ListClusters查看集群的ID。

AlertConf String

保留参数。

ClientToken String

保留参数。

ResourceList.N.Path String

保留参数。

ResourceList.N.Alias String

保留参数。

返回数据

名称 类型 示例值 描述
Id String FJ-A23BD131A862****

作业ID。

RequestId String 1549175a-6d14-4c8a-89f9-5e28300f6d7e

请求ID。

示例

请求示例

http(s)://[Endpoint]/?Action=CreateFlowJob
&RegionId=cn-hangzhou
&ProjectId=FP-A4FEE10D860*****
&Name=my_spark_job
&Description=Job description
&Type=SPARK
&FailAct=STOP
&Params=oss://bucket_name/jar_to_run.jar
&CustomVariables=[{\"name\":\"key1\",\"value\":\"value1\",\"properties\":{\"password\":false}}]
&EnvConf={\"key1\":\"value1\"}
&RunConf={\"memory\":1024,\"cores\":2,\"userName\":\"hadoop\"}
&MonitorConf={"inputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]}
&Mode=YARN
&ParentCategory=FC-5BD9575E3462****
&Adhoc=false
&ClusterId=C-A23BD131A862****
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<CreateFlowJobResponse>
    <Id>FJ-A23BD131A862****</Id>
    <RequestId>1549175a-6d14-4c8a-89f9-5e28300f6d7e</RequestId>
</CreateFlowJobResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "Id" : "FJ-A23BD131A862****",
  "RequestId" : "1549175a-6d14-4c8a-89f9-5e28300f6d7e"
}

错误码

访问错误中心查看更多错误码。

访问错误中心查看更多错误码。