配置Elasticsearch输入组件

操作步骤

1. 请参见离线管道组件开发入口，进入离线单条管道脚本的开发页面。

2. 按照下图操作指引，进入Elasticsearch输入配置对话框。

   

3. 在Elasticsearch输入配置对话框，配置参数。

   参数	说明
   步骤名称	即Elasticsearch输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。命名规则如下： 只能包含汉字、字母、下划线（_）、数字。 不能超过64个字符。
   数据源	选择数据源。选取Dataphin系统中已配置的数据源，且数据源需同时具备以下两个条件： 数据源类型为Elasticsearch数据源。 执行属性配置的账号具有该数据源的同步读权限，如果没有权限，则需要申请数据源权限，详情请参见申请、续期和交还数据源权限。 同时您可以单击数据源后的新建，进入规划模块添加数据源。具体操作，请参见创建Elasticsearch数据源。
   索引文档	Elasticsearch中的index名。
   索引文档类型	Elasticsearch中index的type名。
   检索查询条件	Elasticsearch的query参数，用于全量或增量查询，例如{ "match_all": {}}表示全量查询。
   游标时间	填写游标存放时间，即Elasticsearch的分页参数。 设置过小时，如果获取两页数据间隔时间超出scroll，会导致游标过期，进而丢失数据。 设置过大时，如果同一时刻发起的查询过多，超出服务端max_open_scroll_context配置时，会导致数据查询报错。例如：5m表示5分钟的游标时间。 单位：天（-d），小时（-h），分钟（-m），秒（-s），毫秒（-ms），微秒（-micros），纳秒（-nanos）。
   批量条数	每次抽取的条数，默认1024。
   连接超时时间	客户端连接超时时间，默认600秒。
   管理超时时间	客户端读取超时时间，默认6000秒。
   日期格式	待同步字段存在date类型，且该字段mapping没有format配置时，需要配置dateFormat参数。ES中默认格式为：yyyy-MM-dd'T'HH:mm:ssZ。
   输出字段	为您展示输出字段。 您可以手动添加输出字段： 单击批量添加 。 以JSON格式批量配置，例如。 [{"name":"col_integer","type":"integer"}, {"name":"col_long","type":"long"}, {"name":"col_double","type":"double"}] 说明 name表示引入的字段名称，type表示引入后的字段类型。 例如："name":"user_id","type":"String" 表示把字段名为user_id的字段引入，设置字段类型为String。 以TEXT格式批量配置，例如： col_long,long col_double,double 行分隔符用于分隔每个字段的信息，默认为换行符（\n），可支持换行符（\n）、分号（;）、点（.）。 列分隔符用于分隔字段名与字段类型，默认英文逗号（,）。 单击新建输出字段，根据页面提示填写字段及选择类型。 同时您也可以对已添加的字段执行如下操作： 单击拖动字段旁的图标，可调换字段所处位置。 单击操作列下的图标，编辑已有的字段。 单击操作列下的图标，删除已有的字段。

4. 单击确认，完成Elasticsearch输入组件的属性配置。