FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内,进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。
前提条件
已创建FTP数据源,详情请参见创建FTP数据源。
进行FTP输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
操作步骤
请参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。
按照以下操作指引,进入FTP输入配置对话框。
单击组件库->单击输入->拖动FTP输入组件至画布->单击配置图标。
在FTP输入配置对话框,配置参数。
FTP输入组件支持的文件类型包括Text、CSV、xls、xlsx。不同文件类型配置不同,详情如下:
Text和CSV参数配置说明
参数
说明
基础配置
步骤名称
根据当前组件的使用场景,填写名称。
数据源
选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:
数据源类型为FTP数据源、SFTP数据源、FTPS数据源。
执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
同时您可以单击数据源后的新建,进入规划模块添加数据源,详情请参见创建FTP数据源。
文件路径
填写文件路径。支持多个文件路径输入,用(;)分割。支持通配符,例如:指定
/dataphin/*
代表读取dataphin目录下所有的文件。文件类型
选择Text或CSV文件类型。xls、xlsx文件类型,请参见xls和xlsx参数配置说明。
文件不存在时
忽略:当读取的文件不存在时,忽略该文件,并继续读取其他文件。
置任务失败:当读取的文件不存在时,终止该任务并置失败。
数据内容起始行
设置输入组件读取数据的起始行。默认为1,从第一行开始为数据内容。若需忽略前N行,则将数据内容起始行设置为N+1。
高级配置
切分方式
Text支持分隔符切分和字段长度切分,CSV支持分隔符切分。
分隔符切分:将会根据字段分隔符与行分隔符切分行与字段。
字段长度切分:仅支持Text文件格式。文件的每一行将被视为一个长String字符串,按起始和结束的字符位置提取字段。
行分隔符
填写文件存储行分隔符。如果您没有填写,则系统默认将行分隔符填写为换行符号(\n)。
说明Text类型不支持自定义行分隔符。
字段分隔符
切分方式选择分隔符切分时,需要填写文件存储字段分隔符。如果您没有填写,则系统默认将字段分隔符填写为英文逗号(,)。
文件编码
选择文件编码。系统支持的文件编码包括UTF-8和GBK。
压缩格式
如果文件有压缩,请选择对应的压缩格式,以便Dataphin进行解压处理。
更多配置
输入读取数据的其他控制配置项。例如使用textReaderConfig控制text文件的读取,配置示例如下。
{ "textReaderConfig":{ "useTextQualifier":false, //是否存在限定符 "textQualifier":"\"", "caseSensitive":true, //限定符是否区分大小写 "trimWhitespace":false //是否去除每列内容前后的空白符 } }
输出字段
为您展示输出字段。 您可以手动添加输出字段:
单击批量添加 ,以JSON格式批量配置,例如。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
单击新建输出字段,根据页面提示填写来源序号、字段及选择类型。
同时您也可以对已添加的字段执行如下操作:
单击操作列下的图标,编辑已有的字段。
单击操作列下的图标,删除已有的字段。
xls和xlsx参数配置说明
参数
说明
步骤名称
根据当前组件的使用场景,填写名称。
数据源
选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:
数据源类型为FTP数据源、SFTP数据源、FTPS数据源。
执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
同时您可以单击数据源后的新建,进入规划模块添加数据源,详情请参见创建FTP数据源。
文件路径
填写文件路径。支持多个文件路径输入,用(;)分割。支持通配符,例如:指定
/dataphin/*
代表读取dataphin目录下所有的文件。文件类型
选择xls、xlsx文件类型。Text、CSV文件类型,请参见Text和CSV参数配置说明。
文件不存在时
忽略:当读取的文件不存在时,忽略该文件,并继续读取其他文件。
置任务失败:当读取的文件不存在时,终止该任务并置失败。
sheet选择
支持按名称和按索引两种方式。若读取多个sheet,则需保持数据格式一致。
sheet名称:可读取多张sheet,用英文逗号(,)隔开,也可以输入*读取所有sheet。*和英文逗号不可混用。例如:sheet1,sheet2。
sheet索引:可读取多张sheet,用英文逗号(,)隔开,也可以输入*读取所有sheet。*和英文逗号不可混用。例如:可以用0,3,7-9指定单张或连续的sheet。
数据内容起始行
设置输入组件读取数据的起始行。默认为1,从第一行开始为数据内容。若需忽略前N行,则将数据内容起始行设置为N+1。
数据内容结束行
若不指定行数,则读取到最后一行数据,数据内容结束行不少于数据内容起始行。
导出sheet名
可选择导出或不导出。选择导出则新增一个导出字段,字段内容为该行数据的来源sheet名称。
文件编码
选择文件编码。系统支持的文件编码包括UTF-8和GBK。
压缩格式
如果文件有压缩,请选择对应的压缩格式,以便Dataphin进行解压处理。
输出字段
为您展示输出字段。 您可以手动添加输出字段:
说明切分方式为字段长度切分时,您可以单击切分效果预览,并在对话框中输入测试字符串,起始字符位置、结束字符位置,进行切分效果预览。
单击批量添加 ,以JSON格式批量配置,例如。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
单击新建输出字段,根据页面提示填写来源序号、字段及选择类型。Excel文件的来源序号可填写该字段所在列的字母序号;也可填写该列的数字序号,序号从0开始。
同时您也可以对已添加的字段执行如下操作:
单击操作列下的图标,编辑已有的字段。
单击操作列下的图标,删除已有的字段。
单击确认,完成FTP输入组件配置。
- 本页导读 (0)