管理HDFS组件

配置属性

1. 登录Dataphin控制台。
2. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
3. 执行以下操作，创建离线单条管道。
   1. 在Dataphin首页，单击顶部菜单栏的研发。
   2. 在数据开发页面，单击项目名称后的图标，选择数据开发的项目空间（Dev或Basic项目）。
      如果您当前访问的是Dev或Basic项目，且项目空间为您的数据开发空间，则不需要选择项目空间。
   3. 在数据开发页面，将鼠标悬停在顶部菜单栏的开发上，单击集成。
   4. 在数据集成页面，将鼠标悬停在脚本后的图标，单击离线单条管道。
   5. 根据创建管道开发脚本对话框提示，配置参数。
      

      参数	描述
      管道名称	填写管道名称。
      调度类型	选择管道的调度类型。调度类型包括： 周期性节点指需定期执行的任务。 手动节点指没有依赖关系，需手动触发的任务。
      描述	填写对离线单条管道的简单描述。
      选择目录	选择离线单条管道所在的文件夹。

   6. 单击确定，完成离线单条管道的创建。
4. 在离线单条管道脚本的开发页面，单击页面右上角的组件库。
   
5. 单击输入前的图标。
6. 将HDFS组件拖到左侧的管道画布中。
7. 将鼠标放置在HDFS组件框内右键单击，选择属性配置。
8. 根据HDFS输入配置页面提示，配置参数。
   

   参数	说明
   步骤名称	根据当前组件的使用场景，填写名称。
   数据源	选择数据源。选取Dataphin系统中已配置的数据源，且数据源需同时具备以下两个条件： 数据源类型为HDFS。 执行属性配置的账号具有该数据源的同步读权限。如果没有权限，则需要申请数据源权限，详情请参见操作数据源权限。 同时您可以单击数据源后的图标，进入规划模块添加数据源，详情请参见新建HDFS数据源。
   文件路径	填写文件路径。
   文件类型	选择文件类型。 系统支持的文件类型包括TexT和CSV、ORC、RC、Sequence
   文件编码	选择文件编码。系统支持的文件编码包括UTF-8和GBK。
   字段分隔符	填写文件存储分隔符。如果您没有填写，则系统默认将字段分隔符填写为英文逗号（,）。
   压缩格式	选择文件的压缩格式。系统支持的压缩格式包括： zip gzip bzip2
   输出字段	为您展示输出字段。 您可以手动添加输出字段： 单击批量添加，以JSON格式批量配置，例如。 [{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }] 单击新建输出字段，根据页面提示填写来源序号、字段及选择类型。 同时您也可以对已添加的字段执行如下操作： 单击操作列下的图标，编辑已有的字段。 单击操作列下的图标，删除已有的字段。

9. 单击确认，完成HDFS输入组件的属性配置。

复制HDFS

1. 将鼠标放置在HDFS组件框内右键单击，单击复制。
2. 在管道画布中右键单击后，选择粘贴，完成HDFS输入组件的复制。

删除HDFS

1. 将鼠标放置在HDFS组件框内右键单击，单击删除。
2. 在确认弹框中单击确定，完成HDFS输入组件的删除。

选择数据的发送方式

当输入组件在连接多个下游组件时，需要选择输入组件的数据发送到下游节点的方式。

1. 将鼠标放置在HDFS组件框内右键单击，单击数据发送方式。
2. 选择数据发送的方式。
   数据发送方式包括：

   • 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。
   • 轮流分发：上游节点的数据根据下游节点数量进行轮流分发，且所有下游节点的数据之和等于上游节点的数据。