数据开发是Dataphin的核心功能,支持规范模型、数据处理和主题式查询。同时,数据开发模块对接了Dataphin的权限管理、运维和发布模块,致力于为您构建便捷、高效的数据开发平台。

背景信息

如果Dataphin实例为智能研发版,则数据开发支持规范建模数据处理即席查询

如果Dataphin实例为基础研发版,则系统支持数据处理即席查询,不支持规范建模功能。

功能介绍

Dataphin旨在为您提供工具化、自动化、智能化和价值化的智能数据构建与管理的平台:
  • 规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径。同时,根据业务需求完成数据模型的设计。

    规范建模为您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。

    说明 仅绑定业务板块的项目支持规范建模功能。
  • 数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型任务的等。
  • 即席查询:即主题式查询,面向业务主题的数据查询,屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。
Dataphin支持BasicDev-Prod的数据开发模式:
  • Basic项目绑定了Basic业务板块,系统支持规范建模功能。Basic项目绑定了Prod业务板块,则系统不支持规范建模功能,仅支持数据处理即席查询功能。
  • Dev项目支持规范建模数据处理即席查询功能。Prod项目支持规范建模数据处理功能。

页面介绍

说明 如果您的Dataphin实例为基础研发版,则不支持规范建模
  • Dev项目
    功能区编号 描述
    当前打开的项目名称,以及项目的环境类型(ProdDev)。您可以单击项目名称后的test图标,在下拉列表中,依次选择项目分类(ProdDevBasic)及项目名称,切换项目。同时,您也可以在搜索框中输入项目名称关键词,快速搜索项目,提高了搜索的效率。
    环境类型标识按钮,单击tstt图标,切换DevProd项目。Prod项目表示生产环境的项目,Dev项目表示开发环境项目。

    例如,当前您访问的是Dev项目(编号②的环境类型标识为ftata图标),单击tstt图标后,切换至Prod项目(编号②的环境类型标识为gegew图标)。

    说明 Basic项目没有环境类型标识按钮。
    快速新建规范定义、逻辑表、数据处理和即席查询任务的入口。
    刷新任务列表、新建文件和新建文件夹的按钮。
    输入任务名称的关键字的方式,快速搜索任务。
    已创建的文件夹、任务和文件列表。
    左侧导航栏提供的规范建模和数据处理的相关操作入口。
    数据开发模块提供萃取、集成、发布、运维和权限模块的入口。
    在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发萃取资产页签,快速搜索目标对象。

    同时,您也可以单击gageg图标,在代码搜索框中,输入代码的关键字快速搜索代码。

    说明
    • 系统仅支持搜索已提交开发中已发布状态的代码
    • 系统仅支持搜索版本升级后(2020年7月14日)提交过的代码。
    展示了规范定义包含的元素及相互关系,并提供了创建规范定义的入口。
    展示了数据建模包含的元素,同时为您提供新建事实逻辑表汇总逻辑表的入口。
    展示了任务研发包含的离线计算任务实时计算任务同步任务的类型,并提供了创建任务的入口。
    展示了文件引用包含的离线计算函数实时计算函数实时自定义源资源管理实时计算模板实时计算元表,并提供了创建文件的入口。
    即席查询仅包含SQL查询,并提供了创建SQL查询的入口。
  • Baisc项目
    • Baisc(非Data_distill)与Dev项目页面功能相似,Baisc项目不支持发布功能。tewfga
    • Data_distill项目

      Data_distill和其他Baisc项目页面功能相似,但Data_distill项目不支持规范建模功能。

  • Prod项目

    ProdDev项目页面功能相似,但Prod项目仅支持查看数据处理规范建模模块的资源(资源在Dev项目开发并发布到Prod项目),不支持发布即系查询功能。

SQL语法解析器的关键字

SELECT、DELETE、INSERT、UPDATE、FROM、HAVING、WHERE、ORDER、BY、GROUP、INTO、AS、CREATE、ALTER、DROP、SET、NULL、NOT、
DISTINCT、TABLE、TABLESPACE、VIEW、SEQUENCE、TRIGGER、USER、INDEX、SESSION、PROCEDURE、FUNCTION、PRIMARY、KEY、DEFAULT、
CONSTRAINT、CHECK、UNIQUE、FOREIGN、REFERENCES、EXPLAIN、FOR、IF、ADD、ALL、UNION、EXCEPT、INTERSECT、MINUS、INNER、LEFT、
RIGHT、FULL、OUTER、JOIN、ON、SCHEMA、CAST、COLUMN、USE、DATABASE、TO、AND、OR、XOR、CASE、WHEN、THEN、ELSE、ELSIF、END、
EXISTS、IN、NEW、ASC、DESC、IS、LIKE、ESCAPE、BETWEEN、VALUES、INTERVAL、LOCK、SOME、ANY、TRUNCATE、RETURN、TRUE、FALSE、
LIMIT、KILL、IDENTIFIED、PASSWORD、DUAL、BINARY、SHOW、REPLACE、PERIOD、BITS、WHILE、DO、LEAVE、ITERATE、REPEAT、UNTIL、
OPEN、CLOSE、OUT、INOUT、EXIT、UNDO、SQLSTATE、CONDITION、DIV、WINDOW、OFFSET、ROW、ROWS、ONLY、FIRST、NEXT、FETCH、OF、
SHARE、NOWAIT、RECURSIVE、TEMPORARY、TEMP、UNLOGGED、RESTART、IDENTITY、CONTINUE、CASCADE、RESTRICT、USING、CURRENT、RETURNING、
COMMENT、OVER、TYPE、ILIKE、RLIKE、FULLTEXT、START、PRIOR、CONNECT、WITH、EXTRACT、CURSOR、MERGE、MATCHED、ERRORS、
REJECT、UNLIMITED、BEGIN、EXCLUSIVE、MODE、WAIT、ADVISE、SYSDATE、DECLARE、EXCEPTION、GRANT、REVOKE、LOOP、GOTO、COMMIT、
SAVEPOINT、CROSS、PCTFREE、INITRANS、MAXTRANS、INITIALLY、ENABLE、DISABLE、SEGMENT、CREATION、IMMEDIATE、DEFERRED、STORAGE、
MINEXTENTS、MAXEXTENTS、MAXSIZE、PCTINCREASE、FLASH_CACHE、CELL_FLASH_CACHE、NONE、LOB、STORE、CHUNK、CACHE、NOCACHE、LOGGING、
NOCOMPRESS、KEEP_DUPLICATES、EXCEPTIONS、PURGE、COMPUTE、ANALYZE、OPTIMIZE、TOP、ARRAY、DISTRIBUTE、EOF、ERROR、IDENTIFIER、
HINT、VARIANT、LITERAL_INT、LITERAL_FLOAT、LITERAL_HEX、LITERAL_CHARS、LITERAL_NCHARS、LITERAL_ESCAPE、LITERAL_PATH、LITERAL_ALIAS、
LINE_COMMENT、MULTI_LINE_COMMENT、BINARY_FLOAT、BINARY_DOUBLE、PARTITION、PARTITIONED、OVERWRITE、SORT、SEL、LOCKING、
ACCESS、VOLATILE、MULTISET、POSITION、RANGE_N、FORMAT、QUALIFY、MOD、CONTAINS、CONCAT、UPSERT、LPAREN、RPAREN、LBRACE、
RBRACE、LBRACKET、RBRACKET、SEMI、COMMA、DOT、DOTDOT、DOTDOTDOT、EQ、GT、LT、LT_SUB_GT、BANG、BANGBANG、BANG_TILDE、
BANG_TILDE_STAR、BANG_TILDE_TILDE_STAR、TILDE、TILDE_STAR、TILDE_TILDE_STAR、TILDE_EQ、QUES、QUESQUES、QUESBAR、
QUESAMP、COLON、COLONCOLON、COLONEQ、EQEQ、EQGT、LTEQ、LTEQGT、LTGT、GTEQ、BANGEQ、BANGGT、BANGLT、AMPAMP、BARBAR、BARBARSLASH、
BARSLASH、PLUS、SUB、SUBGT、SUBGTGT、STAR、SLASH、AMP、BAR、CARET、CARETEQ、PERCENT、LTLT、GTGT、MONKEYS_AT、MONKEYS_AT_AT、
POUND、POUNDGT、POUNDGTGT、MONKEYS_AT_GT、LT_MONKEYS_AT、NOT_EXTEND_RIGHT、NOT_EXTEND_LEFT、DISTRIBUTED、WITHIN、TILDE_TILDE、
BANG_TILDE_TILDE、RANDOMLY、ENCODING、STATISTICS、INCLUSIVE、SUBPARTITION、EVERY、RENAME、WITHOUT、INVALIDATE、METADATA、
IMPORT、SERVER、OPTIONS