本章节汇总了实时计算使用、网络连通性、效率提升等相关的常见问题。
使用
如何查看作业的系统版本信息?
如何查看集群名称、项目名称和作业名称?
- 登录实时计算控制台。
- 将鼠标悬停至页面右上角账号信息位置,选择项目管理。
- 在项目列表页面,单击目标项目名称,进入项目概览页面,查看以下信息:
- 集群名称
您可以在实时计算控制台的总览页面查看实时计算项目的名称和项目所归属的集群名称。
- 项目名称
您可以在实时计算控制台的总览页面查看实时计算项目的名称。
- 作业名称
您可以在实时计算控制台的开发或运维页面查看实时计算作业的名称。
- 在开发页面查看作业名称
您可以在作业编辑页面右侧的基本属性页面中,查看作业的名称。
- 在运维页面查看作业名称
您可以在作业运维页面的顶部查看作业的名称。
- 在开发页面查看作业名称
- 地域信息
在总览页面右侧项目信息中,查看项目地域信息。
- 集群名称
如何查看AccessKey ID和AccessKey Secret信息?
您可以通过阿里云管理控制台获取您的密钥信息,查询步骤如下:
- 登录阿里云控制台。
- 将鼠标悬停至页面右上角的头像,单击Accesskey 管理。
- 在安全信息管理页面查看您的AccessKey ID和Access Key Secret信息。
如何查看更新后的SQL是否生效?
您可以在运维界面的 中查看更新后的SQL代码,确认您的变更是否生效。

说明 查看作业SQL变更生效前,请确保您按照作业生效的完整流程完成了SQL变更:
。
如何查看维表读取数据的进度?
您可以通过实时计算控制台中的taskmanager.log日志信息,查看维表读取数据的进度。具体操作步骤如下:
- 登录实时计算控制台。
- 单击顶部的运维。
- 在运维页面,单击目标作业名称。
- 单击对应的JOIN节点拓扑图。
- 单击SubTasks列表右侧的LOG0,进入taskmanager.log日志。
- 按下Ctrl + F,检索rows from <维表类型>,例如rows from odps。
说明 如果通过以上步骤无法检索到相应的进度信息,请从以下方面进行排查:
- 维表是否具备相应的权限(例如,MaxCompute需要具备download等权限)。
- WITH参数是否正确。
- taskmanager.log日志中是否存在异常信息。taskmanager.log日志中异常信息查询方法参见如何从taskmanager.log中查找脏数据等报错信息?
如何切换系统版本?
实时计算支持多种系统版本,您可以在实时计算管理控制台的开发页面对系统版本进行切换,操作步骤如下:
- 登录实时计算控制台。
- 单击顶部的开发。
- 在开发页面的右下角,单击版本切换。
- 单击确定,完成切换。说明
- 如果您使用的是独享集群,且只安装了一个系统版本,您需要先安装新版本再进行切换。详情请参见管理独享集群Blink版本。
- 作业版本切换完成后,需要进行重新上线(生成新的planJSON)和启动作业操作,才能使更新后的系统版本在作业中生效。
如何在SQL代码中动态获取作业参数?
您可以对作业中指定的参数进行配置,以达到作业更新后,作业SQL代码中WITH参数信息自动同步的目的。 操作步骤如下:
- 登录实时计算控制台。
- 单击顶部的开发。
- 在作业编辑页面,单击右侧的作业参数。
- 在作业参数页面,输入WITH参数的动态配置信息。
- 在对应的作业编辑页面,在作业代码中,使用
${}
声明WITH参数。
如何重新获取配置资源?
对作业的配置进行更新前,您需要进行重新获得获取配置资源的操作。操作步骤如下:
- 登录实时计算控制台。
- 单击页面底部的开发。
- 在作业开发页面,单击 。说明 如果在操作中出现报错,请参见重新获取配置资源报错,该如何处理?。
- 单击
如何使用系统时间进行分组聚合计算?
如果您有使用系统时间做分组聚合计算的需求,建议您使用GROUP BY DATE_FORMAT(TO_TIMESTAMP(NOW()*1000), 'yyyyMMdd') as `day` 的方式来代替GROUP BY CURRENT_DATE 。
因为,如果使用GROUP BY CURRENT_DATE方式进行分组聚合,运行结果可能不符合您的预期。
重启作业时,是否能保证数据不丢失且不重复?
- 如果您是手动停止作业后,再重启作业,您可以在重启设置启动位点时,调整启动时间到停止时间之前,并建议您使用带主键唯一特性的数据库做结果表,即使上游存储有部分重复消费的数据,最终结果也能接近准确。因为实时计算独享和共享模式本身不支持Savepoint,所以手动停止并重启的位点无法做到非常精准。
- 如果系统出现故障后重启作业,您无需担心数据丢失问题。因为实时计算存在容错机制。容错机制的核心是持续创建分布式数据流及其状态的快照。当系统出现故障时,这些快照充当可以回退的一致性检查点(Checkpoint)。作业Failover会从Failover前一次成功的Checkpoint位点恢复。
如何查看独享集群白名单和VPC信息?
独享集群引用的外部存储必须和实时计算处于相同的VPC。如果引用的数据存储(例如RDS)需要配置白名单,则需要将ENI中的IP添加到外部数据存储的白名单中。
- 登录实时计算控制台。
- 将鼠标悬停至页面右上角账号信息位置,选择项目管理。
- 单击左侧导航栏中集群列表。
- 在集群列表页面,名称下单击目标集群名称。
- 在集群信息窗口查看白名单和VPC信息。
- ENI:引用的外部存储白名单中需要添加的IP地址。
- VPC:集群VPC ID。
独享集群如何访问公网?
- 背景说明
独享集群默认不具备访问公网的能力,但阿里云提供的NAT网关可实现VPC网络与公网网络互通,以满足部分独享集群用户通过UDX或Datastream代码访问公网的需求。
- 解决方案
通过在VPC中创建NAT网关,并创建SNAT条目(如下图所示)将独享集群所在的交换机绑定至弹性公网IP(EIP),即可通过EIP访问公网。具体配置方法请参见:
如何访问跨VPC里的存储资源?
您可以通过以下几种方式跨VPC访问存储资源:
- 请您提交工单,产品名称选择VPC,要求通过高速通道或其它产品打通网络,但是此种方式需要付费。
- 退掉存储服务后,重新购买一个与实时计算相同VPC的存储资源服务。
- 释放Blink集群后,重新购买一个和存储服务相同VPC的实时计算服务。
- 开通实时计算的公网访问能力,通过公网访问存储服务。因为在延迟性方面,公网不如内网,所以不推荐使用此方式。独享集群默认不能访问公网,如有需求,请参见独享集群如何访问公网?
如何对网络连通性问题进行排查?
如果出现网络连通性问题,请先参见网络探测完成网络连通性的初步验证。本文为您介绍不同场景应该如何处理网络连通性问题:
- 网络连接失败
- 端口连接失败
请参见安全组概述完成安全组设置。
- 域名连接失败
如果IP连接正常,但域名连接失败,请检测域名解析是否正确。可以使用PrivateZone产品对域名进行解析。
如何快速编写和测试SQL?
实时计算提供整套开发工具辅助您进行开发测试工作,推荐流程如下:
- 在数据开发页面进行SQL开发,使用SQL编辑器的DDL生成、SQL智能提示、语法检测等工具实现快速开发。
- 在数据开发的在线调试功能,进行模拟容器调试。该调试过程不会影响线上代码和数据上下游存储。
- 将发布调试完成的代码,到生产运维试运行。经过真实业务和数据验证后,该SQL作业进入生产状态。
- 在数据开发页面完成修改代码后,不会影响生产作业,需要您单击上线后,重新启动该作业,该修改才会生效。
如何优化实时计算各个节点资源配置以减少延迟?
- 问题描述
实时计算作业启动后,多个节点的延迟会迅速增加。示例如下图。
- 原因分析
- 资源不足
- 启动作业的时候选择了追历史数据,作业将会有一定的延时。
- 解决方案
- 资源不足:进行AutoConf自动配置调优或手动配置调优。
- 当启动作业的时,指定读取数数据时间选择当前时间之前:历史数据追取完成后,延时将恢复正常。
在文档使用中是否遇到以下问题
更多建议
匿名提交