弹性伸缩FAQ

为目标节点配置Node Annotation "cluster-autoscaler.kubernetes.io/scale-down-disabled": "true"，使其不被cluster-autoscaler缩容。添加Annotation的命令示例如下。

kubectl annotate node <nodename> cluster-autoscaler.kubernetes.io/scale-down-disabled=true

请检查是否存在如下几种场景：

• 配置伸缩组的实例类型无法满足Pod的资源申请（Request）。ECS实例规格给出的资源大小是实例的售卖规格，实际运行时请考虑以下资源预留。

  • 在创建实例的过程中因为虚拟化、OS占用掉一部分。详细信息，请参见购买实例后查看内存大小，为什么和购买时的实例规格定义不一致？。

  • 需要占用一定的节点资源来运行相关组件（例如kubelet、kube-proxy、Terway、Container Runtime等）。详细信息，请参见节点资源预留策略。

  • 默认节点会安装系统组件，Pod的申请资源要小于实例的规格。

• 对可用区有约束的Pod，无法触发配置了多可用区的节点池扩容。

• 是否完整按照步骤执行了授权操作。授权操作是集群维度的，需要每个集群操作一次。关于授权，请参见步骤二：授权。

• 开启自动伸缩的节点池中出现如下异常情况。

  • 实例未加入到集群且超时。

  • 节点未ready且超时。

  为保证后续扩缩准确性，弹性组件以阻尼方式处理异常情况，在处理完异常情况节点前，不进行扩缩容。

请检查是否存在如下几种场景：

• 节点Pod的资源申请（Request）阈值高于设置的缩容阈值。

• 节点上运行kube-system命名空间的Pod。

• 节点上的Pod包含强制的调度策略，导致其他节点无法运行此Pod。

• 节点上的Pod拥有PodDisruptionBudget，且到达了PodDisruptionBudget的最小值。

您可以指定Pod阻止或不阻止节点被cluster-autoscaler缩容。

• 阻止节点被cluster-autoscaler缩容：为Pod添加Annotation "cluster-autoscaler.kubernetes.io/safe-to-evict": "false"。

• 不阻止节点被cluster-autoscaler缩容：为Pod添加Annotation "cluster-autoscaler.kubernetes.io/safe-to-evict": "true" 。

当HPA的监控数据的current字段显示为unknown时，表示kube-controller-manager无法访问监控数据源获取对应的监控数据。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因如下：

• 原因一：resource metrics数据源无法使用。先执行命令kubectl top pod检查是否返回数据。如果所有的Pod都无数据，请执行kubectl get apiservice检查当前提供resource metrics的数据源的情况。返回的示例数据如下。

  展开查看返回的示例数据

  NAME                                   SERVICE                      AVAILABLE   AGE
  v1.                                    Local                        True        29h
  v1.admissionregistration.k8s.io        Local                        True        29h
  v1.apiextensions.k8s.io                Local                        True        29h
  v1.apps                                Local                        True        29h
  v1.authentication.k8s.io               Local                        True        29h
  v1.authorization.k8s.io                Local                        True        29h
  v1.autoscaling                         Local                        True        29h
  v1.batch                               Local                        True        29h
  v1.coordination.k8s.io                 Local                        True        29h
  v1.monitoring.coreos.com               Local                        True        29h
  v1.networking.k8s.io                   Local                        True        29h
  v1.rbac.authorization.k8s.io           Local                        True        29h
  v1.scheduling.k8s.io                   Local                        True        29h
  v1.storage.k8s.io                      Local                        True        29h
  v1alpha1.argoproj.io                   Local                        True        29h
  v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
  v1beta1.admissionregistration.k8s.io   Local                        True        29h
  v1beta1.alicloud.com                   Local                        True        29h
  v1beta1.apiextensions.k8s.io           Local                        True        29h
  v1beta1.apps                           Local                        True        29h
  v1beta1.authentication.k8s.io          Local                        True        29h
  v1beta1.authorization.k8s.io           Local                        True        29h
  v1beta1.batch                          Local                        True        29h
  v1beta1.certificates.k8s.io            Local                        True        29h
  v1beta1.coordination.k8s.io            Local                        True        29h
  v1beta1.events.k8s.io                  Local                        True        29h
  v1beta1.extensions                     Local                        True        29h
  ...
  [v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
  ...
  v1beta1.networking.k8s.io              Local                        True        29h
  v1beta1.node.k8s.io                    Local                        True        29h
  v1beta1.policy                         Local                        True        29h
  v1beta1.rbac.authorization.k8s.io      Local                        True        29h
  v1beta1.scheduling.k8s.io              Local                        True        29h
  v1beta1.storage.k8s.io                 Local                        True        29h
  v1beta2.apps                           Local                        True        29h
  v2beta1.autoscaling                    Local                        True        29h
  v2beta2.autoscaling                    Local                        True        29h

  如果v1beta1.metrics.k8s.io所对应的API Service不是kube-system/metrics-server，检查是否由于安装Prometheus Operator覆盖导致。如果是覆盖导致的问题，可以通过部署以下的YAML模板进行恢复。

  apiVersion: apiregistration.k8s.io/v1beta1
  kind: APIService
  metadata:
    name: v1beta1.metrics.k8s.io
  spec:
    service:
      name: metrics-server
      namespace: kube-system
    group: metrics.k8s.io
    version: v1beta1
    insecureSkipTLSVerify: true
    groupPriorityMinimum: 100
    versionPriority: 100

  如果非上述问题，请确认已在集群的运维管理 > 组件管理页面安装了metrics-server组件。更多信息，参见metrics-server。

• 原因二：滚动发布或者扩容时无法获取数据。

  默认metrics-server的采集周期是1 min。刚扩容或更新完成后，metrics-server会有一段时间无法获取监控数据。请于扩容或更新后2 min左右进行查看。

• 原因三：缺少request字段设置。

  HPA默认是通过实际的利用率/request作为利用率的数值，因此可以检查Pod的Resource字段中是否包含Request字段。

• 原因四：指标名填写错误。请检查指标名（包括大小写）是否正确。例如，如果将HPA支持的cpu指标误写为CPU，监控数据current字段会显示为unknown。

社区Controller Manager在滚动发布时，对于没有监控数据的Pod，进行监控数据的补零操作，从而有一定的概率出现扩容出多余的Pod现象（多弹现象）。您可以通过以下配置防止多弹。

• 集群维度配置。

  您可以通过升级ACK提供的最新版metrics-server，并在metrics-server的启动参数上开启开关防止多弹。

  这是全局开关，设置后对集群内所有相关负载生效。

  ##在metrics-server的启动参数中加入以下选项。
  --enable-hpa-rolling-update-skipped=true  

• 工作负载维度配置。如果只想对指定的工作负载开启防止多弹，您可以使用以下两种方法防止多弹。

  • 方法一：通过在指定工作负载的模板中添加以下Annotation，可以在滚动发布时临时暂停HPA的判断生效。

    ##工作负载的spec.template.metadata.annotations加入Annotation，滚动发布时临时暂停HPA的判断生效。
    HPARollingUpdateSkipped: "true"

    展开查看示例代码详情

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment-basic
      labels:
        app: nginx
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: nginx
        template:
            metadata:
              labels:
                app: nginx
              annotations:
                HPARollingUpdateSkipped: "true"  # 跳过滚动发布时的HPA的效果。
            spec:
              containers:
              - name: nginx
                image: nginx:1.7.9
                ports:
                - containerPort: 80

  • 方法二：通过在指定工作负载的模板中添加以下Annotation，可以在应用发布开始阶段跳过设定的预热时间段。

    ##工作负载的spec.template.metadata.annotations加入Annotation,在应用发布开始阶段跳过设定的预热的时间段。
    HPAScaleUpDelay: 3m # 3m仅为示例，具体时间段请按需设置

    展开查看示例代码详情

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment-basic
      labels:
        app: nginx
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: nginx
        template:
            metadata:
              labels:
                app: nginx
              annotations:
                HPAScaleUpDelay: 3m  # m代表分钟，表示HPA在Pod创建3分钟后开始生效，可选单位为[s（秒），m（分）]。
            spec:
              containers:
              - name: nginx
                image: nginx:1.7.9
                ports:
                - containerPort: 80

增加开关防止误触发部署示例YAML如下。

## 以Deployment为例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # m代表分钟，表示HPA在Pod创建3分钟后开始生效，可选单位为[s(秒),m(分)]。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # Replace it with your exactly <image_name:tags>.
        ports:
        - containerPort: 80 

常见可能导致匹配Pod数目不准确的原因：

• 滚动发布。

• 给其他不属于scaleTargetRef中对象的Pod打标了相同Label。执行如下命令，可判断是否有其他Pod。

  kubectl get pods -n {命名空间名字} -l {scale子资源的status.Selector的值}