Kubernetes集群中工作负载相关的常见问题和解决方法 - 容器服务 Kubernetes 版 ACK

本文介绍在ACK集群中部署工作负载的过程中可能遇到的常见问题及对应解决方案。

在ACK集群中使用容器运行应用的大致流程是什么？
为什么拉取镜像速度慢或拉取失败？
如何进行ACK应用故障排查？
如何手动升级Helm的版本？
如何支持私有镜像？
Cloud Controller Manager（CCM）组件升级检查失败
在Kubernetes集群中如何支持私有镜像编排容器
容器镜像服务源码绑定失败问题排查
容器镜像仓库构建服务失败问题排查
如何在国外地域的ACK集群中使用中国内地地域的容器镜像服务企业版的镜像？
更新应用时，如何实现K8s零中断滚动更新？
如何获取镜像？
如何重启容器？
如何修改Deployment的命名空间？
如何将Pod信息呈现给容器？

在ACK集群中使用容器运行应用的大致流程是什么？

您的应用代码可部署在线下或者云上。不论何种语言的代码，您都可以将其以容器化的方式部署、交付及运行。从开发代码到运行容器化应用，大致需要以下四个阶段。

编写业务代码。
使用Dockerfile构建镜像。
展开查看相关概念
- Dockerfile：一个文本文件，包含了将代码打包成镜像所需的指令。具体操作，请参见在Dockerfile中使用构建打包镜像并运行。
- 镜像：软件交付的载体。相较于传统的如JAR、WAR、RPM包等，除了代码外，镜像还包含应用所依赖的软件环境（容器运行时所需要的所有的文件集合）。使用镜像可以快速生成一个容器，即运行的应用。
- 容器是一组具有隔离特性的进程集合，其特点是视图隔离、资源可限制、具备独立文件系统。您可以通过ACK对您所有的容器化应用进行全生命周期的高效管理。例如将某些Pod调度到指定的节点上，或者在业务负载升高时进行扩容操作。
上传镜像至镜像仓库。您可以使用容器镜像服务ACR来存放镜像，并进行版本管理、分发拉取等操作。
ACR提供个人版和企业版，分别面向个人开发者和企业客户。更多信息，请参见什么是容器镜像服务ACR。
在ACK集群中部署工作负载，运行容器化应用，使用ACK提供的多种容器化应用管理能力，请参见工作负载。

为什么拉取镜像速度慢或拉取失败？

您可以按照以下方式对拉取镜像慢或失败的问题进行排查：

如果您使用ACR拉取镜像，请确认用户名或密码是否正确。建议使用免密插件拉取镜像，具体操作，请参见使用免密组件拉取容器镜像。
确认发起请求的客户端是否具备公网能力，如果没有，您需要为客户端设置公网。

如何进行ACK应用故障排查？

ACK应用故障主要是由Pod、Deployment（StatefulSet/DaemonSet）控制器和Service的问题导致，您需要检查以下几类问题。

检查Pod

关于Pod异常问题的处理，请参见Pod异常问题排查。

检查Deployment

创建Deployment、DaemonSet、StatefulSet或Job等资源时，可能为Pod的问题。请参见Pod异常问题排查检查Pod的问题。
您也可以通过查看和Deployment相关的事件及日志来定位问题：
本文以Deployment为例进行介绍，在DaemonSet、StatefulSet或Job等资源中查看事件和日志的操作类似。
1. 登录容器服务管理控制台，在左侧导航栏选择集群。
2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。
3. 在无状态页面，单击目标Deployment名称。然后单击事件或日志，即可通过异常信息定位问题。

关于创建StatefulSet遇到的更多问题。请参见Forced Rollback。

检查Service

服务（Service）可以为一组Pod提供负载均衡的功能。以下介绍如何定位与Service相关的几类常见问题：

检查Service的Endpoints。
登录Kubernetes集群的Master节点。详情请参见获取集群KubeConfig并通过kubectl工具连接集群。
执行以下命令，查看Service的Endpoints。
以下代码中[$Service_Name]为目标Service的名称。
```
kubectl get endpoints [$Service_Name]
```
请确保ENDPOINTS值的地址个数和您期望与该Service匹配的Pod个数相同。例如，您使用Deployment部署了应用，其副本数为3，那么ENDPOINTS值的地址个数一定是3个。

Service中缺少Endpoints地址

如果您的Service中缺少Endpoints地址，可以通过Service的selector查询Service与Pod是否相关联，示例如下：

若您服务的YAML文件信息如下图所示时。
执行以下命令，核对返回的Pod是否为您已关联的Pod。
```
kubectl get pods --selector=app=[$App] -n [$Namespace]
```
说明
- [$App]为关联的Pod名称。
- [$Namespace]为服务所在的命名空间，如果服务在默认空间，则无需指定。
如果返回的Pod是您关联的Pod，但没有Endpoints地址，很可能是您没有为Service指定正确的端口。如果Service中指定的端口实际上在Pod中没有被监听，那么该Pod不会被添加到ENDPOINTS列表中，因此，请确保Service指定的容器端口在Pod中可以访问，命令如下。
```
curl [$IP]:[$Port]
```
说明
- [$IP]为第1步YAML文件中的clusterIP。
- [$Port]为第1步YAML文件中的port值。
- 具体测试方法以实际环境为准。

网络转发问题

如果您的客户端可以连接Service，并且Endpoints中的地址正确，但连接很快断开，那么可能是流量不能转发到您的Pod上，通常需要进行以下检查：

Pod是否正常工作。
定位Pod问题。具体操作，请参见Pod异常问题排查。
Pod地址是否正常连通。
1. 执行以下命令，获取Pod的IP地址。
```
kubectl get pods -o wide
```
2. 登录任意节点，使用ping命令测试Pod的IP地址，确认网络连接正常。
应用程序是否正常监听端口。
如果您的应用程序监听80端口，那么您需要在Service中指定容器端口为80。在任意节点上执行curl [$IP]:[$Port]命令，查看Pod中容器的端口是否正常。

如何手动升级Helm的版本？

登录到Kubernetes集群。更多信息，请参见获取集群KubeConfig并通过kubectl工具连接集群。
执行以下命令安装Tiller。
其中镜像地址可使用对应地域的VPC域名，例如，杭州地域的机器替换为registry-vpc.cn-hangzhou.aliyuncs.com/acs/tiller:v2.11.0。
```
helm init --tiller-image registry.cn-hangzhou.aliyuncs.com/acs/tiller:v2.11.0 --upgrade
```
等待tiller健康检查通过，执行helm version命令查看版本升级情况。
说明
- 这里只会升级Helm服务端版本，客户端可以通过直接下载对应的Client Binary使用。
- 请下载阿里云支持的最新客户端版本Helm client 2.11.0。

Helm客户端和服务端版本都升级完毕后，执行以下命令查看Helm版本。

helm version

预期输出：

Client: &version.Version{SemVer:"v2.11.0", GitCommit:"2e55dbe1fdb5fdb96b75ff144a339489417b****", GitTreeState:"clean"}
Server: &version.Version{SemVer:"v2.11.0", GitCommit:"2e55dbe1fdb5fdb96b75ff144a339489417b****", GitTreeState:"clean"}

如何支持私有镜像？

执行以下命令创建Secret。

kubectl create secret docker-registry regsecret --docker-server=registry-internal.cn-hangzhou.aliyuncs.com --docker-username=abc****@aliyun.com --docker-password=**** --docker-email=abc****@aliyun.com

说明

regsecret：指密钥的键名称，可自定义。
--docker-server：指Docker仓库地址。
--docker-username：指Docker仓库用户名。
--docker-password：指Docker仓库登录密码。
可选：--docker-email：指邮件地址。

您可以通过以下两种方法进行操作：

手动配置私有镜像
在YAML文件中加入密钥参数。
```
containers:
    - name: foo
      image: registry-internal.cn-hangzhou.aliyuncs.com/abc/test:1.0
imagePullSecrets:
    - name: regsecret
```
说明
- imagePullSecrets是声明拉取镜像时需要指定的密钥。
- regsecret必须和上面生成密钥的键名一致。
- image中的Docker仓库名称必须和--docker-server中的Docker仓库名一致。
更多信息，请参见使用私有仓库。

自动配置私有镜像实现无密钥编排

说明

为了避免每次使用私有镜像部署时都需要引用密钥，您可以将Secret添加到Namespace的Default Service Account中。更多信息，请参见Add ImagePullSecrets to a service account。

执行以下命令，查看创建的拉取私有镜像的Secret。
```
kubectl get secret regsecret
```
预期输出：
```
NAME        TYPE                             DATA      AGE
regsecret   kubernetes.io/dockerconfigjson   1         13m
```
本例中采用手动配置的方式，修改命名空间的默认服务账号Default，从而将此Secret作为imagePullSecret。
创建一个sa.yaml配置文件，将服务账号Default的配置导入到该文件中。
```
kubectl get serviceaccounts default -o yaml > ./sa.yaml
```

执行以下命令查看sa.yaml文件的详情。

cat  sa.yaml

预期输出：

apiVersion: v1
kind: ServiceAccount
metadata:
  creationTimestamp: 2015-08-07T22:02:39Z
  name: default
  namespace: default
  resourceVersion: "243024"             #注意该项selfLink: /api/v1/namespaces/default/serviceaccounts/default。
  uid: 052fb0f4-3d50-11e5-b066-42010af0****
secrets:
- name: default-token-uudgeoken-uudge

执行vim sa.yaml命令，删除resourceVersion，并增加拉取镜像的密钥配置项imagePullSecrets。修改后的配置如下所示：

apiVersion: v1
kind: ServiceAccount
metadata:
  creationTimestamp: 2015-08-07T22:02:39Z
  name: default
  namespace: default
  selfLink: /api/v1/namespaces/default/serviceaccounts/default
  uid: 052fb0f4-3d50-11e5-b066-42010af0****
secrets:
- name: default-token-uudge
imagePullSecrets:                 #增加该项。
- name: regsecret

执行以下命令将sa.yaml配置文件替换Default的服务账号配置。
```
kubectl replace serviceaccount default -f ./sa.yaml
```
预期输出：
```
serviceaccount "default" replaced
```

创建Tomcat示例应用。

Tomcat编排示例tomcat.yaml文件如下所示：

apiVersion: apps/v1 
kind: Deployment
metadata:
  name: tomcat-deployment
  labels:
    app: tomcat
spec:
  replicas: 1
  selector:
    matchLabels:
      app: tomcat
  template:
    metadata:
      labels:
        app: tomcat
    spec:
      containers:
      - name: tomcat
        image: registry-internal.cn-hangzhou.aliyuncs.com/abc/test:1.0              #替换为您自己的私有镜像地址Ports。
        - containerPort: 8080

执行以下命令创建Tomcat应用。

kubectl create -f tomcat.yaml

Pod启动成功后执行以下命令，可以看到预期的配置。
```
kubectl get pod tomcat-**** -o yaml
```
预期输出：
```
spec:
  imagePullSecrets:
- nameregsecretey
```

如何在国外地域的ACK集群中使用中国内地地域的容器镜像服务企业版的镜像？

在此种场景下，您需要在中国内地地域购买标准版和高级版的容器镜像服务企业版，在国外地域购买基础版的容器镜像服务企业版。

完成购买后，您需要使用同步实例的方法将中国内地地域的镜像同步到国外地域，具体操作，请参见同账号同步实例。在国外地域的容器镜像服务企业版中获取镜像地址，然后在国外地域的ACK集群中使用镜像地址创建应用。

如果您使用容器镜像服务个人版，同步镜像的速度将非常慢。如果您使用的是自建仓库，您需要购买GA加速。

说明

自建仓库和购买GA加速的成本比购买容器镜像服务企业版高，推荐您使用容器镜像服务企业版。

关于容器镜像服务企业版的计费方式，请参见计费说明。

更新应用时，如何实现K8s零中断滚动更新？

旧的应用删除，新的应用在创建过程中产生了短暂的5XX访问错误。此问题是由于应用滚动更新时，Pod变更同步到CLB会存在秒级延迟，因此会出现5XX错误。您可以通过配置优雅中断等方式解决此问题，以实现K8s零中断滚动更新。具体操作，请参见如何实现K8s零中断滚动更新？。

如何获取镜像？

您可以使用容器镜像服务ACR，来构建以及拉取镜像。具体信息，请参见管理镜像。

如何重启容器？

无法直接操作重启单个容器，您可以通过以下方式实现同样的效果：

执行以下命令查看容器状态，并确定待重启的容器。
```
kubectl get pods
```
删除Pod：直接删除Pod也会触发控制器（例如Deployment、DaemonSet等）重新创建新的Pod实例，从而达到重启容器的目的。删除单个Pod的命令如下：
```
kubectl delete pod <pod-name>
```
删除Pod后，Kubernetes会根据对应的控制器自动创建一个新的Pod进行替换。
说明
在实际生产环境中，应避免手动直接操作Pod，而是通过控制ReplicaSet、Deployment等对象来进行容器的管理和更新，以确保集群状态的一致性和正确性。
执行以下命令验证容器状态，确认容器状态为Running重启成功。
```
kubectl get pods
```

如何修改Deployment的命名空间？

如果您期望将服务从一个命名空间转移到另一个命名空间，您需要将服务的归属命名空间进行相应的修改。当执行命名空间变更时，还需要手动修改服务的持久化卷声明、配置对象（ConfigMaps）、保密字典（Secrets）以及其他依赖资源的命名空间，确保服务正常运行。

通过kubectl get命令以YAML格式导出资源配置。

kubectl get deploy <deployment-name> -n <old-namespace> -o yaml > deployment.yaml

编辑deployment.yaml，在namespace参数替换成新的命名空间后保存并退出。

apiVersion: apps/v1
kind: Deployment
metadata:
  annotations:
  generation: 1
  labels:
    app: nginx
  name: nginx-deployment
  namespace: new-namespace # 替换为新的命名空间。
  ... ...

使用kubectl apply命令将服务更新至新命名空间。
```
kubectl apply -f deployment.yaml 
```
使用kubectl get命令在新命名空间下查看服务。
```
kubectl get deploy -n new-namespace
```

如何将Pod信息呈现给容器？

ACK与社区Kubernetes保持一致性，遵循社区规范。将Pod信息呈现给容器时可通过两种方式：

环境变量：通过设置环境变量的方式，将Pod的信息传递给容器。
通过文件方式：通过挂载文件的方式，将Pod的信息以文件的形式提供给容器。