AlmaLinux服务器上Kubernetes部署实战指南构建高可用容器集群的最佳实践与技巧

威震华夏关云长

1. 引言

Kubernetes已经成为现代容器编排的事实标准，它提供了自动化部署、扩展和管理容器化应用程序的能力。AlmaLinux作为RHEL的下游分支，以其稳定性和长期支持而闻名，是部署生产级Kubernetes集群的理想选择。本文将详细介绍如何在AlmaLinux服务器上构建高可用的Kubernetes集群，并提供一系列最佳实践和技巧，帮助您构建稳定、高效的容器化平台。

2. 环境规划与准备

2.1 硬件要求

在开始部署之前，确保您的硬件满足以下最低要求：

• 控制平面节点：至少2个CPU核心，4GB RAM，20GB可用磁盘空间
• 工作节点：至少2个CPU核心，2GB RAM，20GB可用磁盘空间
• 负载均衡器：1个CPU核心，1GB RAM，10GB可用磁盘空间
• 网络：节点之间网络延迟低，带宽充足

对于生产环境，建议使用更高规格的硬件，并至少部署3个控制平面节点以确保高可用性。

2.2 软件要求

• 操作系统：AlmaLinux 8.5或更高版本
• 容器运行时：Docker、containerd或CRI-O
• Kubernetes版本：1.23.x或更高版本（本文使用1.25.0）
• 网络插件：Calico、Flannel或Cilium
• 负载均衡器：HAProxy或Nginx

2.3 网络拓扑设计

一个典型的高可用Kubernetes集群网络拓扑如下：

2. [互联网] -> [负载均衡器] -> [控制平面节点1]
3.                           -> [控制平面节点2]
4.                           -> [控制平面节点3]
5.                           -> [工作节点1]
6.                           -> [工作节点2]
7.                           -> ... [更多工作节点]

复制代码

3. 系统初始化配置

3.1 更新系统并安装基本工具

在所有节点上执行以下命令：

2. # 更新系统
3. sudo dnf update -y
5. # 安装基本工具
6. sudo dnf install -y curl wget vim git
8. # 禁用firewalld（Kubernetes有自己的网络策略）
9. sudo systemctl stop firewalld
10. sudo systemctl disable firewalld
12. # 禁用SELinux（或者设置为permissive模式）
13. sudo setenforce 0
14. sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
16. # 禁用swap
17. sudo swapoff -a
18. sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
20. # 设置内核参数
21. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
22. br_netfilter
23. EOF
25. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
26. net.bridge.bridge-nf-call-ip6tables = 1
27. net.bridge.bridge-nf-call-iptables = 1
28. net.ipv4.ip_forward = 1
29. EOF
31. sudo sysctl --system

复制代码

3.2 配置主机名和hosts文件

在每个节点上设置主机名，并更新/etc/hosts文件：

2. # 在控制平面节点1上
3. sudo hostnamectl set-hostname k8s-master-1
5. # 在控制平面节点2上
6. sudo hostnamectl set-hostname k8s-master-2
8. # 在控制平面节点3上
9. sudo hostnamectl set-hostname k8s-master-3
11. # 在工作节点1上
12. sudo hostnamectl set-hostname k8s-worker-1
14. # 在工作节点2上
15. sudo hostnamectl set-hostname k8s-worker-2

复制代码

在所有节点上更新/etc/hosts文件：

2. cat <<EOF | sudo tee -a /etc/hosts
3. 192.168.1.10 k8s-master-1
4. 192.168.1.11 k8s-master-2
5. 192.168.1.12 k8s-master-3
6. 192.168.1.20 k8s-worker-1
7. 192.168.1.21 k8s-worker-2
8. 192.168.1.30 k8s-lb
9. EOF

复制代码

4. 容器运行时安装

4.1 安装containerd

containerd是Kubernetes推荐的容器运行时，以下是安装步骤：

2. # 安装containerd
3. sudo dnf install -y containerd
5. # 创建containerd配置目录
6. sudo mkdir -p /etc/containerd
8. # 生成默认配置并修改
9. sudo containerd config default | sudo tee /etc/containerd/config.toml
11. # 修改cgroup驱动为systemd
12. sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
14. # 重启并启用containerd
15. sudo systemctl restart containerd
16. sudo systemctl enable containerd

复制代码

4.2 验证containerd安装

2. sudo systemctl status containerd
3. sudo ctr --version

复制代码

5. Kubernetes组件安装

5.1 添加Kubernetes仓库

2. cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
3. [kubernetes]
4. name=Kubernetes
5. baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
6. enabled=1
7. gpgcheck=1
8. repo_gpgcheck=1
9. gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
10. exclude=kubelet kubeadm kubectl
11. EOF

复制代码

5.2 安装Kubernetes组件

2. # 安装kubelet、kubeadm和kubectl
3. sudo dnf install -y kubelet-1.25.0 kubeadm-1.25.0 kubectl-1.25.0 --disableexcludes=kubernetes
5. # 启用并启动kubelet
6. sudo systemctl enable --now kubelet

复制代码

6. 负载均衡器配置

6.1 安装HAProxy

在负载均衡器节点（k8s-lb）上安装HAProxy：

2. # 安装HAProxy
3. sudo dnf install -y haproxy
5. # 配置HAProxy
6. cat <<EOF | sudo tee /etc/haproxy/haproxy.cfg
7. frontend kubernetes-frontend
8.     bind *:6443
9.     mode tcp
10.     option tcplog
11.     default_backend kubernetes-backend
13. backend kubernetes-backend
14.     mode tcp
15.     option tcp-check
16.     balance roundrobin
17.     server k8s-master-1 192.168.1.10:6443 check fall 3 rise 2
18.     server k8s-master-2 192.168.1.11:6443 check fall 3 rise 2
19.     server k8s-master-3 192.168.1.12:6443 check fall 3 rise 2
20. EOF
22. # 启动并启用HAProxy
23. sudo systemctl restart haproxy
24. sudo systemctl enable haproxy

复制代码

6.2 验证负载均衡器

2. sudo systemctl status haproxy
3. curl -k https://192.168.1.30:6443

复制代码

7. 初始化Kubernetes控制平面

7.1 创建kubeadm配置文件

在第一个控制平面节点（k8s-master-1）上创建kubeadm配置文件：

2. cat <<EOF | sudo tee kubeadm-config.yaml
3. apiVersion: kubeadm.k8s.io/v1beta3
4. kind: InitConfiguration
5. localAPIEndpoint:
6.   advertiseAddress: 192.168.1.10
7.   bindPort: 6443
8. nodeRegistration:
9.   criSocket: /run/containerd/containerd.sock
10.   kubeletExtraArgs:
11.     cgroup-driver: systemd
12. ---
13. apiVersion: kubeadm.k8s.io/v1beta3
14. kind: ClusterConfiguration
15. kubernetesVersion: v1.25.0
16. controlPlaneEndpoint: "192.168.1.30:6443"
17. imageRepository: registry.aliyuncs.com/google_containers
18. clusterName: kubernetes
19. networking:
20.   dnsDomain: cluster.local
21.   serviceSubnet: "10.96.0.0/12"
22.   podSubnet: "10.244.0.0/16"
23. etcd:
24.   external:
25.     endpoints:
26.     - https://192.168.1.10:2379
27.     - https://192.168.1.11:2379
28.     - https://192.168.1.12:2379
29.     caFile: /etc/kubernetes/pki/etcd/ca.crt
30.     certFile: /etc/kubernetes/pki/etcd/server.crt
31.     keyFile: /etc/kubernetes/pki/etcd/server.key
32. ---
33. apiVersion: kubeproxy.config.k8s.io/v1alpha1
34. kind: KubeProxyConfiguration
35. mode: ipvs
36. EOF

复制代码

7.2 初始化第一个控制平面节点

2. # 预拉取镜像
3. sudo kubeadm config images pull --config kubeadm-config.yaml
5. # 初始化集群
6. sudo kubeadm init --config kubeadm-config.yaml --upload-certs
8. # 配置kubectl
9. mkdir -p $HOME/.kube
10. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
11. sudo chown $(id -u):$(id -g) $HOME/.kube/config

复制代码

7.3 保存加入集群的命令

初始化完成后，会输出加入控制平面和工作节点的命令，请妥善保存：

2. # 加入控制平面节点的命令示例
3. kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash> --control-plane --certificate-key <key>
5. # 加入工作节点的命令示例
6. kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash>

复制代码

8. 部署网络插件

8.1 安装Calico网络插件

2. # 安装Calico
3. kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
5. # 检查Pod状态
6. kubectl get pods -n kube-system

复制代码

8.2 验证网络插件

2. # 检查节点状态
3. kubectl get nodes
5. # 创建测试Pod
6. kubectl run nginx --image=nginx --port=80
7. kubectl expose pod nginx --port=80 --type=NodePort
9. # 测试网络连通性
10. kubectl get svc nginx
11. curl <node-ip>:<node-port>

复制代码

9. 添加其他控制平面节点

9.1 复制证书到其他控制平面节点

在k8s-master-1上执行：

2. # 在k8s-master-1上
3. USER=root
4. CONTROL_PLANE_IPS="192.168.1.11 192.168.1.12"
6. for host in ${CONTROL_PLANE_IPS}; do
7.     ssh "${USER}"@$host "mkdir -p /etc/kubernetes/pki/etcd"
8.     scp /etc/kubernetes/pki/ca.crt "${USER}"@$host:/etc/kubernetes/pki/
9.     scp /etc/kubernetes/pki/ca.key "${USER}"@$host:/etc/kubernetes/pki/
10.     scp /etc/kubernetes/pki/sa.key "${USER}"@$host:/etc/kubernetes/pki/
11.     scp /etc/kubernetes/pki/sa.pub "${USER}"@$host:/etc/kubernetes/pki/
12.     scp /etc/kubernetes/pki/front-proxy-ca.crt "${USER}"@$host:/etc/kubernetes/pki/
13.     scp /etc/kubernetes/pki/front-proxy-ca.key "${USER}"@$host:/etc/kubernetes/pki/
14.     scp /etc/kubernetes/pki/etcd/ca.crt "${USER}"@$host:/etc/kubernetes/pki/etcd/
15.     scp /etc/kubernetes/pki/etcd/ca.key "${USER}"@$host:/etc/kubernetes/pki/etcd/
16.     scp /etc/kubernetes/admin.conf "${USER}"@$host:/etc/kubernetes/
17. done

复制代码

9.2 加入其他控制平面节点

在k8s-master-2和k8s-master-3上执行之前保存的加入控制平面节点的命令：

2. # 在k8s-master-2和k8s-master-3上
3. sudo kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash> --control-plane --certificate-key <key>
5. # 配置kubectl
6. mkdir -p $HOME/.kube
7. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
8. sudo chown $(id -u):$(id -g) $HOME/.kube/config

复制代码

9.3 验证控制平面节点状态

2. # 在任意控制平面节点上
3. kubectl get nodes
4. kubectl get pods -n kube-system

复制代码

10. 添加工作节点

10.1 加入工作节点

在k8s-worker-1和k8s-worker-2上执行之前保存的加入工作节点的命令：

2. # 在k8s-worker-1和k8s-worker-2上
3. sudo kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash>

复制代码

10.2 验证工作节点状态

2. # 在任意控制平面节点上
3. kubectl get nodes
4. kubectl label node k8s-worker-1 node-role.kubernetes.io/worker=worker
5. kubectl label node k8s-worker-2 node-role.kubernetes.io/worker=worker

复制代码

11. 配置高可用etcd集群

11.1 安装etcd

在所有控制平面节点上安装etcd：

2. # 安装etcd
3. sudo dnf install -y etcd
5. # 创建etcd数据目录
6. sudo mkdir -p /var/lib/etcd
7. sudo chown etcd:etcd /var/lib/etcd

复制代码

11.2 配置etcd

在每个控制平面节点上配置etcd：

在k8s-master-1上：

2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
3. name: 'k8s-master-1'
4. data-dir: /var/lib/etcd
5. initial-advertise-peer-urls: http://192.168.1.10:2380
6. listen-peer-urls: http://192.168.1.10:2380
7. listen-client-urls: http://192.168.1.10:2379,http://127.0.0.1:2379
8. advertise-client-urls: http://192.168.1.10:2379
9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
10. initial-cluster-state: 'new'
11. initial-cluster-token: 'k8s-etcd-cluster'
12. EOF

复制代码

在k8s-master-2上：

2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
3. name: 'k8s-master-2'
4. data-dir: /var/lib/etcd
5. initial-advertise-peer-urls: http://192.168.1.11:2380
6. listen-peer-urls: http://192.168.1.11:2380
7. listen-client-urls: http://192.168.1.11:2379,http://127.0.0.1:2379
8. advertise-client-urls: http://192.168.1.11:2379
9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
10. initial-cluster-state: 'new'
11. initial-cluster-token: 'k8s-etcd-cluster'
12. EOF

复制代码

在k8s-master-3上：

2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
3. name: 'k8s-master-3'
4. data-dir: /var/lib/etcd
5. initial-advertise-peer-urls: http://192.168.1.12:2380
6. listen-peer-urls: http://192.168.1.12:2380
7. listen-client-urls: http://192.168.1.12:2379,http://127.0.0.1:2379
8. advertise-client-urls: http://192.168.1.12:2379
9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
10. initial-cluster-state: 'new'
11. initial-cluster-token: 'k8s-etcd-cluster'
12. EOF

复制代码

11.3 启动etcd服务

在所有控制平面节点上启动etcd服务：

2. sudo systemctl enable --now etcd
3. sudo systemctl status etcd

复制代码

11.4 验证etcd集群状态

2. # 在任意控制平面节点上
3. etcdctl --endpoints=http://192.168.1.10:2379,http://192.168.1.11:2379,http://192.168.1.12:2379 endpoint health
4. etcdctl --endpoints=http://192.168.1.10:2379,http://192.168.1.11:2379,http://192.168.1.12:2379 endpoint status

复制代码

12. 部署存储解决方案

12.1 安装NFS Provisioner

2. # 创建NFS Provisioner命名空间
3. kubectl create namespace nfs-provisioner
5. # 安装NFS Provisioner
6. helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
7. helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
8.     --namespace nfs-provisioner \
9.     --set nfs.server=192.168.1.100 \
10.     --set nfs.path=/exported/path

复制代码

12.2 创建StorageClass

2. cat <<EOF | kubectl apply -f -
3. apiVersion: storage.k8s.io/v1
4. kind: StorageClass
5. metadata:
6.   name: nfs-client
7. provisioner: kubernetes.io/nfs
8. parameters:
9.   archiveOnDelete: "false"
10. EOF

复制代码

12.3 测试存储类

2. # 创建PVC
3. cat <<EOF | kubectl apply -f -
4. kind: PersistentVolumeClaim
5. apiVersion: v1
6. metadata:
7.   name: test-claim
8. spec:
9.   storageClassName: nfs-client
10.   accessModes:
11.     - ReadWriteMany
12.   resources:
13.     requests:
14.       storage: 1Mi
15. EOF
17. # 创建测试Pod
18. cat <<EOF | kubectl apply -f -
19. kind: Pod
20. apiVersion: v1
21. metadata:
22.   name: test-pod
23. spec:
24.   containers:
25.   - name: test-pod
26.     image: busybox:1.28
27.     command:
28.       - "/bin/sh"
29.     args:
30.       - "-c"
31.       - "touch /mnt/SUCCESS && exit 0 || exit 1"
32.     volumeMounts:
33.       - name: nfs-pvc
34.         mountPath: "/mnt"
35.   restartPolicy: "Never"
36.   volumes:
37.     - name: nfs-pvc
38.       persistentVolumeClaim:
39.         claimName: test-claim
40. EOF
42. # 验证
43. kubectl get pvc
44. kubectl get pod
45. kubectl describe pod test-pod

复制代码

13. 部署Ingress控制器

13.1 安装Nginx Ingress控制器

2. # 安装Nginx Ingress控制器
3. kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.5.1/deploy/static/provider/cloud/deploy.yaml
5. # 检查状态
6. kubectl get pods -n ingress-nginx
7. kubectl get svc -n ingress-nginx

复制代码

13.2 配置Ingress资源

2. # 创建示例应用
3. kubectl create deployment nginx --image=nginx
4. kubectl expose deployment nginx --port=80 --type=NodePort
6. # 创建Ingress资源
7. cat <<EOF | kubectl apply -f -
8. apiVersion: networking.k8s.io/v1
9. kind: Ingress
10. metadata:
11.   name: nginx-ingress
12.   annotations:
13.     nginx.ingress.kubernetes.io/rewrite-target: /
14. spec:
15.   rules:
16.   - host: nginx.example.com
17.     http:
18.       paths:
19.       - path: /
20.         pathType: Prefix
21.         backend:
22.           service:
23.             name: nginx
24.             port:
25.               number: 80
26. EOF
28. # 测试Ingress
29. # 在本地hosts文件中添加：192.168.1.30 nginx.example.com
30. # 然后访问 http://nginx.example.com

复制代码

14. 部署监控和日志系统

14.1 安装Prometheus和Grafana

2. # 创建监控命名空间
3. kubectl create namespace monitoring
5. # 安装Prometheus Operator
6. helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
7. helm repo update
9. # 安装Kube-Prometheus-Stack
10. helm install prometheus prometheus-community/kube-prometheus-stack \
11.     --namespace monitoring \
12.     --set grafana.adminPassword=admin \
13.     --set prometheus.prometheusSpec.retention=7d

复制代码

14.2 配置Grafana

2. # 获取Grafana密码
3. kubectl get secret --namespace monitoring prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo
5. # 端口转发访问Grafana
6. kubectl port-forward --namespace monitoring svc/prometheus-grafana 3000:80
8. # 访问 http://localhost:3000

复制代码

14.3 安装EFK日志系统

2. # 安装Elasticsearch
3. helm repo add elastic https://helm.elastic.co
4. helm install elasticsearch elastic/elasticsearch \
5.     --namespace logging \
6.     --set replicas=1 \
7.     --set minimumMasterNodes=1
9. # 安装Kibana
10. helm install kibana elastic/kibana \
11.     --namespace logging
13. # 安装Fluentd
14. helm install fluentd elastic/fluentd \
15.     --namespace logging

复制代码

15. 集群备份与恢复

15.1 使用Velero进行集群备份

2. # 下载Velero
3. wget https://github.com/vmware-tanzu/velero/releases/download/v1.9.0/velero-v1.9.0-linux-amd64.tar.gz
4. tar -xvf velero-v1.9.0-linux-amd64.tar.gz
5. sudo mv velero-v1.9.0-linux-amd64/velero /usr/local/bin/
7. # 安装Velero
8. velero install \
9.     --provider aws \
10.     --plugins velero/velero-plugin-for-aws:v1.4.0 \
11.     --bucket velero-backups \
12.     --secret-file ./credentials-velero \
13.     --use-volume-snapshots=false \
14.     --backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://minio-server:9000

复制代码

15.2 创建备份

2. # 创建完整集群备份
3. velero backup create cluster-backup --include-cluster-resources=true
5. # 创建命名空间备份
6. velero backup create ns-backup --include-namespaces=default,kube-system
8. # 定时备份
9. velero schedule create daily-backup --schedule="0 1 * * *" --include-cluster-resources=true

复制代码

15.3 恢复备份

2. # 列出可用备份
3. velero backup get
5. # 恢复备份
6. velero restore create --from-backup cluster-backup

复制代码

16. 集群维护与升级

16.1 节点维护

2. # 驱逐节点上的Pod
3. kubectl cordon <node-name>
4. kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data
6. # 维护完成后恢复节点
7. kubectl uncordon <node-name>

复制代码

16.2 升级Kubernetes集群

2. # 升级控制平面
3. sudo dnf update -y
4. sudo dnf install -y kubelet-1.26.0 kubeadm-1.26.0 kubectl-1.26.0 --disableexcludes=kubernetes
6. # 升级控制平面节点
7. sudo kubeadm upgrade plan
8. sudo kubeadm upgrade apply v1.26.0
10. # 升级kubelet
11. sudo systemctl daemon-reload
12. sudo systemctl restart kubelet
14. # 升级工作节点
15. sudo dnf update -y
16. sudo dnf install -y kubelet-1.26.0 kubeadm-1.26.0 --disableexcludes=kubernetes
17. sudo kubeadm upgrade node
18. sudo systemctl daemon-reload
19. sudo systemctl restart kubelet

复制代码

17. 安全最佳实践

17.1 使用RBAC

2. # 创建ServiceAccount
3. kubectl create serviceaccount dashboard-sa
5. # 创建Role
6. kubectl create role pod-reader --verb=get,list,watch --resource=pods
8. # 创建RoleBinding
9. kubectl create rolebinding pod-reader-binding --role=pod-reader --serviceaccount=default:dashboard-sa

复制代码

17.2 网络策略

2. # 创建默认拒绝所有入站流量的网络策略
3. cat <<EOF | kubectl apply -f -
4. apiVersion: networking.k8s.io/v1
5. kind: NetworkPolicy
6. metadata:
7.   name: default-deny-ingress
8. spec:
9.   podSelector: {}
10.   policyTypes:
11.   - Ingress
12. EOF
14. # 创建允许特定命名空间内Pod间通信的网络策略
15. cat <<EOF | kubectl apply -f -
16. apiVersion: networking.k8s.io/v1
17. kind: NetworkPolicy
18. metadata:
19.   name: allow-namespace
20. spec:
21.   podSelector: {}
22.   policyTypes:
23.   - Ingress
24.   ingress:
25.   - from:
26.     - namespaceSelector:
27.         matchLabels:
28.           name: default
29. EOF

复制代码

17.3 Pod安全策略

2. # 创建Pod安全策略
3. cat <<EOF | kubectl apply -f -
4. apiVersion: policy/v1beta1
5. kind: PodSecurityPolicy
6. metadata:
7.   name: restricted
8. spec:
9.   privileged: false
10.   allowPrivilegeEscalation: false
11.   requiredDropCapabilities:
12.     - ALL
13.   volumes:
14.     - 'configMap'
15.     - 'emptyDir'
16.     - 'projected'
17.     - 'secret'
18.     - 'downwardAPI'
19.     - 'persistentVolumeClaim'
20.   runAsUser:
21.     rule: 'MustRunAsNonRoot'
22.   seLinux:
23.     rule: 'RunAsAny'
24.   fsGroup:
25.     rule: 'RunAsAny'
26. EOF
28. # 创建ClusterRole和ClusterRoleBinding
29. cat <<EOF | kubectl apply -f -
30. apiVersion: rbac.authorization.k8s.io/v1
31. kind: ClusterRole
32. metadata:
33.   name: psp:restricted
34. rules:
35. - apiGroups:
36.   - policy
37.   resources:
38.   - podsecuritypolicies
39.   resourceNames:
40.   - restricted
41.   verbs:
42.   - use
43. ---
44. apiVersion: rbac.authorization.k8s.io/v1
45. kind: ClusterRoleBinding
46. metadata:
47.   name: psp:restricted
48. roleRef:
49.   apiGroup: rbac.authorization.k8s.io
50.   kind: ClusterRole
51.   name: psp:restricted
52. subjects:
53. - kind: Group
54.   name: system:authenticated
55. EOF

复制代码

18. 性能优化与调优

18.1 Kubelet资源管理

2. # 配置Kubelet资源管理
3. cat <<EOF | sudo tee /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
4. [Service]
5. Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
6. Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
7. Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.1.10 --cgroup-driver=systemd --pod-max-pids=10000 --max-pods=110"
8. ExecStart=
9. ExecStart=/usr/bin/kubelet \$KUBELET_KUBECONFIG_ARGS \$KUBELET_CONFIG_ARGS \$KUBELET_EXTRA_ARGS
10. EOF
12. # 重启Kubelet
13. sudo systemctl daemon-reload
14. sudo systemctl restart kubelet

复制代码

18.2 内核参数优化

2. # 优化内核参数
3. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes.conf
4. # 增加文件描述符限制
5. fs.file-max = 100000
6. fs.inotify.max_user_instances = 8192
7. fs.inotify.max_user_watches = 1048576
9. # 网络优化
10. net.core.rmem_max = 16777216
11. net.core.wmem_max = 16777216
12. net.ipv4.tcp_rmem = 4096 87380 16777216
13. net.ipv4.tcp_wmem = 4096 65536 16777216
14. net.core.netdev_max_backlog = 10000
15. net.ipv4.ip_local_port_range = 1024 65000
16. net.ipv4.tcp_tw_reuse = 1
17. net.ipv4.tcp_fin_timeout = 10
18. net.ipv4.tcp_keepalive_time = 600
19. net.ipv4.tcp_max_syn_backlog = 10000
21. # 虚拟内存优化
22. vm.swappiness = 10
23. vm.dirty_ratio = 60
24. vm.dirty_background_ratio = 2
25. EOF
27. # 应用内核参数
28. sudo sysctl -p /etc/sysctl.d/99-kubernetes.conf

复制代码

18.3 调整etcd性能

2. # 优化etcd配置
3. cat <<EOF | sudo tee /etc/etcd/etcd.conf
4. name: 'k8s-master-1'
5. data-dir: /var/lib/etcd
6. initial-advertise-peer-urls: http://192.168.1.10:2380
7. listen-peer-urls: http://192.168.1.10:2380
8. listen-client-urls: http://192.168.1.10:2379,http://127.0.0.1:2379
9. advertise-client-urls: http://192.168.1.10:2379
10. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
11. initial-cluster-state: 'new'
12. initial-cluster-token: 'k8s-etcd-cluster'
14. # 性能优化参数
15. heartbeat-interval: 100
16. election-timeout: 1000
17. max-snapshots: 5
18. max-wals: 5
19. snapshot-count: 10000
20. quota-backend-bytes: 4294967296
21. auto-compaction-retention: 1000
22. EOF
24. # 重启etcd
25. sudo systemctl restart etcd

复制代码

19. 故障排除

19.1 常见问题及解决方案

2. # 检查节点状态
3. kubectl describe node <node-name>
5. # 检查kubelet日志
6. journalctl -u kubelet -f
8. # 检查容器运行时状态
9. sudo systemctl status containerd
10. sudo crictl ps
11. sudo crictl logs <container-id>

复制代码

2. # 检查Pod事件
3. kubectl describe pod <pod-name>
5. # 检查资源使用情况
6. kubectl top nodes
8. # 检查PVC状态（如果Pod使用持久化存储）
9. kubectl get pvc
10. kubectl describe pvc <pvc-name>

复制代码

2. # 检查网络插件Pod状态
3. kubectl get pods -n kube-system | grep -E 'calico|flannel|cilium'
5. # 检查网络插件日志
6. kubectl logs -n kube-system <network-plugin-pod-name>
8. # 测试Pod间网络连通性
9. kubectl run -it --rm busybox --image=busybox -- sh
10. # 在Pod内执行
11. ping <other-pod-ip>
12. wget -qO- <service-url>

复制代码

19.2 集群恢复

2. # 停止kube-apiserver
3. sudo systemctl stop kube-apiserver
5. # 恢复etcd数据
6. sudo etcdctl snapshot restore snapshot.db \
7.     --data-dir /var/lib/etcd \
8.     --name k8s-master-1 \
9.     --initial-cluster k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380 \
10.     --initial-cluster-token k8s-etcd-cluster \
11.     --initial-advertise-peer-urls http://192.168.1.10:2380
13. # 重启etcd和kube-apiserver
14. sudo systemctl restart etcd
15. sudo systemctl start kube-apiserver

复制代码

2. # 使用Velero恢复
3. velero restore create --from-backup <backup-name>
5. # 检查恢复状态
6. velero restore get
7. velero restore describe <restore-name>

复制代码

20. 总结与最佳实践

在AlmaLinux上部署高可用的Kubernetes集群需要仔细规划和执行。以下是一些关键的最佳实践：

1. 环境规划：确保硬件资源充足，特别是对于生产环境规划好网络拓扑和IP地址分配使用高可用的负载均衡器
2. 确保硬件资源充足，特别是对于生产环境
3. 规划好网络拓扑和IP地址分配
4. 使用高可用的负载均衡器
5. 系统配置：正确配置内核参数和系统设置禁用swap和SELinux（或设置为permissive模式）使用稳定的容器运行时，如containerd
6. 正确配置内核参数和系统设置
7. 禁用swap和SELinux（或设置为permissive模式）
8. 使用稳定的容器运行时，如containerd
9. 高可用性：部署至少3个控制平面节点使用外部etcd集群配置负载均衡器以实现API服务器的高可用性
10. 部署至少3个控制平面节点
11. 使用外部etcd集群
12. 配置负载均衡器以实现API服务器的高可用性
13. 安全性：启用RBAC控制访问权限使用网络策略限制Pod间通信配置Pod安全策略限制容器权限
14. 启用RBAC控制访问权限
15. 使用网络策略限制Pod间通信
16. 配置Pod安全策略限制容器权限
17. 监控与日志：部署完整的监控解决方案，如Prometheus和Grafana配置集中式日志系统，如EFK堆栈设置警报以便及时发现问题
18. 部署完整的监控解决方案，如Prometheus和Grafana
19. 配置集中式日志系统，如EFK堆栈
20. 设置警报以便及时发现问题
21. 备份与恢复：定期备份etcd数据使用Velero等工具进行集群备份定期测试恢复流程
22. 定期备份etcd数据
23. 使用Velero等工具进行集群备份
24. 定期测试恢复流程
25. 维护与升级：遵循Kubernetes版本兼容性矩阵逐步升级控制平面和工作节点在升级前进行充分测试
26. 遵循Kubernetes版本兼容性矩阵
27. 逐步升级控制平面和工作节点
28. 在升级前进行充分测试

环境规划：

• 确保硬件资源充足，特别是对于生产环境
• 规划好网络拓扑和IP地址分配
• 使用高可用的负载均衡器

系统配置：

• 正确配置内核参数和系统设置
• 禁用swap和SELinux（或设置为permissive模式）
• 使用稳定的容器运行时，如containerd

高可用性：

• 部署至少3个控制平面节点
• 使用外部etcd集群
• 配置负载均衡器以实现API服务器的高可用性

安全性：

• 启用RBAC控制访问权限
• 使用网络策略限制Pod间通信
• 配置Pod安全策略限制容器权限

监控与日志：

• 部署完整的监控解决方案，如Prometheus和Grafana
• 配置集中式日志系统，如EFK堆栈
• 设置警报以便及时发现问题

备份与恢复：

• 定期备份etcd数据
• 使用Velero等工具进行集群备份
• 定期测试恢复流程

维护与升级：

• 遵循Kubernetes版本兼容性矩阵
• 逐步升级控制平面和工作节点
• 在升级前进行充分测试

通过遵循这些最佳实践，您可以构建一个稳定、安全且高性能的Kubernetes集群，为您的容器化应用提供强大的支持。

版权声明

1、转载或引用本网站内容(AlmaLinux服务器上Kubernetes部署实战指南构建高可用容器集群的最佳实践与技巧)须注明原网址及作者(威震华夏关云长)，并标明本网站网址(https://pixtech.cc/)。

2、对于不当转载或引用本网站内容而引起的民事纷争、行政处理或其他损失，本网站不承担责任。

3、对不遵守本声明或其他违法、恶意使用本网站内容者，本网站保留追究其法律责任的权利。

本文地址: https://pixtech.cc/thread-39916-1-1.html