Установка kubernetes с использованием контейнерного движка containerd без доступа в Интернет

Предварительные условия
Требования к среде развертывания
Входные данные
Развертывание Docker Registry
Настройка сети
Установка docker
Список необходимых образов
Настройка и запуск локального registry
Загрузка образов из сети Интернет
Загрузка образов из архива
Запуск локального registry
Настройка Master-node
Настройка рабочих нод
Подключение worker к кластеру

Окружение

• Версия ОС: 8
• Конфигурация ОС: Рабочая станция, Сервер графический, Сервер минимальный
• Редакция ОС: Стандартная, Образовательная
• Архитектура: x86_64
• Версия ПО: kubernetes1.33-1.33.4-1, kubernetes1.33-kubeadm-1.33.4-1, docker-ce-4:28.1.1-3

Предварительные условия

Требования к среде развертывания

К узлам в среде развертывания kubernetes предъявляются следующие минимальные требования:

• 4 ГБ оперативной памяти;

• 2 процессорных ядра;

• 5 ГБ свободного дискового пространства;

• сетевая связанность между узлами (управляющий узел должен иметь возможность соединения с рабочими узлами);

• уникальное имя узла (hostname) и MAC-адрес для каждого узла;

• открытые порты для планируемых к запуску сервисов, например:

• порт 80 — для обработки HTTP-запросов;

• порт 6443 — основной порт для взаимодействия с kube-apiserver;

• порт 5000 — для обеспечения сетевого взаимодействия внутри кластера.

• слой контейнеризации (docker).

Входные данные

В рамках рассматриваемого далее примера развертывания программной платформы kubernetes предполагается, что в работе используется три машины:

• Registry – для размещения локального хранилища образов с присвоенным статическим IP-адресом 10.0.2.20,

• Master – мастер-нода с присвоенным статическим IP-адресом 10.0.2.16,

• Worker – рабочая нода с присвоенным статическим IP-адресом 10.0.2.17,

которые располагаются в закрытой сети 10.0.2.0/24.

Развертывание Docker Registry

Настройка сети

Измените имя хоста:

hostnamectl set-hostname registry

В файл /etc/hosts внесите данные о registry:

nano /etc/hosts

Установка docker

Для установки docker выполните команду:

dnf install docker-ce

Запустите службу docker и добавьте ее в автозагрузку командой:

systemctl enable --now docker

В файле конфигурации демона docker необходимо указать, что с созданным хранилищем можно взаимодействовать:

nano /etc/docker/daemon.json

где:

• 10.0.2.20 – IP-адрес хоста с локальным regisrty (настраиваемый хост);

• 5000 – порт для подключения к локальному regisrty (по умолчанию).

Для сохранения настройки перезапустите службу docker:

systemctl daemon-reload
systemctl restart docker

Список необходимых образов

Для развертывания кластера Kubernetes в закрытой сети (без доступа в Интернет) необходимо подготовить следующие образы:

• registry.red-soft.ru/ubi8/registry:latest;

• registry.red-soft.ru/k8s8/kube-apiserver:v1.33.4;

• registry.red-soft.ru/k8s8/kube-controller-manager:v1.33.4;

• registry.red-soft.ru/k8s8/kube-scheduler:v1.33.4;

• registry.red-soft.ru/k8s8/kube-proxy:v1.33.4;

• registry.red-soft.ru/k8s8/coredns/coredns:v1.12.0;

• registry.red-soft.ru/k8s8/pause:3.10;

• registry.red-soft.ru/k8s8/etcd:3.5.21-0;

• registry.red-soft.ru/k8s8/flannel-cni-plugin-flannel:latest;

• registry.red-soft.ru/k8s8/flannel-flanneld:latest.

kubeadm config images list --kubernetes-version=v1.33.4

Настройка и запуск локального registry

Для дальнейшей настройки локального хранилища необходимые образы должны быть предварительно загружены и доступны при вызове команды docker images.

Загрузка образов из сети Интернет

Для загрузки образов из официального хранилища компании РЕД СОФТ выполните:

docker pull registry.red-soft.ru/ubi8/registry:latest
docker pull registry.red-soft.ru/ubi8/ubi:latest

Загруженным образам необходимо задать теги командой:

docker tag registry.red-soft.ru/ubi8/registry:latest 10.0.2.20:5000/registry:latest
docker tag registry.red-soft.ru/ubi8/ubi:latest 10.0.2.20:5000/ubi:latest

Загрузка образов из архива

В случае если настройка локального registry производится в полностью изолированном контуре, необходимо загрузить образы на машину с доступом к сети Интернет, аналогично п. «Загрузка образов из сети Интернет», и задать соответствующие теги.

Затем сохраните образы в архив:

docker save 10.0.2.20:5000/registry:latest > ~/registry.tar.xz
docker save 10.0.2.20:5000/ubi:latest > ~/ubi.tar.xz

После этого перенесите сохраненные образы на изолированную машину с registry, например, с помощью утилиты scp. Синтаксис утилиты имеет вид:

scp ubi.tar registry.tar registry:~

После получения архивов на изолированной машине с registry распакуйте их:

docker load -i ~/registry.tar.xz
docker load -i ~/ubi.tar.xz

Если передача образов была выполнена корректно, вывод команды docker images должен иметь следующий вид:

 docker images 
 
 REPOSITORY              TAG    IMAGE ID     CREATED      SIZE 
 10.0.2.20:5000/registry latest ec0246191e3d 34 hours ago 77MB 
 10.0.2.20:5000/ubi      latest 59db2d81180c 34 hours ago 202MB

Запуск локального registry

Создайте и запустите контейнер registry командой:

docker run -d -p 5000:5000 --restart=always --name registry 10.0.2.20:5000/registry:latest

В случае если образы необходимо хранить отдельно от контейнеров (не в каталоге по умолчанию – /var/lib/registry), создайте новый каталог и примонтируйте его при запуске registry, заменив каталог по умолчанию:

mkdir ~/registry 
docker run -d -p 5000:5000 --restart=always --name registry -v ~/registry:/var/lib/registry 10.0.2.20:5000/registry:latest

Поместите образы в настроенное локальное хранилище:

docker push 10.0.2.20:5000/registry:latest
docker push 10.0.2.20:5000/ubi:latest

Для проверки работоспособности настроенного локального хранилища попробуйте извлечь из него какой-либо образ, например:

docker pull 10.0.2.20:5000/ubi:latest

Если все настроено верно, вывод команды будет иметь примерно следующий вид:

latest: Pulling from ubi
Digest: sha256:4d5bf6fb108894853ca7610cf030cfb58bcdafdfffde6aa4cb67234b7670e9ec
Status: Image is up to date for 10.0.2.20:5000/ubi:latest10.0.2.20:5000/ubi:latest

Настройка Master-node

1. Задайте хостовое имя для master-ноды:

sudo hostnamectl set-hostname masternode

Проверьте изменения:

hostname && hostname -I 
 
masternode
10.0.2.16

2. В файл /etc/hosts внесите данные о master и worker:

sudo nano /etc/hosts 

3. Создайте файл для автозагрузки модулей ядра, необходимых для работы сервиса containerd:

cat <<EOF > /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

Загрузите модули в ядро:

 modprobe overlay && modprobe br_netfilter

Проверьте, что данные модули работают:

 lsmod | egrep "br_netfilter|overlay"

4. Создайте конфигурационный файл для работы сети внутри kubernetes:

cat <<EOF > /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

Примените параметры командой:

 sysctl --system

5. Установите необходимые пакеты:

 dnf install kubernetes kubernetes-kubeadm cri-tools iproute-tc ebtables socat conntrack git curl wget runc containerd

6. Настройте проброс портов в iptables:

 iptables -P FORWARD ACCEPT

7. Запустите службу containerd и добавьте ее в автозагрузку:

 systemctl enable --now containerd

8. Установите настройки по умолчанию для конфигурации контейнера:

 containerd config default | sudo tee /etc/containerd/config.toml

9. Внесите изменения в файл конфигурации /etc/containerd/config.toml:

9.1 Настройте доступ к локальному registry:

sed -i '/\[plugins\."io\.containerd\.grpc\.v1\.cri"\.registry\.mirrors\]/,/^$/ {
    /\[plugins\."io\.containerd\.grpc\.v1\.cri"\.registry\.mirrors\]/ a\
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.0.2.20:5000"]\
              endpoint = ["http://10.0.2.20:5000"]\n
    d
}' /etc/containerd/config.toml

9.2 Настройте доступ к контейнеру pause. Обратите внимание, что текущая версия Kubernetes (1.33.4) совместима с контейнером pause только версии 3.10:

sed -i 's|sandbox_image = "registry\.k8s\.io/pause:[0-9.]*"|sandbox_image = "10.0.2.20:5000/pause:3.10"|g' /etc/containerd/config.toml

9.3 Настройте расположение сетевых плагинов:

sed -i 's|bin_dir = "/opt/cni/bin"|bin_dir = "/usr/libexec/cni"|g' /etc/containerd/config.toml

9.4 Настройте использование драйвера cgroup:

sed -i 's|SystemdCgroup = false|SystemdCgroup = true|g' /etc/containerd/config.toml

Сохраните внесенные изменения.

10. Перезагрузите конфигурации служб:

systemctl daemon-reload

11. Перезапустите службу containerd:

systemctl restart containerd

12. Добавьте службу kubelet в автозагрузку:

systemctl enable kubelet.service

13. Проверьте доступность локального хранилища:

 ping 10.0.2.20 
 
PING 10.0.2.20 (10.0.2.20) 56(84) bytes of data.
64 bytes from 10.0.2.20: icmp_seq=1 ttl=64 time=2.19 ms
64 bytes from 10.0.2.20: icmp_seq=2 ttl=64 time=0.439 ms
64 bytes from 10.0.2.20: icmp_seq=3 ttl=64 time=1.37 ms
^C
--- 10.0.2.20 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2062ms
rtt min/avg/max/mdev = 0.439/1.331/2.188/0.714 ms

14. Для инициализации мастер-ноды необходимо:

14.1 Вывести конфигурацию по умолчанию командой:

kubeadm config print init-defaults > kubeadm-config.yaml

14.2 Привести содержимое конфигурации к следующему виду:

14.3 Сохранить внесенные в конфигурацию изменения.

14.4 Запустить инициализацию мастер-ноды в одноранговом кластере. Данная команда выполнит начальную настройку и подготовку основного узла кластера.

kubeadm init --config=kubeadm-config.yaml

В случае успешной инициализации в конце вывода команды будет отображаться примерно следующее:

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.2.16:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:9745328769c1c3992419453d339ff39e1a3d59814e8a3b4aa58688d8d5ff6db5 

15. Настройте параметры управления кластером. Настройку можно выполнить как для локального пользователя, так и для суперпользователя root.

Для управления кластером от имени локального пользователя выполните команды:

mkdir /home/$USER/.kube
cp -i /etc/kubernetes/admin.conf /home/$USER/.kube/config
chown $USER. /home/$USER/.kube /home/$USER/.kube/config 

Для управления кластером от имени суперпользователя root выполните команду:

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /root/.bashrc
source /root/.bashrc
export KUBECONFIG=/etc/kubernetes/admin.conf

kubectl edit configmap coredns -n kube-system

16. Настройте внутреннюю конфигурацию сети в кластере (в примере используется flannel).

16.1 Импортируйте образы на хосте с настроенным локальным registry:

docker load -i ~/flannel-cni-plugin-flannel.tar.xz
docker load -i ~/flannel-flanneld.tar.xz

16.2 Задайте новые имена для загруженных образов командой вида:

docker tag <имя_распакованного_образа>:<тег> <IP-адрес_registry>:<порт>/<имя_образа>:<тег>

где:

• <IP-адрес_registry> — IP-адрес хоста с настроенным локальным registry;

• <порт> — порт для подключения к локальному registry (по умолчанию 5000);

• <имя_образа> — имя образа;

• <тег> — тег образа.

Например:

docker tag registry.red-soft.ru/k8s8/flannel-cni-plugin-flannel:latest 10.0.2.20:5000/flannel-cni-plugin-flannel:latestdocker tag registry.red-soft.ru/k8s8/flannel-flanneld:latest 10.0.2.20:5000/flannel-flanneld:latest

где:

• 10.0.2.20 — IP-адрес хоста с настроенным локальным registry;

• 5000 — порт для подключения к локальному registry (по умолчанию 5000);

• flannel-cni-plugin-flannel, flannel-flanneld — имена образов;

• latest — теги образов.

16.3 Загрузите распакованные образы в локальное хранилище:

docker push 10.0.2.20:5000/flannel-cni-plugin-flannel:latestdocker push 10.0.2.20:5000/flannel-flanneld:latest

16.4 На master-ноду загрузите файл конфигурации kube-flannel.yaml и внесите в него  следующие изменения: 

sed -i 's|registry-devel.red-soft.ru/k8s8/flannel-flanneld:latest|10.0.2.20:5000/flannel-flanneld:latest|g' kube-flannel.yaml
sed -i 's|registry-devel.red-soft.ru/k8s8/flannel-cni-plugin-flannel:latest|10.0.2.20:5000/flannel-cni-plugin-flannel:latest|g' kube-flannel.yaml

Сохраните внесенные в конфигурацию изменения.

16.5 На master-ноде примените внутреннюю конфигурацию сети в кластере:

kubectl apply -f kube-flannel.yaml

Потребуется некоторое время для настройки (от 2 до 5 минут).

17. После применения конфигурации проверьте список и статус системных компонентов Kubernetes, а также компонентов сетевого плагина flannel:

kubectl get all -n kube-system
kubectl get all -n kube-flannel

18. Для вывода команды присоединения worker к кластеру выполните:

kubeadm token create --print-join-command 

kubeadm join 10.0.2.16:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:9745328769c1c3992419453d339ff39e1a3d59814e8a3b4aa58688d8d5ff6db5

Настройка рабочих нод

1. Задайте хостовое имя для рабочей ноды:

sudo hostnamectl set-hostname worker

Проверьте изменения:

 hostname && hostname -I 
 
worker10.0.2.17

2. В файл /etc/hosts внесите данные о master и worker:

sudo nano /etc/hosts

3. Создайте файл для автозагрузки модулей ядра, необходимых для работы сервиса containerd:

 nano /etc/modules-load.d/containerd.conf 

Загрузите модули в ядро:

modprobe overlay && modprobe br_netfilter

Проверьте, что данные модули работают:

lsmod | egrep "br_netfilter|overlay"

4. Создайте конфигурационный файл для работы сети внутри kubernetes:

nano /etc/sysctl.d/99-kubernetes-cri.conf

Примените параметры командой:

sysctl --system

5. Установите необходимые пакеты:

dnf install kubernetes kubernetes-kubeadm cri-tools iproute-tc ebtables socat conntrack git curl wget runc containerd

6. Настройте проброс портов в iptables:

iptables -P FORWARD ACCEPT

7. Запустите службу containerd и добавьте ее в автозагрузку:

systemctl enable --now containerd

8. Установите настройки по умолчанию для конфигурации контейнера:

containerd config default | sudo tee /etc/containerd/config.toml 

9. Внесите изменения в файл конфигурации /etc/containerd/config.toml:

9.1 Настройте доступ к локальному registry:

sed -i '/\[plugins\."io\.containerd\.grpc\.v1\.cri"\.registry\.mirrors\]/,/^$/ {
    /\[plugins\."io\.containerd\.grpc\.v1\.cri"\.registry\.mirrors\]/ a\
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.0.2.20:5000"]\
              endpoint = ["http://10.0.2.20:5000"]\n
    d
}' /etc/containerd/config.toml

9.2 Настройте доступ к контейнеру pause. Обратите внимание, что текущая версия Kubernetes (1.33.4) совместима с контейнером pause только версии 3.10:

sed -i 's|sandbox_image = "registry\.k8s\.io/pause:[0-9.]*"|sandbox_image = "10.0.2.20:5000/pause:3.10"|g' /etc/containerd/config.toml

9.3 Настройте расположение сетевых плагинов:

sed -i 's|bin_dir = "/opt/cni/bin"|bin_dir = "/usr/libexec/cni"|g' /etc/containerd/config.toml

9.4 Настройте использование драйвера cgroup:

sed -i 's|SystemdCgroup = false|SystemdCgroup = true|g' /etc/containerd/config.toml

Сохраните внесенные изменения.

10. Перезагрузите конфигурации служб:

systemctl daemon-reload

11. Перезапустите службу containerd:

systemctl restart containerd

12. Добавьте службу kubelet в автозагрузку:

systemctl enable kubelet.service

После этого можно приступать к присоединению worker к кластеру.

Подключение worker к кластеру

1. На master-ноде получите команду присоединения worker:

 kubeadm token create --print-join-command 
 
kubeadm join 10.0.2.16:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:9745328769c1c3992419453d339ff39e1a3d59814e8a3b4aa58688d8d5ff6db5

2. На worker выполните полученную команду:

 kubeadm join 10.0.2.16:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:9745328769c1c3992419453d339ff39e1a3d59814e8a3b4aa58688d8d5ff6db5 
 
[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Starting the kubelet
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

3. На master выполните команду для вывода списка нод кластера и их статуса:

 kubectl get nodes 
 
 NAME     STATUS      ROLES            AGE     VERSION
 node     NotReady    control-plane    51m     v1.33.4
 worker   NotReady    <none>           37m     v1.33.4

Дата последнего изменения: 30.09.2025

Если вы нашли ошибку, пожалуйста, выделите текст и нажмите Ctrl+Enter.