Распределенная система хранения данных Ceph

Входные данные
Установка необходимых пакетов
Настройка хостов
Назначение имени хоста
Редактирование файла /etc/hosts
Настройка подключений по SSH
Инициализация кластера
Передача публичных ключей на рабочие хосты
Подключение к веб-интерфейсу
Запуск служб OSD

Окружение

• Версия ОС: 8
• Конфигурация ОС: Рабочая станция, Сервер графический, Сервер минимальный
• Редакция ОС: Стандартная
• Версия ПО: ceph-19.2.2-5, cephadm-19.2.2-5, podman-5.7.0-1

Ceph — распределённая система хранения данных с открытым исходным кодом, которая обеспечивает объектный, блочный и файловый доступ к данным на базе единого кластера.

Для дальнейшей настройки необходимо перейти в сеанс пользователя root:

 su -

Далее команды будут выполняться с правами пользователя root, если не указано иное.

Входные данные

Для создания минимального жизнеспособного кластера Ceph необходимо наличие трех хостов:

• управляющий (мастер) хост:

  • IP-адрес — 192.168.114.63;

  • имя хоста — ceph-master.

• рабочий хост 1:

  • IP-адрес — 192.168.114.172;

  • имя хоста — ceph-worker1.

• рабочий хост 2:

  • IP-адрес — 192.168.114.97;

  • имя хоста — ceph-worker2.

На каждом хосте (управляющем и рабочих) кластера должен быть подключен дополнительный диск объемом не менее 40 ГБ.

Установка необходимых пакетов

По умолчанию для Ceph используется Podman. С помощью docker-образов, представленных в реестре РЕД ОС, Podman позволяет установить Ceph, а также полный стек мониторинга, включающего в себя:

• Prometheus,

• Alertmanager,

• Node exporter,

• Grafana.

На управляющем хосте (ceph-master) установите следующие пакеты:

dnf install ceph cephadm podman

На рабочих хостах (ceph-worker1, ceph-worker2) установите следующие пакеты:

dnf install ceph podman

Настройка хостов

Назначение имени хоста

Для каждого хоста в кластере необходимо задать сетевое имя.

Для управляющего хоста выполните команду:

hostnamectl set-hostname ceph-master

Для рабочего хоста 1 выполните команду:

hostnamectl set-hostname ceph-worker1

Для рабочего хоста 2 выполните команду:

hostnamectl set-hostname ceph-worker2

Редактирование файла /etc/hosts

Настройте разрешение имен в сети. Для этого в файл /etc/hosts на каждом хосте кластера:

nano /etc/hosts

добавьте следующие строки:

192.168.114.63 ceph-master
192.168.114.172 ceph-worker1
192.168.114.97 ceph-worker2

Настройка подключений по SSH

Все действия по настройке Ceph в рамках текущей инструкции должны быть выполнены с правами суперпользователя root. Для разрешения входа суперпользователя в систему по SSH необходимо в файле /etc/ssh/sshd_config:

nano /etc/ssh/sshd_config

привести строку:

#PermitRootLogin prohibit-password

к виду:

PermitRootLogin yes

Для применения изменений перезагрузите конфигурацию системных служб и перезапустите службу sshd:

systemctl daemon-reload
systemctl restart sshd

Инициализация кластера

Для установки системы мониторинга в кластере Ceph с использованием docker-образов РЕД ОС создайте конфигурационный файл (в примере initial-ceph.conf), который будет указывать Ceph, какие docker-образа использовать:

nano ./initial-ceph.conf

Содержимое файла:

[mgr]
mgr/cephadm/container_image_prometheus = registry.red-soft.ru/ubi8/prometheus:v3.6.0
mgr/cephadm/container_image_grafana = registry.red-soft.ru/ubi8/grafana:12.4.1
mgr/cephadm/container_image_alertmanager = registry.red-soft.ru/ubi8/alertmanager:v0.32.0
mgr/cephadm/container_image_node_exporter = registry.red-soft.ru/ubi8/node-exporter:v1.9.1

Запустите инициализацию кластера Ceph командой:

cephadm --image registry.red-soft.ru/ubi8/ceph:v19 bootstrap --mon-ip 192.168.114.63 --config initial-ceph.conf

где:

• cephadm — утилита для настройки и управления кластером Ceph с использованием контейнеров;
• --image registry.red-soft.ru/ubi8/ceph:v19 — docker-образ, используемый для установки;
• bootstrap — запуск инициализации нового кластера Ceph на локальном хосте;
• --mon-ip 192.168.114.63 — IP-адрес хоста, на котором выполняется команда инициализации кластера;
• --config initial-ceph.conf — путь к файлу конфигурации initial-ceph.conf для запуска процесса начальной загрузки.

Если настройка выполнена верно, по завершении выполнения инициализации будут выведены данные для подключения к веб-интерфейсу управления кластером (dashboard) — ссылка, имя пользователя (admin) и пароль:

Ceph Dashboard is now available at: 
 	     URL: https://ceph-master:8443/ 
	    User: admin 
	Password: wxoah7975d

Проверьте статус docker-образов:

podman images

Вывод команды будет иметь примерно следующий вид:

REPOSITORY                               TAG         IMAGE ID      CREATED       SIZE
registry.red-soft.ru/ubi8/alertmanager   v0.32.0     694132301468  8 hours ago   135 MB
registry.red-soft.ru/ubi8/grafana        12.4.1      aeb99d82af43  16 hours ago  836 MB
registry.red-soft.ru/ubi8/prometheus     v3.6.0      68702357e4b0  16 hours ago  300 MB
registry.red-soft.ru/ubi8/ceph           v19         de32dac16f11  16 hours ago  1.45 GB
registry.red-soft.ru/ubi8/node-exporter  v1.9.1      7900cebbabf6  16 hours ago  96.3 MB

Для вывода списка всех демонов, известных оркестратору, выполните команду:

ceph orch ps

Вывод команды будет иметь примерно следующий вид:

NAME                       HOST         PORTS             STATUS        REFRESHED  AGE  MEM USE  MEM LIM  VERSION  IMAGE ID      CONTAINER ID  
alertmanager.ceph-master   ceph-master  *:9093,9094       running (2m)    57s ago   3m    15.7M        -  0.32.0   694132301468  6c0218bf271a  
ceph-exporter.ceph-master  ceph-master                    running (3m)    57s ago   3m    2625k        -  19.2.2   de32dac16f11  375a24ba889b  
crash.ceph-master          ceph-master                    running (3m)    57s ago   3m     868k        -  19.2.2   de32dac16f11  cf3b411cd730  
grafana.ceph-master        ceph-master  *:3000            running (2m)    57s ago   2m     203M        -  12.4.1   aeb99d82af43  eb7203e5aa88  
mgr.ceph-master.jfumhj     ceph-master  *:9283,8765,8443  running (4m)    57s ago   4m     505M        -  19.2.2   de32dac16f11  c549dfeae833  
mon.ceph-master            ceph-master                    running (4m)    57s ago   4m    15.1M    2048M  19.2.2   de32dac16f11  18fa7725db1d  
node-exporter.ceph-master  ceph-master  *:9100            running (3m)    57s ago   3m    8581k        -           7900cebbabf6  e4d9a17bd644  
prometheus.ceph-master     ceph-master  *:9095            running (2m)    57s ago   2m    40.5M        -  3.6.0    68702357e4b0  be10ca17e6fd

Для вывода списка настроенных сервисов и их идентификаторов выполните команду:

ceph orch ls

Вывод команды будет иметь примерно следующий вид:

NAME           PORTS        RUNNING  REFRESHED  AGE  PLACEMENT  
alertmanager   ?:9093,9094      1/1  114s ago   5m   count:1    
ceph-exporter                   1/1  114s ago   5m   *          
crash                           1/1  114s ago   5m   *          
grafana        ?:3000           1/1  114s ago   5m   count:1    
mgr                             1/2  114s ago   5m   count:2    
mon                             1/5  114s ago   5m   count:5    
node-exporter  ?:9100           1/1  114s ago   5m   *          
prometheus     ?:9095           1/1  114s ago   5m   count:1 

Для получения более детальной информации о работе кластера ceph и утилиты сephadm используйте официальную документацию.

Передача публичных ключей на рабочие хосты

Управление кластером будет осуществляться с управляющего хоста (ceph-master). 

Для доступа по SSH к другим хостам необходимо разместить на них публичный ключ пользователя Ceph. Публичный ключ генерируется в процессе инициализации Ceph и располагается в каталоге /etc/ceph.

Скопируйте публичный ключ на рабочие хосты: 

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-worker1 
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-worker2

Подключение к веб-интерфейсу

Доступ к веб-интерфейсу осуществляется по адресу https://<имя_хоста>:8443.

При первом подключении к веб-интерфейсу необходимо ввести ранее полученные имя пользователя и пароль.

После первого входа Ceph предложит сменить пароль. Для смены пароля введите старый пароль и придумайте новый. После этого повторно авторизуйтесь в веб-интерфейсе с новым паролем.

При первом запуске Ceph предложит расширить кластер путем добавления новых хостов. Нажмите «Expand Cluster».

Перейдите во вкладку Dashboards.

На данном этапе будет выведена ошибка вида «TOO_FEW_OSDS: OSD count 0 < osd_pool_default_size 3», означающая недостаточное количество дисков.

OSD (Object Storage Daemon) — это демон в системе Ceph, который отвечает за хранение и управление данными в кластере. Каждый OSD представляет собой отдельный диск на виртуальной машине. Для минимально жизнеспособного кластера необходимо добавить три диска (по одному от каждого хоста кластера).

Для передачи рабочих хостов под управление мастер-хоста сeph-master выполните команды:

ceph orch host add ceph-worker1 
ceph orch host add ceph-worker2

Просмотреть список всех добавленных хостов можно с помощью команды:

ceph orch host ls

Скопируйте файлы конфигурации с управляющего хоста (ceph-master) на рабочие (ceph-worker1 и ceph-worker2):

scp /etc/ceph/ceph.conf ceph-worker1:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.client.admin.keyring ceph-worker1:/etc/ceph/ceph.client.admin.keyring

scp /etc/ceph/ceph.conf ceph-worker2:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.client.admin.keyring ceph-worker2:/etc/ceph/ceph.client.admin.keyring

Запуск служб OSD

Для полноценной работоспосбности Ceph необходимо запустить службы OSD. Запуск служб осуществляется командой вида:

ceph orch daemon add osd <имя_хоста>:<имя_устройства_1>,...,<имя_устройства_N>

где:

• <имя_хоста> — сетевое имя хоста, на котором запускается служба;

• <имя_устройства> — наименование диска, который будет передан под управление Ceph. Несколько значений указываются через запятую.

С управляющего хоста предоставьте Ceph доступ к дискам каждого хоста:

ceph orch daemon add osd ceph-master:/dev/sdb
ceph orch daemon add osd ceph-worker1:/dev/sdb
ceph orch daemon add osd ceph-worker2:/dev/sdb

После всех описанных действий можно проверить статус кластера ceph с помощью команды:

ceph status

или:

ceph -s

Вывод команды будет иметь следующий вид:

  cluster:
    id:     ddb73898-3d69-11f1-94f2-566f5888005a
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph-master,ceph-worker1,ceph-worker2 (age 2m)
    mgr: ceph-master.ijwhjf(active, since 19m), standbys: ceph-worker1.vqxbvv
    osd: 3 osds: 3 up (since 31s), 3 in (since 50s)
 
  data:
    pools:   1 pools, 1 pgs
    objects: 2 objects, 577 KiB
    usage:   83 MiB used, 120 GiB / 120 GiB avail
    pgs:     1 active+clean

В веб-интерфейсе также отобразится информация о готовности кластера Ceph к работе.

Дата последнего изменения: 14.05.2026

Если вы нашли ошибку, пожалуйста, выделите текст и нажмите Ctrl+Enter.