Продолжаем знакомство с Proxmox VE.
Ceph — это распределенное хранилище объектов и файловая система, предназначенная для обеспечения отличной производительности, надежности и масштабируемости.
Proxmox VE объединяет вычислительные системы и системы хранения. Это позволяет локальные хранилища (диски) объединять в одно гиперконвергентное устройство. Благодаря интеграции Ceph, Proxmox VE имеет возможность запускать и управлять хранилищем Ceph непосредственно на узлах гипервизора.
По сути получаем вместо SAN или NAS хранилищ объединенное распределенное отказоустойчивое гиперконвергентное устройство (хранилище).
Данная технология реализована у VMware (VMware Virtual SAN) и Microsoft (Storage Spaces Direct).
Познакомиться с Ceph можно в этой статье: Знакомство с хранилищем Ceph в картинках.
Установка Ceph
Установим на всех нодах кластера:
Определим сети и назначим ноду монитора:
Готово. Установим на остальных нодах. Поскольку конфигурация в кластере уже установлена вместе с первой нодой, на остальных нодах этого не потребуется.
Если необходимо можно создать дополнительные мониторы:
На всех нодах добавляем диски в OSD:
Создаем CephFS:
И создаем Metadata Server:
Создаем хранилище в кластере CephFS:
CephFS – поддерживает тип хранилищ ISO images, VZDump backup, Container template, Snippets.
Для размещения дисков виртуальных машин и контейнеров нужно создать RDB Storage.
Далее добавим еще один сервер монитор и Metadata Server.
Создаем виртуальную машину или контейнер с размещением на Ceph (RDB) и тестируем работоспособность, возможность миграции между нодами.
Пример: Создан контейнер с веб сайтом (phpBB) на PVE3 с размещением на Ceph (RDB) диске. Создан ресурс высокой доступности (HA Resource) на контейнер. После выключаем ноду PVE3.
Результат. Контейнер мигрировал на рабочую ноду, сохранив работоспособность, Ceph деградировал, но сохранил работоспособность.
Восстановим работоспособность PVE3 и проверим данные.
Тема с гиперковергентыми устройствами и средами достаточно масштабна и наряду с преимуществами имеет не меньше подводных камней, сложностей и проблем. В рамках одной статьи невозможно продемонстрировать все нюансы технологии. Однако можно сказать, что, чем больше объектов будет учувствовать в данной среде, тем больше устойчивость среды к отказам.