ИСПceph
Самый первый раз мы поднимали ceph при помощи ceph-ansible версии stable-4.0 с отключенным cephx, в минимальном наборе, запустили на нем openstack. (см. проект kolla). Версия ceph - luminous
После чего нужно было развернуть ceph для испоблака, с следующим функционалом: 0) Версия - Nautilus
- Поддержка erasure-кодов
- dashboard, с работой всех компонентов, которыми можно из него управлять, включая ISCSI
Выяснилось, что по умолчанию ceph-ansible даже не ставит пакет ceph-mgr-dashboard (на тот момент времени), не говоря о конфигурации. А пакеты iscsi ставит только при использовании параметра DEV, причем ставит их из старых репозиториев. В итоге у меня получилось поднять кластер с dashboard и даже grafana, которая запускалась в контейнере, используя WIP ветку проекта ceph-ansible, которая называется ceph-dashboard.
при этом стояли старые пакеты ceph-iscsi и был неправильно создан профиль для erasure кодов, что приводило к ошибкам.
Чтобы поставить iscsi новой версии, я обновился до master ветки ceph-ansible и использовал сценарии, которые устанавливают новые пакеты. Я рассчитывал на то, что после этого в Dashboard будет появляться и корректно работать вкладка iscsi, заодно провести нагрузочное тестирование с нормально настроенными пулами (erasure-coded вместо реплик)
При перезапуске деплоя, все пакеты (ceph-dashboard, mgr, полный список можно посмотреть при помощи команды yum downgrade ceph-dashboard) обновились, и MGR сервисы перестали запускаться. Анализ логов показал, что включение модуля dashboard выдает segmentation fault. Тогда я закомментил установку пакета ceph-dashboard в master ветке ceph-ansible и стал пытаться создавать локальное зеркало с старыми пакетами, чтобы проверить, поможет ли откат до версии раньше 27 апреля.
После чего нам нужно было деплоить второй кластер, там начались проблемы из-за использования multipath ( подробнее #9)