Настройка, установка, мониторинг, подключение Ceph к кластеру k8s
Ceph — инструмент, позволяющий построить распределенное хранилище данных с большим диапазоном возможностей подключения хранилища клиентам. Возможно подключение как в режиме блочных устройств (rbd), так и в режиме файловой системы (cephfs). В рамках сегодняшней статьи рассмотрим установку на тестовый кластер версии ceph 15 octopus и подключение созданного кластера к кластеру k8s, c возможностью автоматического создания на основе технологии DP ( dynamic provisioning).
За основу тестового кластера ceph взяты:
- Три виртуальные машины в конфигурации 4gb ram, 2 ядра, диск под систему 20 gb, пустой диск sdb на 50 gb.
- Операционная система — centos 8.
Демоны ceph выполняют разные функции, например, через monitor подключаются клиенты, а osd отвечают за хранение данных и в продуктовых инсталляциях необходимо разносить роли по разным машинам, но в рамках нашего стенда все три сервера будут нести на себе все роли. Произведем предварительные настройки.
Преднастройка кластера
Шаг 1.
В файлы /etc/hosts машин необходимо добавить следующие строки:
192.168.66.161 ceph1 192.168.66.162 ceph2 192.168.66.163 ceph3
Шаг 2.
Необходимо установить корректные имена узлов командой hostnamectl set-hostname cephX, где x — 1,2,3 соответственно.
Шаг 3.
Установка ceph будет проводиться с вм ceph1, на ней следует выполнить команды для аутентификации по ключу на двух других нодах:
: ssh-keygen ssh-copy-id -i ~/.ssh/id_rsa.pub ceph1 ssh-copy-id -i ~/.ssh/id_rsa.pub ceph2 ssh-copy-id -i ~/.ssh/id_rsa.pub ceph3
Шаг 4.
На все серверы необходимо установить sshpass:
yum install sshpass
Выполнить логин на все три сервера, ssh root@ceph1, ssh root@ceph2, ssh root@ceph3 с целью проверки, что все работает корректно.
Шаг 5.
Устанавливаем git, скачиваем плейбук установки ceph:
yum install git git clone https://github.com/ceph/ceph-ansible.git git checkout stable-5.0 cd ceph-ansible yum install python3-pip pip3 install -r requirements.txt echo "PATH=$PATH:/usr/local/bin" >>~/.bashrc source ~/.bashrc
Шаг 6.
В файл group_vars/all.yml вносим следующее содержимое:
####################################
ceph_origin: repository
ceph_repository: community
ceph_stable_release: octopus
public_network: "192.168.66.0/24"
cluster_network: "192.168.66.0/24"
#ntp_service_enabled: true
#ntp_daemon_type: ntpd
ceph_release_num: 15
cluster: ceph
osd_objectstore: bluestore
osd_scenario: lvm
devices:
- /dev/sdb
ceph_conf_overrides:
global:
osd_pool_default_pg_num: 64
osd_pool_default_pgp_num: 64
osd_journal_size: 5120
osd_pool_default_size: 3
osd_pool_default_min_size: 2
# Firewalld / NTP
configure_firewall: True
ntp_service_enabled: true
ntp_daemon_type: chronyd
# DASHBOARD
dashboard_enabled: True
dashboard_protocol: http
dashboard_admin_user: admin
dashboard_admin_password: p@ssw0rdp@ssw0rd
grafana_admin_user: admin
grafana_admin_password: p@ssw0rdp@ssw0rd
##############################################
mkdir inventory
nano inventory/hosts
Шаг 7.
Создаем файл hosts со следующим содержимым:
[mons] ceph1 monitor_address=192.168.66.161 ceph2 monitor_address=192.168.66.162 ceph3 monitor_address=192.168.66.163 [osds] ceph1 ceph2 ceph3 [mgrs] ceph1 ceph2 ceph3 [mdss] ceph1 ceph2 ceph3 [grafana-server] ceph1 ceph2 ceph3 ###################################
Шаг 8.
Выполняем:
cp site.yml.sample site.yml
Настраиваем подключение кластера k8s к кластеру ceph в варианте cephfs
Шаг 1.
На кластере ceph создаем пул:
ceph osd pool create k8s 8 8 ceph auth add client.k8s mon 'allow r' osd 'allow rwx pool=k8s' ceph auth get-key client.k8s
Видим вывод:
AQBOksZfOup7LxAAPSRCRxLPe2untxipYjHBuA==
ceph auth get-key client.admin
AQDLRcZfInoxGxAALugbHb0LYQPuwMho6KN0xw==
Выполняем:
ceph mon dump
чтобы увидеть id нашего кластера и адреса мониторов.
Шаг 2.
Переходим в кластер k8s. устанавливаем csi драйвер для работы с ceph:
helm repo add ceph-csi https://ceph.github.io/csi-charts helm inspect values ceph-csi/ceph-csi-cephfs >cephfs.yml
Шаг 3.
В файле cephfs.yaml меняем для нашего кластера:
csiConfig:
- clusterID: "52cb0d47-30e1-4d30-acd6-c2f51dc48505"
monitors:
- "192.168.66.161:6789"
- "192.168.66.162:6789"
- "192.168.66.163:6789"
nodeplugin:
httpMetrics:
enabled: true
containerPort: 8091
podSecurityPolicy:
enabled: true
provisioner:
replicaCount: 1
podSecurityPolicy:
enabled: true
Шаг 4.
Устанавливаем чарт:
helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace
Шаг 5.
Создаем secret.yaml:
--- apiVersion: v1 kind: Secret metadata: name: csi-cephfs-secret namespace: ceph-csi-cephfs stringData: # Required for dynamically provisioned volumes adminID: admin adminKey: AQDLRcZfInoxGxAALugbHb0LYQPuwMho6KN0xw==
Выполняем:
kubectl create –f secret.yaml
Шаг 6.
Создаем storageclass.yaml:
--- apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csi-cephfs-sc provisioner: cephfs.csi.ceph.com parameters: clusterID: 52cb0d47-30e1-4d30-acd6-c2f51dc48505 fsName: cephfs csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: - debug kubectl create –f storageclass.yaml
Шаг 7.
Создаем pvc.yaml:
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: csi-cephfs-pvc
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
storageClassName: csi-cephfs-sc
kubectl create –f pvc.yaml
Выводом команд убеждаемся что pvc связан с автоматически созданным pv:
kubectl get pvc kubectl get pv
Итого, получили возможность создавать pvc — provisioner создает pv на cephfs.
Подключаем ceph в режиме rbd к кластеру kubernetes
Теперь настроим тестовое подключение в режиме rbd.
Шаг 1.
На сервере ceph выполняем:
ceph osd pool create kuberbd 32 ceph osd pool application enable kuberbd rbd
Так как у нас в кластер k8s уже установлен csi, для cephps, пропустим этап добавления репозитория (https://ceph.github.io/csi-charts) и сразу экспортим набор переменных чарта:
helm inspect values ceph-csi/ceph-csi-rbd > rbd.yml
В получившемся yaml вносим правки с данными нашего ceph кластера:
csiConfig:
- clusterID: "52cb0d47-30e1-4d30-acd6-c2f51dc48505"
monitors:
- "v2:192.168.66.161:3300/0,v1:192.168.66.161:6789/0"
- "v2:192.168.66.162:3300/0,v1:192.168.66.162:6789/0"
- "v2:192.168.66.163:3300/0,v1:192.168.66.163:6789/0"
nodeplugin:
podSecurityPolicy:
enabled: true
provisioner:
podSecurityPolicy:
enabled: true
Шаг 2.
Устанавливаем в кластер чарт:
helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f rbd.yml -n ceph-csi-rbd --create-namespace
Смотрим ключ доступа для юзера admin (в production правильно создавать отдельного юзера с правами на запись):
ceph auth get-key client.admin
Шаг 3.
Создаем secret.yaml:
--- apiVersion: v1 kind: Secret metadata: name: csi-rbd-secret namespace: ceph-csi-rbd stringData: userID: admin userKey: AQDLRcZfInoxGxAALugbHb0LYQPuwMho6KN0xw==
Выполняем команду:
kubectl apply -f secret.yaml
Шаг 4.
Создаем storageclass.yaml:
--- apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csi-rbd-sc provisioner: rbd.csi.ceph.com parameters: clusterID: 52cb0d47-30e1-4d30-acd6-c2f51dc48505 pool: kuberbd imageFeatures: layering csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/fstype: ext4 reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: - discard kubectl apply -f storageclass.yaml
Шаг 5.
Создаем pvc.yaml:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: rbd-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
storageClassName: csi-rbd-sc
Выполняем:
kubectl apply -f pvc.yaml
Проверим в графическом интерфейсе ceph наличие созданных нами пулов:
Пулы присутствуют, встроенный дашборд и grafana позволят в базовом варианте мониторить нагрузку на наш кластер. Более тонкая настройка мониторинга и алертинга — тема отдельных статей.
В итоге мы получили пригодный для обучения и тестирования различных сценариев работы кластер ceph. Как клиента подключили кластер k8s в режиме cephfs и rbd, что дало возможность создавать pv на основе pvc в автоматическом режиме посредством dynamic provisioning.