Создание программного RAID в Proxmox VE через mdadm

Важно. Официально Proxmox VE не поддерживает mdadm (рекомендуются ZFS или аппаратный RAID). Массив собирается вручную, все действия — на свой риск. Данные на дисках будут уничтожены.

1. Подготовка

Проверить текущие диски:

bashCopylsblk -o NAME,SIZE,TYPE,MODEL,MOUNTPOINT
ls -l /dev/disk/by-id/

Установить mdadm:

bashCopyapt update
apt install -y mdadm

2. Очистка дисков (только для б/у дисков)

Новые диски из коробки чистить не нужно — сразу переходите к шагу 3.

Очистка нужна, если диск ранее использовался: на нём остались разделы, файловая система, LVM, ZFS или суперблок старого RAID. Проверить:

bashCopylsblk -f /dev/sdb          # покажет FSTYPE: ext4, LVM2_member, zfs_member, linux_raid_member

Если вывод пустой — диск чистый, очистка не требуется.

Если что-то найдено, для каждого диска (пример: /dev/sdb, /dev/sdc):

bashCopywipefs -a /dev/sdb              # стирает сигнатуры ФС/LVM/RAID
sgdisk --zap-all /dev/sdb       # удаляет таблицы разделов GPT и MBR

Если диск был частью старого mdadm-массива — дополнительно затереть суперблок:

bashCopymdadm --zero-superblock /dev/sdb1     # или /dev/sdb, если массив был на «сыром» диске

3. Разметка (GPT + раздел типа Linux RAID)

Задача: создать на каждом диске один раздел на весь объём и присвоить ему тип «Linux RAID» — по этому типу ядро и mdadm понимают, что раздел предназначен для массива.

Вариант A. sgdisk (неинтерактивно)

bashCopysgdisk -n 1:0:0 -t 1:fd00 /dev/sdb
sgdisk -n 1:0:0 -t 1:fd00 /dev/sdc
partprobe /dev/sdb /dev/sdc

Разбор:

Вариант B. fdisk (интерактивно)

bashCopyfdisk /dev/sdb

Последовательность ввода:

Повторить для /dev/sdc и остальных дисков.

Проверка

bashCopylsblk
fdisk -l /dev/sdb          # тип должен быть "Linux RAID"

Можно собирать массив и на «сырых» дисках (/dev/sdb без раздела), но разметка предпочтительнее: она оставляет запас в конце диска и упрощает замену диска другой модели с чуть меньшим объёмом.

4. Создание массива

RAID1 (зеркало, 2 диска):

bashCopymdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1

RAID10 (4 диска):

bashCopymdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

RAID5 (3+ дисков):

bashCopymdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1

RAID6 (4+ дисков):

bashCopymdadm --create /dev/md0 --level=6 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

Контроль синхронизации:

bashCopycat /proc/mdstat
watch -n5 cat /proc/mdstat
mdadm --detail /dev/md0

Массив можно использовать сразу, не дожидаясь окончания ресинка.

Ускорить пересборку (опционально):

bashCopyecho 200000 > /proc/sys/dev/raid/speed_limit_min
echo 500000 > /proc/sys/dev/raid/speed_limit_max

5. Сохранение конфигурации

bashCopymdadm --detail --scan >> /etc/mdadm/mdadm.conf
update-initramfs -u -k all

Проверить, что в /etc/mdadm/mdadm.conf нет дублирующихся строк ARRAY.

6. Подключение массива к Proxmox (Directory storage)

6.1. Файловая система и монтирование

bashCopymkfs.ext4 -m 0 /dev/md0        # -m 0 — не резервировать 5% под root
mkdir -p /mnt/raid

Узнать UUID и добавить в /etc/fstab:

bashCopyblkid /dev/md0

fstabCopyUUID=xxxx-xxxx-xxxx  /mnt/raid  ext4  defaults,nofail  0  2

nofail — сервер загрузится даже при недоступном массиве.

bashCopymount -a
df -h /mnt/raid

6.2. Добавление хранилища через GUI

1. Открыть веб-интерфейс: https://<ip-сервера>:8006.
2. В левом дереве выбрать Datacenter (не узел!).
3. Перейти в Storage → Add → Directory.
4. Заполнить поля:

5. Вкладка Advanced → Preallocation: оставить Default (metadata).
6. Нажать Add.

После этого хранилище появится в дереве под узлом. Проверить свободное место: выбрать хранилище → Summary.

Каталог /mnt/raid должен быть уже смонтирован до добавления. Если Proxmox добавит хранилище на несмонтированный каталог, при отвале массива он начнёт писать данные на системный диск. Чтобы этого избежать, после создания хранилища можно включить в /etc/pve/storage.cfg параметр is_mountpoint 1:

Copydir: raid-storage
        path /mnt/raid
        content images,iso,vztmpl,backup
        is_mountpoint 1

6.3. То же самое через CLI (альтернатива GUI)

bashCopypvesm add dir raid-storage --path /mnt/raid --content images,iso,vztmpl,backup,snippets --is_mountpoint 1
pvesm status

7. Мониторинг и уведомления

В /etc/mdadm/mdadm.conf:

CopyMAILADDR admin@example.com

bashCopysystemctl enable --now mdmonitor
mdadm --monitor --scan --test --oneshot   # тестовое письмо

Регулярная проверка состояния:

bashCopycat /proc/mdstat
mdadm --detail /dev/md0

8. Замена вышедшего из строя диска

bashCopymdadm --detail /dev/md0                    # найти failed/removed
mdadm --manage /dev/md0 --fail /dev/sdc1
mdadm --manage /dev/md0 --remove /dev/sdc1

Физически заменить диск, затем скопировать разметку с рабочего:

bashCopysgdisk --backup=/tmp/sdb.gpt /dev/sdb
sgdisk --load-backup=/tmp/sdb.gpt /dev/sdc
sgdisk -G /dev/sdc                          # новый GUID
mdadm --manage /dev/md0 --add /dev/sdc1
cat /proc/mdstat

9. Полезные команды

10. Примечание про RAID для системного диска

Установщик Proxmox не умеет ставить систему на mdadm. Варианты:

1. Установить Debian с RAID1 через его установщик, затем поверх поставить Proxmox VE из репозитория.
2. Использовать ZFS RAID1 (mirror) — поддерживается установщиком Proxmox «из коробки».

При загрузке с mdadm-раздела обязательно ставить загрузчик на оба диска:

bashCopygrub-install /dev/sdb
grub-install /dev/sdc
update-grub

Для UEFI — синхронизировать ESP-разделы (/boot/efi) вручную или через proxmox-boot-tool.