Меню Рубрики

Установка ubuntu server lsi raid

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

Настраиваем программный RA >

  • Автор: Уваров А.С.
  • 13.08.2019

Программный RAID в Linux на основе MD-устройств успел отлично зарекомендовать себя в работе и пользуется заслуженной популярностью у администраторов, сочетая надежность и простоту создания и управления. Но со все более широким распространением UEFI-систем приходится сталкиваться с некоторыми особенностями. Многие, если есть такая возможность, переключают настройки в режим совместимости, но это неправильно, UEFI — это стандарт для современных устройств и поэтому надо учиться работе с ним.

Другой возможной альтернативой программного RAID является использование встроенного в материнскую плату или недорогого внешнего контроллера. Но в этом случае вы получаете проблему совместимости, такой массив будет работать только со своим семейством контроллеров, сегодня их не так и много, но тем не менее. Также вы не сможете производить работы по восстановлению и обслуживанию массива в онлайн, данные на дисках в это время будут недоступны.

Скажем больше, мы не видим никаких преимуществ у встроенных и недорогих контроллеров перед программной реализацией, особенно на простых массивах, не требующих сложных вычислений (RAID 1 и 10). А учитывая всю гибкость mdadm, программный RAID по многим параметрам будет выглядеть гораздо привлекательнее.

Конфигурация разделов Linux с UEFI

Для примера рассмотрим применяемую по умолчанию во многих дистрибутивах схему со всеми файлами в одном разделе. Однако это не означает, что вам следует применять именно ее, данная схема выбрана нами для простоты подачи материала.

EFI — он же ESP (EFI system partition) — специальный раздел с файловой системой FAT который содержит загрузчик, вызываемый микропрограммой UEFI, должен находиться в основной таблице разделов и не может располагаться в программных RAID-массивах, томах LVM или пулах ZFS. Данный раздел должен располагаться на каждом диске, с которого предусматривается загрузка.

Linux RAID — специальные разделы, из которых собирается программный RAID, в нашем случае используется один массив md0, располагающийся на двух дисках. Данные разделы имеют специальные заголовки, что позволяет даже при подключении к другой системе правильно определить их тип и собрать массив заново.

Swap — раздел подкачки, используется как механизм виртуальной памяти, а также для организации режима сна (в настольных системах). Некоторые современные системы не используют раздел подкачки (Ubuntu) используя для этой цели специальный файл в корневом разделе. Swap можно объединить в программный RAID, но смысла в этом немного, более того, при использовании отдельных swap-разделов системе будет доступен вдвое больший объем для подкачки.

Некоторые особенности Ubuntu Server 18.04

Начиная с версии 18.04 Ubuntu Server по умолчанию предлагается с новым инсталлятором Subiquity, который очень просто отличить по обновленному внешнему виду:

При использовании данного инсталлятора вы не сможете установить систему на программный RAID (как на системах с UEFI, так и без), установка закончится ошибкой. Поэтому для создания программного RAID следует использовать сборку с классическим установщиком, которую можно получить в разделе альтернативных загрузок.

Также легко можно отличить дистрибутивы по наименованию, образ с Subiquity содержит в наименовании слово live (ubuntu-18.04.3-live-server-amd64.iso).

Создание программного RAID при установке системы

Все дальнейшие действия мы будем производить на системе Debian 10, однако все сказанное будет справедливо для любой основанной на Debian системе, а с некоторыми поправками и для любого дистрибутива Linux.

Прежде всего создадим в начале каждого диска системный раздел EFI размером в 499 МБ (по умолчанию Debian и Ubuntu используют близкие к этому размеры разделов).

Затем выполним необходимую разметку, основное условие — одинаковые размеры томов на обоих дисках, тип файловой системы и точка монтирования не играют никакого значения, можете принять предлагаемые по умолчанию. В нашем случае будет создано два раздела почти на весь размер диска, оставляя немного места в конце для разделов подкачки. В итоге у вас должно получиться примерно так:

В итоге каждый диск содержит три раздела: ESP, будущие разделы Linux RAID и разделы подкачки. Порядок следования разделов и размер разделов для RAID должны быть одинаковы на обоих дисках. После того, как первоначальная разметка выполнена соберем программный RAID 1 из разделов для данных, в нашем случае sda2 и sdb2:

Теперь разметим созданный массив, создав там корневой раздел. Помните, что один программный массив Linux (md-устройство) может содержать только один раздел, если вам нужно несколько разделов, то потребуется создать несколько массивов.

Далее продолжаем установку в обычном режиме, программный RAID-массив создан, а к загрузчику мы вернемся после завершения этого процесса.

Настройка загрузчика EFI и его копирование на второй раздел

Перед тем как настраивать загрузчик нам потребуется получить некоторые данные, в частности идентификаторы (UUID) разделов, их можно получить командой:

В полученном выводе прежде всего обратим внимание на идентификаторы EFI-разделов.

Они разные, в то время как UUID RAID-разделов совпадают. Чтобы понять, что это означает и какие может иметь последствия откроем /etc/fstab:

Как видим, разделы монтируются по идентификаторам и в случае выхода из строя первого диска вы не сможете загрузиться со второго, так как система не сможет смонтировать EFI-раздел. В некоторых источниках советуют изменить строку монтирования, используя вместо UUID явное указание устройства, например, /dev/sda1. Да, если мы отключим первый диск, то второй превратится в sda и система загрузится, но если диск выйдет из строя, физически определяясь в системе или на его месте будет новый диск без разметки, то такой фокус не сработает.

Правильно будет изменить идентификатор одного из разделов, чтобы они были одинаковы. Так как UUID раздела на первом диске уже используется в файлах конфигурации, то изменим его у раздела на втором диске.

Для работы с разделами FAT32 нам потребуется установить дополнительные утилиты:

Где 2396BE56 — идентификатор первого EFI-раздела (/dev/sda1), его следует указывать в одну строку без пробелов и тире, а /dev/sdb1 — второй EFI раздел.

Теперь получим список текущих загрузочных записей EFI:

Здесь нас интересует запись под номером 5 — debian, которая отвечает за загрузку системы и указывает на первый жесткий диск. Запомните или запишите путь к EFI-образу для загрузки системы: \EFI\debian\shimx64.efi.

Читайте также:  Установка главной пары волга в уазовский

Создадим аналогичную запись для второго диска:

Немного поясним назначение ключей команды:

  • -c (—create) создать новую запись
  • -d (—disk) диск, на котором находится системный раздел EFI
  • -p (—part) номер раздела EFI
  • -L (—label) метка(наименование) для загрузочной записи
  • -l (—loader) путь образа EFI для загрузки

Так как наш EFI-раздел располагается в /dev/sdb1, то в опциях -d и -p указываем /dev/sdb и 1 соответственно, а в качестве пути указываем данные из первой загрузочной записи, которые мы получили на предыдущем шаге. Обратите внимание, что при указании пути к образу EFI используется обратный слеш.

Еще раз убедимся, что запись выполнена правильно:

Обе строки должны отличаться только меткой и GUID раздела (уникальный GPT-идентификатор, который позволяет микропрограмме UEFI найти нужный раздел).

Если обнаружена ошибка, то запись следует удалить и создать заново, для удаления используйте команду:

Ключ -b (—bootnum) указывает на номер записи, а -B ( —delete-bootnum) предписывает удалить ее.

Последним шагом скопируем содержимое загрузочного раздела с первого диска на второй, для этого смонтируем второй EFI-раздел:

И скопируем на него содержимое первого EFI-раздела:

После чего отмонтируем раздел:

На этом настройка завершена, система теперь может быть успешно загружена с любого диска.

источник

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

Ubuntu Server. Настраиваем программный RA >

  • Автор: Уваров А.С.
  • 21.05.2011

Программный RAID массив — неплохое решение для серверов начального уровня, особенно не имеющих такой функции на материнской плате. Как показали наши тесты, программная реализация массива ни в чем не уступает реализации средствами южного моста или дополнительного контроллера. Вместе с тем создание программного RAID несколько более сложно, так как требует определенного уровня знаний. Сегодня мы расскажем как создать такой массив средствами Ubuntu.

Перед тем, как брать в руки мышку, следует разобраться с тем, каким образом реализован программный RAID в конкретной операционной системе. Вы должны четко представлять себе схему работы массива, прежде чем браться за его настройку. Это послужит залогом того, что вы все сделаете правильно и вам не будет мучительно больно за потерянные данные.

В аппаратном RAID-массиве логической единицей массива служит физический диск, сам массив представляет собой группу дисков работающих по определенному алгоритму, операционной системой такой массив воспринимается как единый накопитель, работа с которым ничем не отличается от работы с одиночным диском. На этой концепции основаны основные алгоритмы и правила построения массивов, один элемент массива — один жесткий диск, запомните это, мы еще не раз будем возвращаться к этому правилу.

Программный RAID устроен несколько иначе, операционная система воспринимает каждый жесткий диск как отдельную единицу оборудования, объединяя их в массив на начальной стадии загрузки, при помощи специального драйвера.

Основой программного RAID в Ubuntu является логический диск, именно из них создаются массивы, имеющие названия md-устройств, т.е. создание массива происходит не поверх физической структуры (жестких дисков), а поверх существующей разметки (логических дисков). Ниже показан пример такого массива:

Два жестких диска sda и sdb содержат логические диски sda1 и sdb1, на базе которых создан программный массив md0, отформатированный под ext4 и содержащий корневую файловую систему. Важная особенность: одно md-устройство может содержать один логический диск. Если вы хотите создать массив содержащий корневой раздел, раздел подкачки и, допустим, /home вам придется создать три md-устройства.

Эта же особенность позволяет использовать один набор физических дисков для создания на них разных типов массивов (аналогично технологии Intel® Matrix Storage). Используя те-же самые два диска можно создать скоростной массив RAID0 для системы и отказоустойчивый RAID1 для данных:

Также это позволяет более рационально использовать дисковое пространство, использовав под RAID массив только часть диска, оставшиеся части вы можете разметить и использовать на собственное усмотрение. Как видим, программный RAID гораздо более гибок и предоставляет весьма много возможностей.

Однако есть ложка дегтя в бочку меда. Стоит помнить, что RAID0 не является отказоустойчивым и при отказе одного из дисков произойдет полный отказ массива. При некритическом отказе диска RAID0, в отличие от остальных уровней RAID, не позволяет извлечь сбойный диск и заменить его исправным, вам потребуется создать аналогичный исправный массив и скопировать на него раздел с аварийного массива.

Перейдем от теории к практике. В качестве базовой системы мы использовали Ubuntu Server 10.04 LTS, цель — настроить программный RAID1 (зеркало) и обеспечить с него загрузку системы.Начинаем установку системы обычным образом, пока не дойдем до этапа разметки дисков. Отказываемся от автоматической разметки и выбираем ручной метод:

На следующем экране выбираем один из жестких дисков и нажимаем Enter:

Программа разметки предложит создать на диске новую, чистую таблицу разделов. Соглашаемся. Ту же самую операцию проделываем для второго диска. Чтобы не создавать лишнее md-устройство обойдемся без раздела подкачки, Ubuntu вполне может использовать для этих целей специальный файл (как Windows и MacOS). Его созданием мы займемся сразу после установки. Теперь выбираем свободное место и создаем один раздел на весь размер диска, повторяем эти же действия и для второго HDD.

В данном случае несущественно какие разделы, с какой файловой системой и точкой монтирования вы создадите, все равно созданный массив придется форматировать заново. Главное идентично разметить оба диска. В данном примере мы создали два корневых раздела на весь размер диска.

Следующим шагом выбираем пункт Настройка программного RAID, затем Создать MD-устройство, после чего выберите желаемый тип RAID массива:

Потом укажите количество дисков в создаваемом массиве (для зеркала минимум 2) и количество резервных дисков, которые будут использоваться при отказе основных (укажите 0). Теперь укажите разделы из которых вы хотите создать массив:

По окончании создания массива вы снова окажетесь в окне разметки дисков, так как наш массив не содержит никаких разделов их нужно создать. Для этого выбираем свободное место (указано просто как емкость массива) и жмем Enter:

Указываем, каким образом мы хотим использовать данный раздел. В данном случае это будет корневой раздел с файловой системой ext4:

Читайте также:  Установка регистра из стальных труб смета

В конце этапа разметки вы получите сообщение об отсутствии раздела подкачки, продолжаем без его создания, после этого вы получите предупреждение на английском, суть которого сводится к следующему: разрешить или нет загрузку с отказавшего массива? В целях обеспечения беспрерывной работы следует ответить утвердительно, но следует помнить, что это потенциальная угроза сохранности данных и необходимо обеспечить регулярный контроль за состоянием массива.

На этом создание массива можно считать законченным, можно продолжать установку, никаких отличий от установки на одиночный диск нет. Закончив установку, первым делом займемся файлом подкачки.

Прежде всего создадим пустой файл нужного размера, для современных систем начального уровня вполне будет достаточно 1 ГБ (1024 МБ):

Теперь отформатируем его как файл подкачки:

Готово, осталось прописать опции монтирования при загрузке системы, для этого откроем /etc/fstab и в самый конец допишем строку:

Перезагружаемся. Проверить состояние массива можно командой:

Если все в порядке вы увидите примерно следующий вывод:

Информации немного, но вполне достаточно. Мы видим состояние массива, его тип и входящие в него диски, размер и прочие данные.Теперь можно настраивать необходимые серверные роли и вводить сервер в эксплуатацию. Вопросы обеспечения отказоустойчивости и замены отказавших дисков выходят за объем данной статьи, поэтому мы рассмотрим их в отдельном материале.

источник

Расширенная установка

Содержание

Расширенная установка

Программный RA >

Разметка

Следуйте инструкциям по установке пока вы не достигните этапа разметки дисков, затем:

Выберите метод разметки Вручную.

Выберите первый жесткий диск и согласитесь «Создать новую пустую таблицу разделов на этом устройстве?».

Повторите этот шаг для каждого диска, который вы собираетесь включить в RAID массив.

Выберите «СВОБОДНОЕ МЕСТО» на первом носителе и выберите «Создать новый раздел».

Далее, выберите размер раздела. Этот раздел будет разделом подкачки, а общее правило для определения размера раздела подкачки – двойной объем RAM. Введите размер, далее выберите «Первичный», затем «Начало».

Двойной размер раздела подкачки по отношению к оперативной памяти (RAM) не всегда желателен, особенно на системах с большим объемом RAM. Расчет размера раздела подкачки в значительной степени зависит от того, как будет использоваться система.

Выберите строку «Использовать как:» вверху. По умолчанию там установлено «Журналируемая файловая система Ext4», измените ее на «физический том для RAID » затем выберите «Настройка раздела закончена».

Для раздела / снова выберите «СВОБОДНОЕ МЕСТО» на первом носителе и нажмите «Создать новый раздел».

Используйте оставшееся свободное на носителе место и выберите «Далее», а затем «Первичный».

Так же как и для раздела подкачки выберите строку «Использовать как:» вверху и измените ее на «физический том для RAID ». Также поставьте отметку на строке «Загрузочный флаг:». После этого выберите «Настройка раздела закончена».

Повторите шаги с третьего по восьмой для всех остальных дисков и разделов.

Настройка RA >

С разметкой разделов массив готов к настройке:

Вернитесь на основную страницу «Разметка дисков», выберите «Настройка программного RAID » сверху.

Выберите «да» для записи изменений на диск.

Выберите «Создать MD устройство».

Для этого примера выберите «RAID1», но если вы используете другую конфигурацию выберите соответствующий тип (RAID0 RAID1 RAID5).

Для использования RAID5 нужно по крайней мере три диска. Использование RAID0 или RAID1 потребует лишь двух дисков.

Введите количество активных устройств равное «2», или же количество жестких дисков которые у вас выделены под массив. После этого нажмите «Далее».

Далее, введите число резервных устройств «0» по умолчанию, после чего нажмите «Далее».

Выберите используемые разделы. Как правило это будут sda1, sdb1, sdc1, и т.д. Цифры обычно совпадают, а разные буквы соответствуют разным жестким дискам.

Для раздела подкачки выберите sda1 и sdb1. Нажмите «Далее» для перехода к следующему шагу.

Повторите шаги с третьего по седьмой для раздела /, выбрав sda2 и sdb2.

По окончании выберите «Завершить».

Форматирование

Выберите «#1» под разделом «RAID1 устройство #0».

Выберите «Использовать как:». Далее выберите «раздел подкачки», затем «Настройка раздела выполнена».

Следующим выберите «#1» под разделом «RAID1 устройство #1».

Выберите «Использовать как:». Далее выберите «Журналируемая файловая система Ext4».

Затем выберите «Точка подключения:» и выберите «/ – корневая файловая система». Измените все необходимые опции и выберите «Настройка раздела выполнена».

Ну и наконец, выберите «Завершить разметку и записать изменения на диск».

Далее процесс установки продолжится как обычно.

Поврежденный RA >

В определенный момент работы компьютера вы можете столкнуться с отказом диска. Когда это случится, при использовании программного RAID , операционная система переведет массив в режим пониженной работоспособности (degraded state).

Если массив поврежден, в связи с возможностью потери данных, по-умолчанию Ubuntu Server Edition запустит начальный загрузчик через 30 секунд. Как только загрузчик стартует, появится предупреждение на 50 секунд с выбором либо продолжить и загрузить систему, либо сделать попытку восстановления вручную. Запуск загрузчика с предупреждением может быть как желательным, так и нет, особенно если это удаленный компьютер. Загрузка с поврежденным массивом может быть настроена по-разному:

Утилита dpkg-reconfigure может быть использована для настройки желательного варианта по-умолчанию и в процессе у вас будет возможность задать дополнительные настройки, связанные с массивом. Таких, как слежение, почтовые предупреждения и пр. Для перенастройки mdadm введите следующее:

Команда sudo dpkg-reconfigure mdadm изменит конфигурационный файл /etc/initramfs-tools/conf.d/mdadm. У этого файла есть возможность предварительной настройки желаемого поведения системы и он может быть отредактирован вручную:

Использование параметра ядра также позволит загрузиться системе с поврежденным массивом:

Как только система загружена вы можете как восстановить массив (см. Обслуживание RAID), так и скопировать важные данные на другую машину в случае сильных повреждений устройства.

Обслуживание RA >

Утилита mdadm может быть использована для просмотра статуса массива, добавления дисков в массив, удаления дисков и пр.:

Для просмотра статуса массива введите в терминале:

Опция -D говорит mdadm выводить детальную информацию об устройстве /dev/md0. Замените /dev/md0 на соответствующее RAID устройство.

Для просмотра статуса диска в массиве:

Вывод очень похож на команду mdadm -D относительно /dev/sda1 для каждого диска.

Если диск вышел из строя и должен быть удален:

Читайте также:  Установки счастья и любви

Замените /dev/md0 и /dev/sda1 на необходимые RAID устройство и диск.

Подобным образом добавить диск:

Иногда диск может перейти в неработоспособное состояние даже когда нет никаких повреждений устройства. Обычно достаточно удалить устройство из массива и затем повторно его добавить. В этом случае диск повторно синхронизируется с массивом. Если диск не синхронизируется с массивом, это означает действительное повреждение устройства.

Файл /proc/mdstat также содержит полезную информацию по RAID устройствам в системе:

Следующая команда лучше всего подходит для просмотра статуса синхронизации устройства:

Нажмите Ctrl-c для окончания просмотра.

Если вам действительно потребовалось заменить поврежденный диск, после его замены и синхронизации будет необходимо установить grub. Для установки grub на новое устройство введите следующее:

Замените /dev/md0 на имя соответствующего устройства.

Ссылки

Менеджер логических томов (LVM)

Менеджер логических томов, или LVM, позволяет администраторам создавать логические тома на одном и нескольких жестких дисках. LVM тома могут быть созданы как на разделах программного RAID , так и на стандартных разделах единичного диска. Тома также могут расширяться, предоставляя большую гибкость системам по изменению предоставляемых ресурсов.

Обзор

Побочным эффектом от мощи и гибкости LVM является большая степень сложности. Перед тем, как погружаться в установочный процесс LVM, было бы неплохо ознакомиться с некоторыми терминами.

Физический том (Physical Volume — PV): физический жесткий диск, раздел диска или раздел программного RAID , отформатированный как LVM PV.

Группа томов (Volume Group — VG): строится из одного или нескольких физических томов. VG могут быть расширены добавлением PV. VG похожи на виртуальные дисковые устройства, которые можно разделять на логические тома.

Логический том (Logical Volume — LV): аналогичен разделу на диске без использования LVM. LV отформатированный в желаемую файловую систему (EXT3, XFS, JFS и др.) доступен для монтирования и хранения данных.

Установка

Пример в данной секции показывает установку Ubuntu Server Edition с монтированием /srv на том LVM. В процессе начальной установки только один физический том (PV) может стать частью группы томов (VG). Другой PV будет добавлен после установки для демонстрации как VG может быть расширен.

Существует несколько вариантов установки LVM, «Управляемый — использовать весь диск и настроить LVM» который также позволит вам выделить часть доступного пространства под LVM, «Управляемый — использовать целиком и настроить шифрованный LVM» или установить и настроить LVM вручную. На данный момент единственный вариант настроить систему с использованием как LVM, так и стандартных разделов в процессе установки — это использование ручной настройки.

Пройдите по шагам установки пока не дойдете до шага разбивки дисков на разделы, затем:

На экране «Дисковые разделы» выберите «Вручную».

Выделите жесткий диск и на следующем экране подтвердите «да» на «Создать новую таблицу разделов устройства».

Далее создайте стандартные разделы для /boot, swap, и «/» с той файловой системой, которую вы предпочитаете.

Для размещения /srv на LVM, создайте новый логический раздел. Затем замените «Использовать как» на «физический том LVM» после чего нажмите «Настройка разделов завершена».

Теперь выделите «Настроить менеджер логических томов» вверху и выберите «Да» для сохранения изменений на диск.

В качестве «Действия по настройке LVM» на следующем экране выберите «Создать группу томов». Введите имя для VG типа vg01 или что-то более наглядное. После ввода имени выберите раздел, выделенный под LVM, и нажмите «Далее».

Вернитесь на экран «Действие по настройке LVM», выберите «Создать логический том». Выделите недавно созданную группу томов и введите имя для LV, например, srv, раз уж она предназначена для этой точки монтирования. Затем выберите размер, который может быть на весь раздел, поскольку его всегда можно будет расширить позднее. Нажмите «Завершить» и вы вернетесь обратно на основную страницу «Дисковые разделы».

Теперь добавьте файловую систему для нового LVM. Выделите раздел под названием «LVM VG vg01, LV srv» или тем именем, которое вы выбрали и нажмите «Использовать как». Настройте файловую систему как обычно, выбрав /srv в качестве точки монтирования. По окончании нажмите «Выполнить настройку разделов».

Наконец нажмите «Завершить разбиение и сохранить изменения на диск». Затем подтвердите изменения и продолжите обычную установку.

Есть несколько полезных утилит для просмотра информации по LVM:

pvdisplay: показывает информацию по физическим томам.

vgdisplay: показывает информацию по группам томов.

lvdisplay: показывает информацию по логическим томам.

Расширение групп томов

Продолжая с srv как примером тома LVM, в данной секции рассматривается добавление второго жесткого диска, создание физического тома (PV), добавление его в группу томов (VG), расширение логического тома srv и в конце расширение файловой системы. Этот пример подразумевает, что в систему был добавлен второй жесткий диск. В данном примере этот жесткий диск получит имя /dev/sdb и мы будем использовать весь диск под физический том (вы можете выбрать создание разделов и использовать их как другие физические тома).

Сначала создадим физический том, выполнив в терминале:

Теперь расширим группу томов (VG):

Используйте vgdisplay для поиска свободных физических экстентов (PE) — Free PE / size (размер, который вы можете занять). Предположим, что свободно 511 PE (эквивалентно 2ГБ при размере PE в 4МБ) и мы используем все доступное свободное место. Используйте ваши собственные PE и/или свободное место.

Логический том (LV) теперь может быть увеличен различными методами, мы будем рассматривать только как использовать PE для расширения LV:

Опция -l позволяет расширять LV используя PE. Опция -L позволит задавать увеличение LV в МБ, ГБ, ТБ и т.п.

Даже если вы считаете, что можете увеличить ext3 или ext4 файловую систему без предварительного отключения, будет хорошей практикой в любом случае отмонтировать ее и проверить на целостность, что позволит избежать суматошного дня по уменьшению логического тома (в этом случае ее придется отключить обязательно).

Следующая команда только для файловой системы ext3 или ext4. Если вы используете другую файловую систему, возможно придется использовать другие утилиты.

Опция -f для e2fsck заставляет принудительно сделать проверку на целостность системы.

Наконец, изменяем размер файловой системы:

Теперь монтируем раздел и проверяем его размер:

источник

Добавить комментарий