Меню Рубрики

Установка esxi на b120i

HPE ESXi: Низкая производительность дисков в кастомных образах HP

Преамбула: Не было у бабы заботы, купила баба … HP Microserver Gen8. 🙂

В работе был старенький, но надежный, HP Microserver N40L. В работе с 2012 года, в режиме 24/7. Работал под управлением ESXi 5.1. Крутилось на нем парочка серверов 2003R2 (DNS и WEB). Этакая «инкапсуляция опасных направлений». Просто, отдельно стоящий, информационный web-серверок. Если «взломают» легко и быстро поднять из резервной копии и перезапустить. В общую сеть этот сервер, не смотрел, а подключался только на время обновлений контента. Но время шло и серверок … «устал».

Захотелось и DNS и WEB запустить, хотя бы, на Windows Server 2008R2, а, в идеале, на Windows Server 2012R2. И стал N40L тормозить. Аппаратных ресурсов у N40L маловато. Процессор AMD Turion (™) II с частотой 1.5 GHz с архитектурой 2/2 и памяти больше 8 GB не поставить.

Понимаю, что и HP Microserver Gen8 не панацея, но памяти можно поставить 16GB, а процессор взять, например, Intel® Xeon® E3-1220l, c частотой 2.3/3.5 GHz, с архитектурой 2/4 и сверхнизким энергопотреблением (примерно 17-20Вт). Если денег не жалко, то можно поставить, например, Intel® Xeon® E3-1270 с частотой 3.4/4.1 GHz, с архитектурой 4/8. Но тут уже не стоит удивляться тому, что сам процессор стоит примерно в 1.5 раза дороже всего микро сервера :-).

HP Microserver Gen8 это последний из микро серверов от HP в котором

  • можно производить апгрейд
  • есть iLO, что, согласитесь, очень удобно.

К сожалению, Gen9 так и не увидел свет, а свежий Gen10 это … почитайте о нем сами и все поймете 🙂

HP Microserver Gen8 уже не выпускается, но купить еще можно. Что и было сделано. Был куплен абсолютно нулёвый Gen8 (G2020T) на AVITO 🙂 . Установил на него, с кастомного имиджа HPE, гипервизор ESXi 5.5U3. И все.

Нет, не все. Именно с этого места начинается самое интересное.

Установлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso

Версия драйвера дисков: — scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820

Как выяснилось, HP что-то испортили в драйвере дисковой подсистемы для ESXi 5.5 и работа с дисками стала … скажем так, не очень эффективной. Более того, как выяснилось позже, такая же проблема существует и в гипервизорах ESXi 6.0/6.5 от HPE.

Насколько не эффективно? Результаты замеров в статье. Сразу скажу – оглушающие.

Пообщавшись со знакомыми и покопав Интернет было выяснено, что всему виной и правда, драйвер, который HPE включила в свой кастомный образ с установщиком гипервизора ESXi 5.5 и более поздних версий.

Но, решение этой проблемы есть. Совместными усилиями Интернет-сообщества (https://homeservershow.com) был найден драйвер, который реально ускоряет работу с дисками в HP Microserver Gen8.

Версия драйвера: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820

Сам драйвер можно легально, бесплатно и без регистрации, скачать c сайта HPE:

Осталось его установить. Как это сделать, описано ниже.

В первую очередь проверяем версию установленного драйвера и, если отличается, то заменяем на правильный.

А) Заходим в консоль ESXi хоста через PuTTY под именем root и запускаем команду

esxcli software vib list | grep scsi

Вот, что было у меня до смены драйвера

# esxcli software vib list | grep scsi

То есть. Не тот. Почему? А вот, что показал тест производительности. Не то чтобы тест, но из приведенных команд видно, что тестируется.

Выполняем следующие команды из консоли ESXI:

cd /vmfs/volumes/[datastore]time dd if=/dev/zero of=tempfile bs=8k count=1000000

Для сравнения, в той же конфигурации, но с установленным, ESXi 5.1U3 получаем примерно следующее:

То есть, налицо видимое улучшение по сравнению с предыдущей версией гипервизора. Но, вам придется поверить мне на слово, а потом посмотреть на совсем другой результат. Дочитайте до конца.

Итак, приступаем к смене драйвера.

Процедура достаточно простая. Предполагается, что нужный драйвер Вы уже скачали с сайта HP, по приведенный ранее ссылке.

  1. Останавливаем все запущенные VMs
  2. Если не включено, включаем ssh
  3. Копируем файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to /tmp (например, с помощью WinSCP)
  4. Подключаемся к консоли гипервизора ESXi с помощью PuTTY (с правами root, естественно)
  5. Меняем текущую папку на ту, куда положили файл, то есть на папку /tmp
    cd /tmp
  6. Копируем vib-файл в папку из которой он будет инсталлирован
    cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
  7. Переводим гипервизор в Maintenance Mode
    esxcli system maintenanceMode set —enable true
  8. Удаляем текущий драйвер дисковой подсистемы
    esxcli software vib remove -n scsi-hpvsa -f
  9. Инсталлируем правильный драйвер scsi-hpvsa-5.5.0-88OEM из файла esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib —force —no-sig-check —maintenance-mode
  10. Перезапускаем ESXi, отключаем Maintenance Mode, запрещаем ssh (если нужно) и запускаем свои виртуальные машинки.

Но ведь всегда хочется убедиться, что автор не наврал.

Проверяем, что версия драйвера изменилась.

esxcli software vib list | grep scsi

Да. Изменилась на правильную.

А скорость? Не обманули? Проверяем! Что я и сам сделал. Запустил, повторно, тест производительности. Результат меня, мягко говоря, ошеломил

Читайте также:  Установка инжектора на классику прошивка

cd /vmfs/volumes/[datastore]time dd if=/dev/zero of=tempfile bs=8k count=1000000

Это в СЕМЬ раз быстрее, чем с предыдущим драйвером и почти в 9 раз быстрее чем на ESXI 5.1U3

На форуме пользователи подтвердили, что примерно такой же, не правильный, драйвер устанавливается и при инсталляции ESXi 6.0 и 6.5. И замена его на версию scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 приводит к такому же ускорению работы дисковой подсистемы.

Занавес! По-моему — это более чем убедительный аргумент в пользу замены драйвера.

источник

HP DL120 G7 — вторая жизнь сервера

Привет Хабр! За бортом 2017 год и на рынке доступны новые сервера поколения HP G9, а скоро думаю появятся и HP G10.

Но «денег нет», и вы приняли решение купить БУ сервер или провести оптимизацию существующего парка серверов. И в этом случае я хочу обратить ваше внимание на пару моментов связанных с дисковой подсистемой сервера HP DL120 G7.

Сервер уже пару месяцев лежал на складе после закрытия филиала, и я решил сделать из него что-то полезное в виде файлового хранилища.

Мне достался сервер 628692-421 c хот плаг дисками 3,5(4 шт), процессором Xeon E3-1240, 16гб рам и контроллер Smart Array P212/256MB c дисками SAS 10k 400GB.

HP Smart Array P212

Этот контроллер можно встретить почти во всех серверах HP поколения G5/G6/G7. Список серверов можно найти на сайте HPE QuickSpecs.

Если в сервере установлен опциональный контроллер Smart Array, вы сможете мониторить состояние дисков через ILO3.

На скриншоте вы можете наблюдать состояние диска HGST HTS721010A, устанавливая не оригинальные диски в сервера HP вы рискуете получать не достоверную информацию про диски. В данном случаи не правильно определяется температура диска, в результате сервер выводит обороты вентиляторов на 100% скорости и серверная превращается в пилораму.

Вывод № 1 – не все диски одинаково полезны, «выбирайте оригинальные диски HP».

По умолчанию контроллер HP Smart Array P212 кэширует только операции чтения, а для включения кэширования операций записи рекомендуется установка Battery Kit.

При отсутствии Battery Kit есть вероятность потерять данные при отключении электричества. Если вы включили кэширование операций записи без батарейки — делаете это вы на свой страх и риск.

Если вы не включите кэш на запись — HDD будут показывать результаты по скорости заметно ниже. Большой кэш на чтения ощутимого влияния на результат не даст.

Давайте посмотрим на то как настройки кэширования влияют на скорость.

В качестве попугаев я выбрал скорость клонирования VM размером 38 ГБ.

1 — Копирование с диска SAS 10k на диск SATA 7k
2 — Копирование с диска SAS 10k на диск SAS 10k(2,5inch)
3 — Копирование с диска SATA 7k на диск SAS 10k
4 — Копирование с диска SATA 7k на диск SAS 10k(2,5inch)
5 — Копирование с диска SAS 10k(2,5inch) на диск SATA 7k

Вывод № 2 – отдавайте на запись не менее 50% от размера кеш памяти.

Про SAS диски

Обратите внимание на копирование между SAS 10к дисками, в некоторых случаях 10к проигрывает 7к SATA дискам.

Стоит признать что локальные диски SAS 10k в серверах все менее актуальны, эти диски не могут конкурировать по количеству операций с SSD.

HP Smart Array P212 + SSD

В серверах у меня все еще нету SSD и я решил посмотреть как не самый новый Smart Array контроллер переживет подключение SSD.

У меня был один единственный SSD Kingston SHFS37 на 120 ГБ который я вынул из ноутбука. Хочу сразу отметить что для серверов необходимо выбирать SSD с защитой от пропадания питания, такая защита заявлена производителями в дисках Intel DC и Kingston KC400.

SSD определился и его состояние можно наблюдать через ILO3.

Тестирование SSD

1,2 — Копирование с диска SATA на диск SSD
3,4 — Копирование с диска SSD на диск SATA
5,6 — Копирование с диска SATA на диск SATA
7,8,9 — Копирование с диска SSD на диск SSD

Если отключить кэширование записи, потеря скорости SSD не заметна, в то время как SATA HDD заметно проседает.

Вывод № 3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.

HP Smart Array B110i

Если опциональный HP Smart Array контролер отсутствует в сервере, диски будут работать с контроллером на материнской плате HP Smart Array B110i. К B110i можно подключить только SATA диски.

HP Smart Array B110i Можно встретить в серверах HP ML110, ML150, ML330, DL120, DL160, DL180, DL320 поколения G6, и в серверах ML110, DL120, DL165 поколения G7. Также этот контроллер встречается в некоторых серверах серии SL.

Читайте также:  Установка плей маркета на эксплей вега

Контроллер по умолчанию работает в режиме SATA Legacy, сразу отмечу что это не самый удачный режим, с такими настройками диски будут работать очень медленно.

По умолчанию кеш дисков отключен, если вы его включите есть вероятность потерять данные при отключении электричества.

Доступны три режима работы контроллера:
1 — SATA RAID
2 — SATA AHCI
3 — SATA Legacy

VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру, и по этому дальше я буду тестировать сервер установив на него WS2012R2.

1 — SATA Legacy

В режиме SATA Legacy Windows по умолчанию включает программный кеш на запись, и это означает что есть вероятность потерять данные при отключении электричества.

После отключения кэширования падение скорости для обычных дисков ужасна, 20 MB/s это очень удачный скриншот — и результаты могут быть гораздо хуже.

2 — SATA AHCI

Программное кэширование операций записи также включено по умолчанию.

После отключения кэширования HDD просели не так сильно как в случаи SATA Legacy.

Вывод номер 4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.

3 — SATA RAID

HP Smart Array B110i поддерживает только «программный рейд» R10 и R1. Хочется написать про него что-то плохое — но не думаю что у вас могут быть с ним проблемы, но все же при любой возможности делайте апдейт до полноценного HP HP Smart Array, с кэш памятью и батарейками.

Включить кэширование записи в Windows не получится, данная ф-ция не поддерживается драйверами контроллера. Для HP Smart Array P212 программное кэширование включить также не получится.

В этот раз я объединил два сата диска в R1, и по этому средняя скорость получилась больше.


Про надежность и сохранность данных

В процессе того как я переключал диски между контроллерами и менял диски, несколько раз была потеряна конфигурация контроллеров и все массивы развалились. Будьте осторожны при подобных рокировках.

Обращаю внимание на это по тому что HP ранее заявляли совместимость конфигурация рейд массивов при перестановки дисков между контроллерами или между серверами.

Вывод номер 5 – храните резервные копии на отдельном устройстве.

ИТОГО

1 – Не все диски одинаково полезны, «выбирайте оригинальные диски HP».
2 – Отдавайте на запись не менее 50% от размера кеш памяти.
3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.
4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.
5 – храните резервные копии на отдельном устройстве.

Для настройки дисковой подсистемы из графической консоли нужно скачать образ загрузочного диска HP Smart Start CD 8.70(B).

Для большего удобства при работе с сервером не помешает лицензия на HP ILO Advanced, демо лицензию можно получить тут.

источник

Fix VMWare ESXi 6.* slow disk performance on HP b120i controller

I have been using the HP ProLiant ML310e gen8, as well as the HP MicroServer gen8 servers, fairly extensively. It was always working fine until I started using ESXi 6 and 6.5 on it. For some reason the disk performance was suddenly just atrocious. Just imagine having a RAID-1 array with 2x480GB Intel 540 series SSD in one of these and getting only a maximum of about 25 megabytes per second of write speed on it. I’m on a gigabit network and copying files from my Windows computer to a Linux Samba instance, and it started out at 110MB/s, then tanked to 25MB/s after half a minute. Horrible. And totally unexpected, because with ESXi 5 and 5.5, it worked just fine, staying a steady 110MB/s all the way through. So what gives?

Turns out that for some reason the HPVSA driver for ESXi has some issues. I have no idea why. All I do know is that when I replace it with an older driver, my server’s disk performance is fine again. This isn’t a fluke. This is a situation I can reproduce on multiple servers with various disk configurations. For example one of my HP MicroServer gen8 servers has 2x8TB WD RED disks in RAID-1, and gave me around 30MB/s performance at best. When I uninstalled the new HPVSA driver (version .101 or 102 or so I believe) and just installed the old driver (version .88), I was able to get around 170MB/s write performance. No other settings were changed at all.

Affected configurations that I know of

I don’t know if this issue exists in other configurations but what I’ve seen so far it affects these configurations;

  • ESXi 6.5.0 VMWare Release Build 4564106
  • ESXi 6.5.0 VMWare Release Build 5310538
  • HP MicroServer gen8
  • HP ProLiant ML310e gen8
  • both servers run controller: HP ProLiant b120i SmartArray
Читайте также:  Установка автокресел в сузуки гранд витара

Now before any commenters mention this, yes, I know these are entry-level servers. But 30MB/s is never acceptable especially when the same hardware works perfectly fine with an older driver. Wherever the problem is, below is how to solve it, though.

Preparation — files you’ll need

First of all, I take no responsibility for any damage or problems if you follow these instructions. They come as-is without any guarantees. I’ve used them myself and it works perfectly, though.

Before you continue check that you have ESXi 6.5 Build 5310538. I’ve noticed if you have an older version, that uninstalling/replacing the driver may make the HP VSA driver fail to load. Then you will still be able to access your hard drives but only through VMWare’s own AHCI/SATA driver, and will ignore the RAID configuration. This is bad if you have data on the RAID drives already; you can’t access them then. Also, the RAID won’t actually be used then. This can be fixed however by upgrading ESXi and uninstalling/reinstall the driver again if you run into this issue. See this page on instructions on how to upgrade. This guide can be used to upgrade ESXi HPE 6.5 older build to ESXi 6.5 20170404001-standard which is the one that corresponds to build 5310538. If you had replaced the HP VSA driver before doing the upgrade to ESXi, you’ll need to uninstall/reinstall the .88 driver again and reboot again before it works again.

You need the old driver. You can get it from this official Hewlett Packard Enterprise page here:

It’s easiest if you can just download the file directly to your ESXi server. The direct download link is below. Note that I stripped https:// and replaced it with http://. The reason for this is that the ‘wget’ program which allows you to download files directly off the Internet to the ESXi server is simplistic; it only does http:// and doesn’t support https://.

Sometimes they change their website and the link doesn’t work anymore. If it doesn’t try looking for hpvsa-5.5.0-88.zip on Google. Or use the local copy I have stored here on my blog. My local copy forces https:// though so you can’t direct download it to your ESXi server. But you can download it to your desktop computer and then copy it to your ESXi server using a program such as SCP or WinSCP.

Enable SSH on the ESXi installation. If you have ESXi 6.5 you can do it by going to the web interface and logging on, and then rightclicking «Host» and selecting «Services» > «Enable Secure Shell (SSH)». Or you can do it at the console by pressing F2, logging in, and going to «Troubleshooting options» and enabling it there.

Stop all virtual machines before you continue.

Step-by-step solution

  1. Open an SSH session to your ESXi server installation and log on as root.
    Same password as for the web interface / console.
  2. Go into «Maintenance mode». Note that all virtual machines must be stopped first.

Credit

I originally found the solution here, through a post on Dr. Sven Seiler’s blog. I added a few steps that were missing:

If you run into a problem where the RAID arrays are not visible anymore; don’t worry, the data is still there. It’s just a matter of convincing the hpvsa driver to load properly. One issue I’ve found is that when I look under Storage > Adapters, that my hard drives were listed there, but not as RAID drives. Just as standard SATA/AHCI drives. In the column ‘drivers’ I saw that it wasn’t using the hpvsa driver that I downgraded, but was using vmw-ahci instead. What I did to resolve that was disable the vmw-ahci driver with this command:

esxcli system module set –enabled=false –module=vmw_ahci

(ps: above command is with two dashes not a single dash – wordpress messing up the formatting)

And uninstall the hpvsa .88 driver and rebooted.
Then I reinstalled the hpvsa .88 driver and rebooted again.

Then hpvsa loaded properly and my datastores became visible again.

Also, I found that I had to update to 20170404001-standard (build 5310538) for this to work at all; on an older build it wouldn’t load the hpvsa driver no matter what I did.

источник