Использоваине локальних дисков серверов для общего хранилища

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 27 ноя 2016, 01:06

конечно, WP(=6) на R6/60 может несколько пугать относительно такового (=2) на R10, но если увеличение к-ва дисков способно покрыть потребность в Write I/O (дать не ниже нужной по ТЗ), то пуркуа бы и не па?
Таки пугает Write Penalty = 6.
RAID6 не готов использовать: и по скорости ребилдов, и по пенальти, и по + ещё один диск на вычисления, и по IOPS.
RAID60 - это, конечно, круто, но такое надо для уж совсем критичных приложений/данных, да и N-4 дисков - это как у меня с RAID10 сейчас. Наверное, это нужно для массива из дешёвых десктопных SATA большого объёма и несильно критичных данных.
RAID5 и рассматривать не хочу - не ругаю, но и не хочу я его. Каждому своё.
Собственно, практика - т.е. время ребилда R10, R6 и R5 (последний делался не для работы, а чисто из любопытства, проверить вышеуказанный тезис) - очень неплохо соответствует ожидавшемуся от этого утверждения результату.
Подчёркнуто повторюсь - без рабочей нагрузки по I/O или с минимумом таковой.
Тут не могу спорить. Такого опыта у меня было совсем немного.
Другое дело, что сами по себе огромные современные диски ребилдятся в деградировавший массив изрядное кол-во часов (та же 4ТБ-шка - около полусуток без нагрузки и сутки с таковой).

Да, да... :( Всё очень долго, особенно с нагрузкой.
не факт, что вылет диска и последующий ребилд (про HSD не забываем!) придутся чОтко на 10.00-19.00 и/или на будни - а тогда часть ребилда пройдёт в нерабочий промежуток и завершится ощутимо скорее.
Но и не забываем про Законы Мерфи )))
А Hot Spare имеется. Стоит, мигает. Думаю иной раз вытащить его, чтоб не мигал и не крутился попусту, но с другой стороны.
Интересно, сколько могут служить энтерпрайзные диски SAS 15K? У меня лет 5 им.
через рейд-контроллер, временно перешитый из IR в IT :) - ну не было у него HBA
У меня была мысль попробовать это сделать в момент, когда ув.тов. LevT с ru-board'a хвалил своё СХД на ZFS под Solaris. Но жЫсть бьёт ключом - газовым и по голове - и не нашлось у меня времени и сил попробовать это всё. А самое главное - нет у меня опыта со всеми этими невыньдосями.

А ещё я живу на контроллерах с Write Back без BBU, надеясь на On-line UPS (Innova RT 3K). Безумие?

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 27 ноя 2016, 01:24

Цитата:
Делать общее хранилище (iscsi/nfs) на отдельный сервер можно, но оно сильно тормознее будет, чем локальные на серверах.
На длинном чтении-записи, как бы и по барабану, но на коротких операциях, задержки IP дают себя знать.
Расстройство одно. Но хз - какие у меня будут задержки - может и нормально потянет.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Umlyaut » 30 ноя 2016, 02:27

Sauron_zombie писал(а):
конечно, WP(=6) на R6/60 может несколько пугать относительно такового (=2) на R10, но если увеличение к-ва дисков способно покрыть потребность в Write I/O (дать не ниже нужной по ТЗ), то пуркуа бы и не па?
Таки пугает Write Penalty = 6.
RAID6 не готов использовать: и по скорости ребилдов, и по пенальти, и по + ещё один диск на вычисления, и по IOPS.
Блин, ща кусаться начну! :)

Какая разница, что у R6 WP=6, если он даст скорость ВЫШЕ минимально приемлемой/допустимой для Ваших задач.

Я как-то уже иллюстрировал - R6 из 7 дисков SATA 7k2 на стареньком 3Ware 9650 даёт ~200MB/s (мегаБАЙТ/с.) на sustained записи (на протяжении пары-тройки часов - это была реальная задача на архивирование быкапов)!
Т.е. не нужно просто так пугаться высокого WP - если и при таковом производительности R6 на запись достаточно для требуемых задач.
Sauron_zombie писал(а):RAID60 - это, конечно, круто, но такое надо для уж совсем критичных приложений/данных, да и N-4 дисков - это как у меня с RAID10 сейчас. Наверное, это нужно для массива из дешёвых десктопных SATA большого объёма и несильно критичных данных.
Окончание тезиса несколько противоречит его началу, ну да ладно, я не буквоед. :)
Просто R60 - не круто, в смысле, не круче того же R6: там не качественная разница в пар-рах и свойствах, а количественная, да и та не сказать чтоб очень велика.
Sauron_zombie писал(а):RAID5 и рассматривать не хочу - не ругаю, но и не хочу я его.
И, кстати, поделом - сейчас общим местом стало уже использование вместо R5 либо R6/60, либо R10/
Sauron_zombie писал(а):
не факт, что вылет диска и последующий ребилд (про HSD не забываем!) придутся чОтко на 10.00-19.00 и/или на будни - а тогда часть ребилда пройдёт в нерабочий промежуток и завершится ощутимо скорее.
Но и не забываем про Законы Мерфи )))
А при чём тут "законы Мерфи"??? Вероятность вылета диска (при нормальных условиях) - штука стохастическая.
И, скажем, вылет диска в выходные дни или ночью между буднями у ординарной лавки, которая в это время не нагружает работой массив, приведёт к тому, что (авто)ребилд в эти периоды завершится быстрее, если rebuild rate будет выставлен в пользу ребилда, а не I/O.
Sauron_zombie писал(а):А Hot Spare имеется. Стоит, мигает. Думаю иной раз вытащить его, чтоб не мигал и не крутился попусту, но с другой стороны.
... с другой стороны при наличии HSD минимизируется время пребывания массива в деградированном состоянии.

Просто представьте себе, что HSD нет, диск вылетел, скажем, числа 1-2 января, дежурного админа нет (или нет в шкафу харда на замену), пока с каникул вернётся админ и/или поставщик хардов, пока счёт, пока проплата, пока получение - N суток... не, N мало, пусть будет P или даже Q суток... в течении которых всё будет висеть на волоске.
Sauron_zombie писал(а):С другой стороны
Интересно, сколько могут служить энтерпрайзные диски SAS 15K? У меня лет 5 им.
У меня некоторые десктопные SATA в хранилке "третьей линии" столько отходили, а уж SAS-ам ентерпрайзным, да в хорошем охлаждении... думаю, ещё пол-столька они просто обязаны отслужить с хорошей вероятностью.
Хотя вывести их при возможности на "вторую линию" было бы уместным. :)
И да - это я про "боевые" диски: HSD же в таком же режиме снашивается меньше, как по мне.
Sauron_zombie писал(а):
через рейд-контроллер, временно перешитый из IR в IT :) - ну не было у него HBA
У меня была мысль попробовать это сделать в момент, когда ув.тов. LevT с ru-board'a хвалил своё СХД на ZFS под Solaris. Но жЫсть бьёт ключом - газовым и по голове - и не нашлось у меня времени и сил попробовать это всё. А самое главное - нет у меня опыта со всеми этими невыньдосями.
Я весьма уважаю тов.LevT и во многих вещах он, бесспорно прав, но...

Его СХД на Солярке (с ZFS) - штука тонкая: её надо уметь "готовить". Собственно, он сам заявлял:
"я не ставлю в продакшен то, что я не умею саппортить и траблшутить".

Во-первых, хотя ZFS суть есть LVM, mdadm и FS в одном флаконе, умная, быстрая и мощная до безобразия штука, но основы никто не отменял: raid-z - это функциональный аналог R5, а raid-z2 - R6. И при всей "интеллектуёвости" и прошаренности, ZFS точно так же уязвима в плане отдельных дисков.
Я встречал бытующее мнение, что благодаря своей умности, ZFS`у всё равно, что "жрать" - хоть из говна и палок собери, будет работать, как надо. Но коли чахлый диск выпадет из того же raid-z, то это всё равно, что остаться с деградировавшим R5. И ребилд что там, что там, будет идти сравнимое время.

Ну а во-вторых не нужно впадать в крайности и замахиваться на "элиту" (типа Соляры и ZFS) - есть работающие решения, не требующие сверхусилий по их пониманию и внедрению. Сам я, например, спокойно использую OpenFiler уже лет пять как - а его развернуть и настроить сможет даже неглупый эникей. И что характерно, будучи раз развёрнута, эта шняга пашет годами, не требуя вмешательства. Да, это не дорогущие брендовые хранилки, но такие entry level решения, будучи адекватными решаемым задачам, ощутимо понижают порог вхождения в тему (в хорошем смысле).
Sauron_zombie писал(а):А ещё я живу на контроллерах с Write Back без BBU, надеясь на On-line UPS (Innova RT 3K). Безумие?
Отчасти.
UPS страхует от пропадания напруги в линии - но есть ещё ненулевая вероятность вылета питальника (вот уверен, что он у Вас не редундантный :) ), мамки, проца, памяти. И вот в этом случае BBU позволить с`flush`ить на диски кеш рейд-контроллера - чего не позволит UPS.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 03 дек 2016, 01:18

Umlyaut писал(а):Т.е. не нужно просто так пугаться высокого WP - если и при таковом производительности R6 на запись достаточно для требуемых задач.
Я начинаю проникаться уже им, но нужно попробовать :)
Окончание тезиса несколько противоречит его началу, ну да ладно, я не буквоед. :)
Просто R60 - не круто, в смысле, не круче того же R6: там не качественная разница в пар-рах и свойствах, а количественная, да и та не сказать чтоб очень велика.
Перечитал - ога )
Т.е. вполне себе пойдёт и RAID6, если откажут 2 диска? И ребилд не будет сильно отличаться по времени от RAID10?
Просто представьте себе, что HSD нет, диск вылетел, скажем, числа 1-2 января, дежурного админа нет (или нет в шкафу харда на замену), пока с каникул вернётся админ и/или поставщик хардов, пока счёт, пока проплата, пока получение - N суток... не, N мало, пусть будет P или даже Q суток... в течении которых всё будет висеть на волоске.
Да, страшно. При этом же возрастает вероятность выхода и ещё одного диска - от нагрузки.
И да - это я про "боевые" диски: HSD же в таком же режиме снашивается меньше, как по мне.
Хорошо.
А что скажите про заявления некоторых товарищей, что 10K несильно отличаются по скорости от 15K, но по стоимости - сильно?
Отчасти.
UPS страхует от пропадания напруги в линии - но есть ещё ненулевая вероятность вылета питальника (вот уверен, что он у Вас не редундантный :) ), мамки, проца, памяти. И вот в этом случае BBU позволить с`flush`ить на диски кеш рейд-контроллера - чего не позволит UPS.
Об этом не подумал. БП выходили из строя уже дважды - сначала один горел, всё работало на одном, пока не привезли через несколько недель такой же. А потом другой через год на этом же хосте.
И в этот второй раз у меня ничего не пищало сначала, а только очень медленно стал делаться бэкап на одной ВМ. Никак не мог понять из-за чего. Потом решил перезагрузить хост, а он начал пищать и не поддавался ресету. Только после вытаскивания питалова из БП и холодного старта запищал БП. Сейчас опять на одном.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 08 дек 2016, 22:38

Вот пробую развернуть на виртуальных машинах пока всё это.
Насколько сильно будет тормозить, если я буду использовать вложенные гипервизоры?

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 08 дек 2016, 22:39

И про выравнивание в Книге Михеева читал.
Надо это сейчас? Актуально ли ещё?

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей