1GB/s на запись

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
kds
Junior member
Сообщения: 6
Зарегистрирован: 11 июн 2010, 15:16
Откуда: Москва

1GB/s на запись

Сообщение kds » 25 ноя 2017, 10:07

Добрый день.

Подскажите, плз, сколько нужно NL-SAS дисков, в какой RAID-конфигурации и с каким RAID-контроллером, чтобы обеспечить 1GB/sec на запись.
Требуется под бекапы (Linux NFS-сервер).
И если можно, примерный конфиг сервера на 50TB полезной емкости
Спасибо.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 25 ноя 2017, 14:41

kds писал(а): Подскажите, плз, сколько нужно NL-SAS дисков, в какой RAID-конфигурации и с каким RAID-контроллером, чтобы обеспечить 1GB/sec на запись.
Требуется под бекапы (Linux NFS-сервер).
И если можно, примерный конфиг сервера на 50TB полезной емкости
Очень грубая оценка такова:

плясать надо от примерной оценки sustained-записи современных дисков SATA/NL-SAS в ~115-120MB/s (подтверждается на практике) - для страйпа (R0) это от 8 дисков
понятно, что нам нужна редундантная конфигурация, поэтому далее идём от :

требуемой ёмкости массива,
желаемой размерности рейд-группы (фактор Write Penalty),
доступного конструктива (число шпинделей, к-во каналов),
доступной ёмкости одиночного диска

Первый вариант - R6 (по очевидным причинам - R5 стрёмно, JBOD нередундантно без дублирования уровнем выше)
при WP=6 в лоб получаем ~48 шпинделей по скорости.
минус ёмкость пары дисков на чётность - оставшиеся 46 дисков по 2ТБ (реально 1,8ТБ) дадут аж за 80ТБ!
Что, кстати, позволяет построить не R6, а R60 - для лучшей "вероятностной" надёжности R60 относительно R6.

Notabene: не упоминаю крайнюю желательность отдать пару дисков в этой конфигурации под HS - вещь самоочевидная. Конечно, это отнимет у всего массива чутка скорости, но если этим можно пренебречь, то и ладушки - зато не вылезем за границы полок (см.ниже) по к-ву дисков.

12Gbit-ный контроллер тут не нужен - контроллера типа LSI(Broadcom) 92хх должно хватить с запасом (подозреваю, что даже 9240 можно брать, т.к. на таких объёмах и режиме кеширование записи контроллером быстро "наестся" и не повлияет на долговременную картину)

основной "проблемой" будет кузов/полка DAS, но если брать NL-SAS 2,5", то 2U-полка вмещает 24 таких диска, т.е. на 92хх-8 можно повесить "в параллель" две полки комфортно (не, технически можно их прицепить каскадом на 4-хканальный, но не вижу смысла :) )


Второй вариант - R10 (хоть и кажется с виду, что там "убыток 50%" от сырой ёмкости :) )

при WP=2 в лоб имеем ~16 дисков (тут можно ориентироваться на стандартную 2U-полку по 16 дисков 3,5")
взяв диски по 8TB (7,2ТБ по правде) (последние не-гелиевые - стрёмно с гелиевыми связываться), имеем при "минус два на HSD" свои честные 50ТБ
контроллер тогда прокатит 92хх-4, т.к. полка будет одна.

Вопросы ценообразования я не трогаю - Вам лучше знать, почём Вам доступны диски, полки и контроллеры, соответственно, из двух более-менее равнозначных технически (ТТХ) вариантов можете выбирать уже по их стоимости.
Про желательную редундантность питальника полки тоже не напоминаю. :)

И нет, это не теоретизирование - сам использую именно подобные конфигурации и модели (контроллеров, дисков, полок).
Вот прямо сейчас заказал 6ТБ Хитачи 3,5" NL-SAS ровно для 16-тидисковой полки AIC - расширяю место на хранилках.

Доброй охоты! :D

UPD: Ограничился конфигом дисковой подсистемы сервера, т.к. собственно от самой платформы сервера тут много не требуется - ну пускай будет 1U single CPU платформа, какой-нибудь малоядерный серверный проц умеренной гигагерцовости (Интел или АМД - непринципиально), с ЕСС памятью 8/16/32GB (по деньгам), со сдвоенным питальником.
Системный диск (зеркало) - на любых надёжных дисках (sata enterprise), харды или ssd - тоже непринципиально, по вкусу :).

Главное, не забыть предусмотреть в сервере шустрый сетевой интерфейс - 10Gbit.
А то через гигабит Вы гигаБАЙТ в секунду на этот сервер не зальёте. :D
На борту или навесной - по выбору, хотя я предпочёл бы второе, типа Х540-T2 или компатибабельное, ибо бортовые сплошь и рядом банально перегреваются почему-то, был опыт.
По уму же лучше если это будет двухголовая карта - редундантность всё та же.

Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе. :)


UPD2: Чисто для иллюстрации - заглянул сейчас в своё "окно быкапа" :D

запись на LUN для быкапа, лежащий на рейд-группе из семи Констеллейшенов 2ТB 7k2 (SATA Ent.) в R6 на LSI9270, вот уже пол-часа прёт на ~175-180MB/s стабильно.
причём эта рейд-группа как раз в полке AIC на внешнем подключении (8087-8088)

отдача идёт с R1 на 6TB Хитачи SAS 3,5" - ес-сно, с той же скоростью

причём и источник, и приёмник - хранилки, подключенные по iscsi к хосту Сферы через коммутаторы 10G по паре путей (штатный MPIO Сферы с RR)
а быкапит штатная быкапалка винсервера виртуального - т.е. здесь ещё можно натюнить ещё скоростёнки при желании (а у Вас без всех этих моих "уровней абстракции" должно быть ещё бодрее :D).

то есть мои прикидки по крайней мере для первого варианта (R6) - очень близки к реалу :) - масштабирование до Вашего требования в 1GB/s при условии, что контроллер справится, будет почти линейное по дискам.
думаю и про R10 не сильно промахнётся мой предварительный расклад :D

UPD3: Что-то я уже в лёгком сомнении с конфой сервера для Вас (платформы).
Не, как стартовые требования для "физики" прокатит, просто сейчас поглядел пристальнее на свой быкап-процесс, а он выжрал у хоста Сферы аж 20GHz по процам: 10 на саму виртуалку (4 vCPU 3GHz почти на полную) и столько же хост слопал на обработку сетевого трафика по двум 10G NIC`ам - сетевые эмуляции вирт.коммутаторов и софт-инициатор iscsi требуют процессорной мощности изрядно.

Я, конечно, погляжу в документацию, можно ли подкрутить в сетевых драйверах Сферы все эти настройки оффлоадов, но Вы просто имейте в виду, что доп.уровни абстракции потребуют от Вашего быкап-сервера бОльшей мощности уже изначально.
Конечно, если Ваш этот сервер будет чистой "физикой", то вышеуказанного конфига платформы более чем хватит - посмотрел сейчас на загрузку хранилки-приёмника (читай, линукс-сервер с iscsi-таргетом), а она весьма умеренная (в пике - с четверть от загрузки хоста Сферы во время быкапа).

...

если что не очень понятно обрисовал - спрашивайте, дополню. :)

kds
Junior member
Сообщения: 6
Зарегистрирован: 11 июн 2010, 15:16
Откуда: Москва

Re: 1GB/s на запись

Сообщение kds » 27 ноя 2017, 09:32

Круто! Спасибо Вам большое!
Umlyaut писал(а): Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе. :)
Вот этот вариант нравится больше всего.
Правильно понимаю, что, например, супермикровский кузов на 24HDD по 6TB (2 hot-spare + RAID 10 из 22-х дисков) + LSI 9271-4i даст искомый гигабайт/сек и ~60TB доступной емкости ?

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 27 ноя 2017, 11:17

kds писал(а):
Umlyaut писал(а): Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе. :)
Вот этот вариант нравится больше всего.
Правильно понимаю, что, например, супермикровский кузов на 24HDD по 6TB (2 hot-spare + RAID 10 из 22-х дисков) + LSI 9271-4i даст искомый гигабайт/сек и ~60TB доступной емкости ?

Очень хороший вариант - Вы понимаете, да. :)
Действительно оптимально будет и по железу, и по требованиям.

Доброй охоты! :D

turboprop
Advanced member
Сообщения: 244
Зарегистрирован: 18 июн 2010, 11:22
Откуда: C.Петербург

Re: 1GB/s на запись

Сообщение turboprop » 27 ноя 2017, 11:28

не забываем, что все эти диски будут висеть на экспандере, который в свою очередь будет подключен через 4-х портовый транк к контроллеру. и при старом контроллере 9271 вы получите максимально теоритическую скорость 4х6=24Гб, что как бы достаточно для 1ГБ/c, но я бы всё-таки взял контроллер и экспандер на 12Гб, тем более при общей стоимости конфигурации разница в цене будет копейки.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 27 ноя 2017, 12:02

turboprop писал(а):не забываем, что все эти диски будут висеть на экспандере, который в свою очередь будет подключен через 4-х портовый транк к контроллеру. и при старом контроллере 9271 вы получите максимально теоритическую скорость 4х6=24Гб, что как бы достаточно для 1ГБ/c, но я бы всё-таки взял контроллер и экспандер на 12Гб, тем более при общей стоимости конфигурации разница в цене будет копейки.
Об экспандерах никто и не забывал. :)
Но ведь и так - тройное резервирование по пропускной даже на шестигигабитном железе. :D
Я в раскладах сразу указал в явном виде, что 12Г будет лишним, хватит и 6Г.
А цЫфры скорости линка на 4-lane ведомы любому-каждому - "капитанить" арифметикой не было нужды. :)

Товарищ, я понимаю, 12 > 6, а "новое" лучше "старого" (наверно), но... зачем? Просто - зачем? Даже при "копеешной" разнице в цене.

p.s. кстати сейчас до сих пор моделей хотсвап-кузовов с 12Г-экспандерами сильно меньше в доступе, нежели "старых" с 6Г. А на последние ещё и цена прилично просела.
То, что большинство ентерпрайзных HDD 6Г стали EOL, не повод ставить "избыточное" железо 12Г в остальные части дисковой подсистемы - просто не нужно. Старик Оккам подтвердит. :)

turboprop
Advanced member
Сообщения: 244
Зарегистрирован: 18 июн 2010, 11:22
Откуда: C.Петербург

Re: 1GB/s на запись

Сообщение turboprop » 27 ноя 2017, 12:29

вообще-то 936х оно уже не новое, продаётся уже почти 5 лет. и брать ещё более старый контроллер не вижу никакого смысла. хотя бы из соображения совместимости с дисками, которые будут годика через 2-3. очевидно, что у более нового контроллера проблем будет меньше. ещё через пару лет вам внезапно захочется использовать резко упавшие в цене (помечтаем) SSD диски, например.

turboprop
Advanced member
Сообщения: 244
Зарегистрирован: 18 июн 2010, 11:22
Откуда: C.Петербург

Re: 1GB/s на запись

Сообщение turboprop » 27 ноя 2017, 12:36

и, например, недавно я лично столкнулся с проблемой совместимости 6Гб корзины с 12 Гб дисками. они не виделись ни в какую, даже при установке на контроллере принудительно 6Гб.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 27 ноя 2017, 12:54

turboprop писал(а):вообще-то 936х оно уже не новое, продаётся уже почти 5 лет. и брать ещё более старый контроллер не вижу никакого смысла. хотя бы из соображения совместимости с дисками, которые будут годика через 2-3. очевидно, что у более нового контроллера проблем будет меньше. ещё через пару лет вам внезапно захочется использовать резко упавшие в цене (помечтаем) SSD диски, например.

Это мне напоминает "фетиш" апгрейда - когда люди мечтали, что "когда-нибудь потом" поменяют проц на более резкий и т.п.
Когда наступало "потом" - вернее, если наступало! - выяснялось, что современные процы если и не рассчитаны на другой сокет (с разбежкой в два-три поколения оных), то уж точно хотят более новый чипсет. А старый проц уходит за копейки или вообще за пиво! :)
И люди делали апгрейд системы "мать+проц+память"... или вообще брали новый системник.

Не если вернуться к Вашему "примеру" - сделать из 24-хдисковой системы all-flash заменой хардов твердотельниками - то в данном случае Вы нарвётесь на bottleneck именно на 4-lane-линке даже и в 12Гбит.
22 ssd диска по ~0,5GB/s трансфера с каждого дадут ~11GB/s - т.е. "зальют" несчастные 6GB/s этого линка по самые гланды, но продавится только половина. И смысл?

А что касательно несовместимости, описанной вами (12G контроллер & харды vs. 6G корзина), то бывает, да.
Tут, видимо, корзина хитро выделанная (ох, как бы не супермикровская - водятся за этим вендором нехорошести по части совместимости), так что и с контроллером 6G тоже могли быть траблы с ней (хоть и больше шансов).

Вы ж, так понимаю, не первый день в индустрии, знаете, что байки журналюг из глянцевых околокомпьютерных журналов о том, что всё со всем совместимо и любую систему может собрать "из кубиков" любая обезьяна, не стОит принимать за чистую монету - ну, по крайней мере, работающим в индустрии. :D
На то мы и нужны - совмещать несовместимое. :)

turboprop
Advanced member
Сообщения: 244
Зарегистрирован: 18 июн 2010, 11:22
Откуда: C.Петербург

Re: 1GB/s на запись

Сообщение turboprop » 27 ноя 2017, 13:28

лучшее - враг хорошего. работает - не трогай. это понятно. если у вас уже есть 10 шкафов забитых системами на 927х контроллере и вам надо ещё одну, то ясен пень надо взять такую же как уже есть. или если вы собираете на ебее для себя максимально дёшево и осознаёте все риски использования старого железа, тоже. но, если вы собираете новую систему, с гарантией, которая будет работать лет 5 минимум и у вас есть выбор сделать всё в одном стандарте (12Гб- далеко не новом) или собрать солянку стандартов (а она будет из-за дисков уже) то я, конечно, из своего опыта рекомендую взять всё 12Гб, безотносительно избыточности по скорости в данный момент. это просто надёжнее, как показывает моя практика. и опять же, один контроллер выпущен 10 лет назад, второй 5 лет назад. стоят одинаково. не вижу причины использовать в новой системе 10-летний контроллер.

офф: что-то в полемическом задоре я перегнул по поводу сроков выхода конкретных контроллеров. погуглил, получается что 9271 пошёл у нас с 12 года, а 9361 с 14-го.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 27 ноя 2017, 15:15

turboprop писал(а):если вы собираете на ебее для себя максимально дёшево и осознаёте все риски использования старого железа, тоже.
Коллега, ну чо уж так загоняться-то в полемике? :) Говорили же не про старое, а про якобы "устаревшее" - а это не одно и то же. :

Вы тут не вчера появились (как и я), могли бы и понять по постам/комментариям, что я нормальный корпоративный админ и не буду оснащать лавку "объедками" с ебея. :D
Другое дело, что у меня больше возможностей к оснащению пусть и "старым" (6Г :) ), но "нулёвым" железом - да с избытком. :) Это, конечно, накладывает свой отпечаток на восприятие и modus operandi - главное, чтоб не во вред делу! :)
turboprop писал(а): если вы собираете новую систему, с гарантией, которая будет работать лет 5 минимум и у вас есть выбор сделать всё в одном стандарте (12Гб- далеко не новом) или собрать солянку стандартов (а она будет из-за дисков уже) то я, конечно, из своего опыта рекомендую взять всё 12Гб, безотносительно избыточности по скорости в данный момент.
То, что Вы называете "солянкой", со стороны вендоров и админов :) выглядит как "совместимость" - выстраданная индустрией, кстати, в полной мере. :D И призванная обеспечить seamless shift между поколениями железа.

Так что не нужно демонизировать - если не выходит "сквозное" оснащение на 12Г, то миксовать тоже не возбраняется. Ну а коли есть возможность, то тогда 12Г так 12Г - я ж разве против?

А в целом, без экстремизма, я, скорее, солидаризуюсь с Вашей позицией и комментарием по ней.
А за честный "офф" - отдельное спасибо! :D:D:D

turboprop
Advanced member
Сообщения: 244
Зарегистрирован: 18 июн 2010, 11:22
Откуда: C.Петербург

Re: 1GB/s на запись

Сообщение turboprop » 27 ноя 2017, 16:35

Так что не нужно демонизировать - если не выходит "сквозное" оснащение на 12Г, то миксовать тоже не возбраняется. Ну а коли есть возможность, то тогда 12Г так 12Г - я ж разве против?
А в целом, без экстремизма, я, скорее, солидаризуюсь с Вашей позицией и комментарием по ней.
А за честный "офф" - отдельное спасибо! :D:D:D
дык, я считаю что как раз есть возможность собрать всё на 12Гб. т.к. есть ещё одно правило: кроилово ведёт к попадалову. :wink:
и попадалово на несовместимость контроллер-корзина-диски (пусть не сразу, а через пару лет) это очень неприятно для всех участников регаты. мне приходилось решать такие проблемы, врагу не пожелаешь. но мы уже оффтопим, так что, спасибо за спасибо и удачи, коллега. :)

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: 1GB/s на запись

Сообщение Umlyaut » 27 ноя 2017, 17:22

:D :D :D

Аватара пользователя
Jamesspumn
Junior member
Сообщения: 14
Зарегистрирован: 11 мар 2019, 11:39
Откуда: Belarus
Контактная информация:

1GB/s на запись

Сообщение Jamesspumn » 11 мар 2019, 20:21

Увы, нет. Только двумя кнопками. Либо попробовать использовать запись в текстовое поле и к нему прикреплять файл, если такое устроит.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 28 гостей