1GB/s на запись
Модераторы: Trinity admin`s, Free-lance moderator`s
1GB/s на запись
Добрый день.
Подскажите, плз, сколько нужно NL-SAS дисков, в какой RAID-конфигурации и с каким RAID-контроллером, чтобы обеспечить 1GB/sec на запись.
Требуется под бекапы (Linux NFS-сервер).
И если можно, примерный конфиг сервера на 50TB полезной емкости
Спасибо.
Подскажите, плз, сколько нужно NL-SAS дисков, в какой RAID-конфигурации и с каким RAID-контроллером, чтобы обеспечить 1GB/sec на запись.
Требуется под бекапы (Linux NFS-сервер).
И если можно, примерный конфиг сервера на 50TB полезной емкости
Спасибо.
Re: 1GB/s на запись
Очень грубая оценка такова:kds писал(а): Подскажите, плз, сколько нужно NL-SAS дисков, в какой RAID-конфигурации и с каким RAID-контроллером, чтобы обеспечить 1GB/sec на запись.
Требуется под бекапы (Linux NFS-сервер).
И если можно, примерный конфиг сервера на 50TB полезной емкости
плясать надо от примерной оценки sustained-записи современных дисков SATA/NL-SAS в ~115-120MB/s (подтверждается на практике) - для страйпа (R0) это от 8 дисков
понятно, что нам нужна редундантная конфигурация, поэтому далее идём от :
требуемой ёмкости массива,
желаемой размерности рейд-группы (фактор Write Penalty),
доступного конструктива (число шпинделей, к-во каналов),
доступной ёмкости одиночного диска
Первый вариант - R6 (по очевидным причинам - R5 стрёмно, JBOD нередундантно без дублирования уровнем выше)
при WP=6 в лоб получаем ~48 шпинделей по скорости.
минус ёмкость пары дисков на чётность - оставшиеся 46 дисков по 2ТБ (реально 1,8ТБ) дадут аж за 80ТБ!
Что, кстати, позволяет построить не R6, а R60 - для лучшей "вероятностной" надёжности R60 относительно R6.
Notabene: не упоминаю крайнюю желательность отдать пару дисков в этой конфигурации под HS - вещь самоочевидная. Конечно, это отнимет у всего массива чутка скорости, но если этим можно пренебречь, то и ладушки - зато не вылезем за границы полок (см.ниже) по к-ву дисков.
12Gbit-ный контроллер тут не нужен - контроллера типа LSI(Broadcom) 92хх должно хватить с запасом (подозреваю, что даже 9240 можно брать, т.к. на таких объёмах и режиме кеширование записи контроллером быстро "наестся" и не повлияет на долговременную картину)
основной "проблемой" будет кузов/полка DAS, но если брать NL-SAS 2,5", то 2U-полка вмещает 24 таких диска, т.е. на 92хх-8 можно повесить "в параллель" две полки комфортно (не, технически можно их прицепить каскадом на 4-хканальный, но не вижу смысла )
Второй вариант - R10 (хоть и кажется с виду, что там "убыток 50%" от сырой ёмкости )
при WP=2 в лоб имеем ~16 дисков (тут можно ориентироваться на стандартную 2U-полку по 16 дисков 3,5")
взяв диски по 8TB (7,2ТБ по правде) (последние не-гелиевые - стрёмно с гелиевыми связываться), имеем при "минус два на HSD" свои честные 50ТБ
контроллер тогда прокатит 92хх-4, т.к. полка будет одна.
Вопросы ценообразования я не трогаю - Вам лучше знать, почём Вам доступны диски, полки и контроллеры, соответственно, из двух более-менее равнозначных технически (ТТХ) вариантов можете выбирать уже по их стоимости.
Про желательную редундантность питальника полки тоже не напоминаю.
И нет, это не теоретизирование - сам использую именно подобные конфигурации и модели (контроллеров, дисков, полок).
Вот прямо сейчас заказал 6ТБ Хитачи 3,5" NL-SAS ровно для 16-тидисковой полки AIC - расширяю место на хранилках.
Доброй охоты!
UPD: Ограничился конфигом дисковой подсистемы сервера, т.к. собственно от самой платформы сервера тут много не требуется - ну пускай будет 1U single CPU платформа, какой-нибудь малоядерный серверный проц умеренной гигагерцовости (Интел или АМД - непринципиально), с ЕСС памятью 8/16/32GB (по деньгам), со сдвоенным питальником.
Системный диск (зеркало) - на любых надёжных дисках (sata enterprise), харды или ssd - тоже непринципиально, по вкусу .
Главное, не забыть предусмотреть в сервере шустрый сетевой интерфейс - 10Gbit.
А то через гигабит Вы гигаБАЙТ в секунду на этот сервер не зальёте.
На борту или навесной - по выбору, хотя я предпочёл бы второе, типа Х540-T2 или компатибабельное, ибо бортовые сплошь и рядом банально перегреваются почему-то, был опыт.
По уму же лучше если это будет двухголовая карта - редундантность всё та же.
Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе.
UPD2: Чисто для иллюстрации - заглянул сейчас в своё "окно быкапа"
запись на LUN для быкапа, лежащий на рейд-группе из семи Констеллейшенов 2ТB 7k2 (SATA Ent.) в R6 на LSI9270, вот уже пол-часа прёт на ~175-180MB/s стабильно.
причём эта рейд-группа как раз в полке AIC на внешнем подключении (8087-8088)
отдача идёт с R1 на 6TB Хитачи SAS 3,5" - ес-сно, с той же скоростью
причём и источник, и приёмник - хранилки, подключенные по iscsi к хосту Сферы через коммутаторы 10G по паре путей (штатный MPIO Сферы с RR)
а быкапит штатная быкапалка винсервера виртуального - т.е. здесь ещё можно натюнить ещё скоростёнки при желании (а у Вас без всех этих моих "уровней абстракции" должно быть ещё бодрее ).
то есть мои прикидки по крайней мере для первого варианта (R6) - очень близки к реалу - масштабирование до Вашего требования в 1GB/s при условии, что контроллер справится, будет почти линейное по дискам.
думаю и про R10 не сильно промахнётся мой предварительный расклад
UPD3: Что-то я уже в лёгком сомнении с конфой сервера для Вас (платформы).
Не, как стартовые требования для "физики" прокатит, просто сейчас поглядел пристальнее на свой быкап-процесс, а он выжрал у хоста Сферы аж 20GHz по процам: 10 на саму виртуалку (4 vCPU 3GHz почти на полную) и столько же хост слопал на обработку сетевого трафика по двум 10G NIC`ам - сетевые эмуляции вирт.коммутаторов и софт-инициатор iscsi требуют процессорной мощности изрядно.
Я, конечно, погляжу в документацию, можно ли подкрутить в сетевых драйверах Сферы все эти настройки оффлоадов, но Вы просто имейте в виду, что доп.уровни абстракции потребуют от Вашего быкап-сервера бОльшей мощности уже изначально.
Конечно, если Ваш этот сервер будет чистой "физикой", то вышеуказанного конфига платформы более чем хватит - посмотрел сейчас на загрузку хранилки-приёмника (читай, линукс-сервер с iscsi-таргетом), а она весьма умеренная (в пике - с четверть от загрузки хоста Сферы во время быкапа).
...
если что не очень понятно обрисовал - спрашивайте, дополню.
Re: 1GB/s на запись
Круто! Спасибо Вам большое!
Правильно понимаю, что, например, супермикровский кузов на 24HDD по 6TB (2 hot-spare + RAID 10 из 22-х дисков) + LSI 9271-4i даст искомый гигабайт/сек и ~60TB доступной емкости ?
Вот этот вариант нравится больше всего.Umlyaut писал(а): Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе.
Правильно понимаю, что, например, супермикровский кузов на 24HDD по 6TB (2 hot-spare + RAID 10 из 22-х дисков) + LSI 9271-4i даст искомый гигабайт/сек и ~60TB доступной емкости ?
Re: 1GB/s на запись
kds писал(а):Вот этот вариант нравится больше всего.Umlyaut писал(а): Как альтернатива 1U-платформе с 2U-полкой на 16 дисков 3,5" можно ещё взять рэковый кузов для сервера с корзиной на 16 дисков - такие есть и в 2U (меньше), и в 3U (больше моделей). Тогда можно совместить сервер и полку в одном флаконе.
Правильно понимаю, что, например, супермикровский кузов на 24HDD по 6TB (2 hot-spare + RAID 10 из 22-х дисков) + LSI 9271-4i даст искомый гигабайт/сек и ~60TB доступной емкости ?
Очень хороший вариант - Вы понимаете, да.
Действительно оптимально будет и по железу, и по требованиям.
Доброй охоты!
Re: 1GB/s на запись
не забываем, что все эти диски будут висеть на экспандере, который в свою очередь будет подключен через 4-х портовый транк к контроллеру. и при старом контроллере 9271 вы получите максимально теоритическую скорость 4х6=24Гб, что как бы достаточно для 1ГБ/c, но я бы всё-таки взял контроллер и экспандер на 12Гб, тем более при общей стоимости конфигурации разница в цене будет копейки.
Re: 1GB/s на запись
Об экспандерах никто и не забывал.turboprop писал(а):не забываем, что все эти диски будут висеть на экспандере, который в свою очередь будет подключен через 4-х портовый транк к контроллеру. и при старом контроллере 9271 вы получите максимально теоритическую скорость 4х6=24Гб, что как бы достаточно для 1ГБ/c, но я бы всё-таки взял контроллер и экспандер на 12Гб, тем более при общей стоимости конфигурации разница в цене будет копейки.
Но ведь и так - тройное резервирование по пропускной даже на шестигигабитном железе.
Я в раскладах сразу указал в явном виде, что 12Г будет лишним, хватит и 6Г.
А цЫфры скорости линка на 4-lane ведомы любому-каждому - "капитанить" арифметикой не было нужды.
Товарищ, я понимаю, 12 > 6, а "новое" лучше "старого" (наверно), но... зачем? Просто - зачем? Даже при "копеешной" разнице в цене.
p.s. кстати сейчас до сих пор моделей хотсвап-кузовов с 12Г-экспандерами сильно меньше в доступе, нежели "старых" с 6Г. А на последние ещё и цена прилично просела.
То, что большинство ентерпрайзных HDD 6Г стали EOL, не повод ставить "избыточное" железо 12Г в остальные части дисковой подсистемы - просто не нужно. Старик Оккам подтвердит.
Re: 1GB/s на запись
вообще-то 936х оно уже не новое, продаётся уже почти 5 лет. и брать ещё более старый контроллер не вижу никакого смысла. хотя бы из соображения совместимости с дисками, которые будут годика через 2-3. очевидно, что у более нового контроллера проблем будет меньше. ещё через пару лет вам внезапно захочется использовать резко упавшие в цене (помечтаем) SSD диски, например.
Re: 1GB/s на запись
и, например, недавно я лично столкнулся с проблемой совместимости 6Гб корзины с 12 Гб дисками. они не виделись ни в какую, даже при установке на контроллере принудительно 6Гб.
Re: 1GB/s на запись
turboprop писал(а):вообще-то 936х оно уже не новое, продаётся уже почти 5 лет. и брать ещё более старый контроллер не вижу никакого смысла. хотя бы из соображения совместимости с дисками, которые будут годика через 2-3. очевидно, что у более нового контроллера проблем будет меньше. ещё через пару лет вам внезапно захочется использовать резко упавшие в цене (помечтаем) SSD диски, например.
Это мне напоминает "фетиш" апгрейда - когда люди мечтали, что "когда-нибудь потом" поменяют проц на более резкий и т.п.
Когда наступало "потом" - вернее, если наступало! - выяснялось, что современные процы если и не рассчитаны на другой сокет (с разбежкой в два-три поколения оных), то уж точно хотят более новый чипсет. А старый проц уходит за копейки или вообще за пиво!
И люди делали апгрейд системы "мать+проц+память"... или вообще брали новый системник.
Не если вернуться к Вашему "примеру" - сделать из 24-хдисковой системы all-flash заменой хардов твердотельниками - то в данном случае Вы нарвётесь на bottleneck именно на 4-lane-линке даже и в 12Гбит.
22 ssd диска по ~0,5GB/s трансфера с каждого дадут ~11GB/s - т.е. "зальют" несчастные 6GB/s этого линка по самые гланды, но продавится только половина. И смысл?
А что касательно несовместимости, описанной вами (12G контроллер & харды vs. 6G корзина), то бывает, да.
Tут, видимо, корзина хитро выделанная (ох, как бы не супермикровская - водятся за этим вендором нехорошести по части совместимости), так что и с контроллером 6G тоже могли быть траблы с ней (хоть и больше шансов).
Вы ж, так понимаю, не первый день в индустрии, знаете, что байки журналюг из глянцевых околокомпьютерных журналов о том, что всё со всем совместимо и любую систему может собрать "из кубиков" любая обезьяна, не стОит принимать за чистую монету - ну, по крайней мере, работающим в индустрии.
На то мы и нужны - совмещать несовместимое.
Re: 1GB/s на запись
лучшее - враг хорошего. работает - не трогай. это понятно. если у вас уже есть 10 шкафов забитых системами на 927х контроллере и вам надо ещё одну, то ясен пень надо взять такую же как уже есть. или если вы собираете на ебее для себя максимально дёшево и осознаёте все риски использования старого железа, тоже. но, если вы собираете новую систему, с гарантией, которая будет работать лет 5 минимум и у вас есть выбор сделать всё в одном стандарте (12Гб- далеко не новом) или собрать солянку стандартов (а она будет из-за дисков уже) то я, конечно, из своего опыта рекомендую взять всё 12Гб, безотносительно избыточности по скорости в данный момент. это просто надёжнее, как показывает моя практика. и опять же, один контроллер выпущен 10 лет назад, второй 5 лет назад. стоят одинаково. не вижу причины использовать в новой системе 10-летний контроллер.
офф: что-то в полемическом задоре я перегнул по поводу сроков выхода конкретных контроллеров. погуглил, получается что 9271 пошёл у нас с 12 года, а 9361 с 14-го.
офф: что-то в полемическом задоре я перегнул по поводу сроков выхода конкретных контроллеров. погуглил, получается что 9271 пошёл у нас с 12 года, а 9361 с 14-го.
Re: 1GB/s на запись
Коллега, ну чо уж так загоняться-то в полемике? Говорили же не про старое, а про якобы "устаревшее" - а это не одно и то же. :turboprop писал(а):если вы собираете на ебее для себя максимально дёшево и осознаёте все риски использования старого железа, тоже.
Вы тут не вчера появились (как и я), могли бы и понять по постам/комментариям, что я нормальный корпоративный админ и не буду оснащать лавку "объедками" с ебея.
Другое дело, что у меня больше возможностей к оснащению пусть и "старым" (6Г ), но "нулёвым" железом - да с избытком. Это, конечно, накладывает свой отпечаток на восприятие и modus operandi - главное, чтоб не во вред делу!
То, что Вы называете "солянкой", со стороны вендоров и админов выглядит как "совместимость" - выстраданная индустрией, кстати, в полной мере. И призванная обеспечить seamless shift между поколениями железа.turboprop писал(а): если вы собираете новую систему, с гарантией, которая будет работать лет 5 минимум и у вас есть выбор сделать всё в одном стандарте (12Гб- далеко не новом) или собрать солянку стандартов (а она будет из-за дисков уже) то я, конечно, из своего опыта рекомендую взять всё 12Гб, безотносительно избыточности по скорости в данный момент.
Так что не нужно демонизировать - если не выходит "сквозное" оснащение на 12Г, то миксовать тоже не возбраняется. Ну а коли есть возможность, то тогда 12Г так 12Г - я ж разве против?
А в целом, без экстремизма, я, скорее, солидаризуюсь с Вашей позицией и комментарием по ней.
А за честный "офф" - отдельное спасибо! :D:D
Re: 1GB/s на запись
дык, я считаю что как раз есть возможность собрать всё на 12Гб. т.к. есть ещё одно правило: кроилово ведёт к попадалову.Так что не нужно демонизировать - если не выходит "сквозное" оснащение на 12Г, то миксовать тоже не возбраняется. Ну а коли есть возможность, то тогда 12Г так 12Г - я ж разве против?
А в целом, без экстремизма, я, скорее, солидаризуюсь с Вашей позицией и комментарием по ней.
А за честный "офф" - отдельное спасибо! :D:D
и попадалово на несовместимость контроллер-корзина-диски (пусть не сразу, а через пару лет) это очень неприятно для всех участников регаты. мне приходилось решать такие проблемы, врагу не пожелаешь. но мы уже оффтопим, так что, спасибо за спасибо и удачи, коллега.
- Jamesspumn
- Junior member
- Сообщения: 14
- Зарегистрирован: 11 мар 2019, 11:39
- Откуда: Belarus
- Контактная информация:
1GB/s на запись
Увы, нет. Только двумя кнопками. Либо попробовать использовать запись в текстовое поле и к нему прикреплять файл, если такое устроит.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 72 гостя