SAS/SATA Expander

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Skobelev Dmitry
Power member
Сообщения: 49
Зарегистрирован: 20 апр 2017, 14:51
Откуда: Москва
Контактная информация:

SAS/SATA Expander

Сообщение Skobelev Dmitry » 07 июн 2017, 11:00

Здравствуйте.
Уважаемые подскажите пжл в чём минусы подключения RAID контроллеров и жестких дисков к бэкплэйнам с экспандерами.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAS/SATA Expander

Сообщение Stranger03 » 07 июн 2017, 11:04

Skobelev Dmitry писал(а):Здравствуйте.
Уважаемые подскажите пжл в чём минусы подключения RAID контроллеров и жестких дисков к бэкплэйнам с экспандерами.
Откуда вы там нашли минусы?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Skobelev Dmitry
Power member
Сообщения: 49
Зарегистрирован: 20 апр 2017, 14:51
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение Skobelev Dmitry » 07 июн 2017, 14:25

Stranger03 писал(а):
Skobelev Dmitry писал(а):Здравствуйте.
Уважаемые подскажите пжл в чём минусы подключения RAID контроллеров и жестких дисков к бэкплэйнам с экспандерами.
Откуда вы там нашли минусы?
Я не находил, просто пытаюсь понять почему в некоторых ТЗ требуется подключение дисков без экспандеров. Значит чем то людей не устраивает такой вариант.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение gs » 07 июн 2017, 14:48

Это из серии "чтобы быстрее в пробке стоять".
Мифы неистребимы.

В принципе, есть задачи, где 48Гбит/с недостаточно. Но это настолько редкие и специфические вещи...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAS/SATA Expander

Сообщение Stranger03 » 08 июн 2017, 09:01

Skobelev Dmitry писал(а):Я не находил, просто пытаюсь понять почему в некоторых ТЗ требуется подключение дисков без экспандеров. Значит чем то людей не устраивает такой вариант.
Игорь уже сказал, ну уж очень специфичные задачи. Чисто теоретически 16-ть топовых SSD диска способны забить экспандер, но в этом случае проц не переварит столько данных, сколько будет поступать от них сразу. Ну а если речь идет о стандартных 2-х портовых контроллерах и 8-ми дисков, то я не знаю способов, как забить канал экспандера (на примере 8-мь сосков поменять на один экспандер).
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Skobelev Dmitry
Power member
Сообщения: 49
Зарегистрирован: 20 апр 2017, 14:51
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение Skobelev Dmitry » 08 июн 2017, 14:14

Stranger03 писал(а):
Skobelev Dmitry писал(а):Я не находил, просто пытаюсь понять почему в некоторых ТЗ требуется подключение дисков без экспандеров. Значит чем то людей не устраивает такой вариант.
Игорь уже сказал, ну уж очень специфичные задачи. Чисто теоретически 16-ть топовых SSD диска способны забить экспандер, но в этом случае проц не переварит столько данных, сколько будет поступать от них сразу. Ну а если речь идет о стандартных 2-х портовых контроллерах и 8-ми дисков, то я не знаю способов, как забить канал экспандера (на примере 8-мь сосков поменять на один экспандер).
Ну вот собственно и встречал ТЗ с требованием по наличию контроллера с прямым подключением 16 устройств:
Контроллер Adaptec 71605 [16-port SAS2, 1Gb, RAID 0,1,1E,5,6,10,50,60]
Дисковый массив 1 x 2000GB SATA hard drive (7200rpm)
Дисковый массив 6 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"
Дисковый массив 1 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"
Дисковый массив 8 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"

Уже не помню подробности, но помню что заказчик категорически отказывался от другого контроллера и экспандера.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение gs » 08 июн 2017, 14:23

"Хочу" не значит "нужно".

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение gs » 08 июн 2017, 14:25

К тому же адаптеки 7-ой серии - это не сас2 (6Г), а сас3 (12Г). Т.е. 48Г на хвост.

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: SAS/SATA Expander

Сообщение Bormoto » 08 июн 2017, 16:39

На ixbt авторитетный nda недавно писал http://forum.ixbt.com/topic.cgi?id=66:9010:3253#3253, что у экспандеров эмпирически обнаружено ограничение в производительности при использовании SATA SSD.

Так что, какой-нибудь "хитрожадный"(c) заказчик, не желая дополнительных расходов на SAS SSD, вполне может потребовать прямое подключение.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение gs » 08 июн 2017, 17:42

А теперь покажите мне контроллер, способный на реальной нагрузке переварить 400килоёпсов :)
Вернее мегарэйд 9361 где-то так и может, но в прыжке.
И к 16 механическим шпинделям это ну никак не относится :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAS/SATA Expander

Сообщение Stranger03 » 09 июн 2017, 08:26

Skobelev Dmitry писал(а):Ну вот собственно и встречал ТЗ с требованием по наличию контроллера с прямым подключением 16 устройств:
Контроллер Adaptec 71605 [16-port SAS2, 1Gb, RAID 0,1,1E,5,6,10,50,60]
Дисковый массив 1 x 2000GB SATA hard drive (7200rpm)
Дисковый массив 6 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"
Дисковый массив 1 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"
Дисковый массив 8 x 600GB SAS hard drive (10000rpm) 2.5" w/bracket 3.5"

Уже не помню подробности, но помню что заказчик категорически отказывался от другого контроллера и экспандера.
Чего не сделаешь на деньги заказчика, :mrgreen:
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: SAS/SATA Expander

Сообщение Umlyaut » 09 июн 2017, 12:10

Skobelev Dmitry писал(а):Я не находил, просто пытаюсь понять почему в некоторых ТЗ требуется подключение дисков без экспандеров. Значит чем то людей не устраивает такой вариант.
Skobelev Dmitry писал(а):Уже не помню подробности, но помню что заказчик категорически отказывался от другого контроллера и экспандера.

Ох уж эти "urban legends" из мира IT... :)

Как сейчас помню - во времена "гиговых сказёвников" (или "сказёвых гиговников" :) ) с лёгкой руки всяких DBA пошла мода разносить данные, редо-логи, индексы и прочую ботву на разные диски/LUN`ы.
И всё бы ничего - ага, логика в том была, разделить разноскоростной контент с тем, чтобы механика дисков не металась как укушенная в разнонаправленных конкурирующих задачах - но "они" не смогли вовремя остановиться и требовали, чтобы эти разные диски ещё и висели на разных каналах какого-нибудь Майлекса или Мегарейда!

Или другое поверье, до сих пор укоренившееся в изрядном количестве админских голов - выделять под систему пару отдельных шпинделей в зеркале (угу, "обворовывая" тем общую рейд-группу на i/o аж двух дисков.

В общем, IT-фольклор богат и разнообразен - вот и тут то же самое. :D

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение Tert » 09 июн 2017, 14:29

gs
К тому же адаптеки 7-ой серии - это не сас2 (6Г), а сас3 (12Г). Т.е. 48Г на хвост
Весьма смелое утверждение.

Вообще для получения максимальной производительности надо взять 8-ми канальный контроллер и подключить его к экспандеру по всем восьми каналам. На 6 Гб/c даст 6 ГБ пропускной способности. В серверах, которые должны переваривать такой поток данных, скорее всего узким местом будут процессоры.

Кстати, при использовании контроллеров LSI на 12 Гб и таких же экспандеров от LSI скоростть соединения контроллер-экспандер уже не ограничивается скоротью дисков. Т.е. даже при использовании 6-ти гигабитных SSD можно получить скорость соединения контроллер-экспандер в 96 Гб/с (можно и больше, но смысла нет, т.к. на скорость это уже не влияет).

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: SAS/SATA Expander

Сообщение Tert » 09 июн 2017, 14:32

Umlyaut
Или другое поверье, до сих пор укоренившееся в изрядном количестве админских голов - выделять под систему пару отдельных шпинделей в зеркале (угу, "обворовывая" тем общую рейд-группу на i/o аж двух дисков.
Сейчас иногда удобнее поставить пару дешевых SSD именно под ОС.
Например, есть у вас сервер на 16-24 диска по 6-8 ТБ. Отрезать от этих дисков по кусочку на ОС уже не очень удобно.
Проще сделать именно так, как я сказал.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: SAS/SATA Expander

Сообщение Umlyaut » 09 июн 2017, 14:52

Tert писал(а):Umlyaut
Или другое поверье, до сих пор укоренившееся в изрядном количестве админских голов - выделять под систему пару отдельных шпинделей в зеркале (угу, "обворовывая" тем общую рейд-группу на i/o аж двух дисков.
Сейчас иногда удобнее поставить пару дешевых SSD именно под ОС.
Например, есть у вас сервер на 16-24 диска по 6-8 ТБ. Отрезать от этих дисков по кусочку на ОС уже не очень удобно.
СЕЙЧАС - пожалуй, что и да: и сервер быстрее стартанёт, и при возможных проблемах с рейд-группой не пострадает загрузка (даже ребилд изрядно тормозит старт при системе на LUN`е от основной группы).
Сам в последних своих серверах с большим к-вом шпинделей так делаю, только "жадничаю" вешать "системные SSD на контроллер (даже с учётом экспандеров бывает мало каналов - CacheCade ещё, да и просто много дисков привык уже ставить), а цепляю их к бортовому SATA/SAS. :)

Но с учётом того, что это всё же довольно нишевый случай, а много где рейд-группы ограничены 8-ю дисками (не у всех есть экспандеры или корзины с ними), да ещё и меньшей ёмкости, то тут уж отдельный LUN от рейд-группы под ОС не роскошь, а разумная мера, полагаю.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 26 гостей