Вопрос по хранилищу данных на базе корзин Supermicro.

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 22 май 2013, 15:15

Добрый день!

Планируется масштабируемое расширяемое параллельное хранилище (под управлением Lustre).
В качестве базового модуля рассматриваем связку из двух серверов Supermicro типа E220R-M4
и четырех 45-дисковых корзин SC847E26-R1K28JBOD.
В каждом сервере хотим поставить два четырехпортовых контролера SAS, чтобы обеспечить двойной линк с каждой корзиной.
Сервера будут работать в отказоустойчивом кластере active-active.
Получается, что учетом "multipath" на каждом сервере будет видно около 400 дисков.

Смотрел по ограничениям, вроде бы Centos 6 поддреживает до 512 sas устройств,
также как и контролер LSI SAS 9201-16e.

Подскажите, пожалуйста, насколько вменяемо это решение?
Есть ли какие-то подводные подводные камни или недостатки?
Насчет корзины SC847E26-R1K28JBOD - подразумевает ли заявленный двойной экспандер отказоустойчивость?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение gs » 22 май 2013, 15:50

Двойной экспандер подразумевает только возможность подключения ящиков/дисков по двум путям. Отказоустойчивость должна организовываться на уровне выше. Причем и диски для этого должны быть двухпортовые SAS.

Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 22 май 2013, 17:12

Спасибо за ответ, хотя вопросов меньше не стало :)
Двойной экспандер подразумевает только возможность подключения ящиков/дисков по двум путям.
Отказоустойчивость должна организовываться на уровне выше.
Предположим, что на серверах настроен стандартный Linux multipath в режиме active-passive (как предполагалось).
Разумеется, что также работает кластерное ПО, которое управляет доступом к лунам.
Требуется что-то еще?
Причем и диски для этого должны быть двухпортовые SAS.
Я правильно понимаю, что каждый экспандер в корзине "рулит" своим портом диска.
При этом если диски однопортовые, то один из экспандеров оказывается к ним не подключенным.
И если откажет именно "рабочий" экспандер - все, туши свет?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение gs » 22 май 2013, 17:15

Я, честно говоря, не силен в линуксе. Просто не знаю.

Насчет дисков все верно - с саташниками номер не пройдет.

Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 22 май 2013, 19:00

gs писал(а): Насчет дисков все верно - с саташниками номер не пройдет.
Благодарю, что просветили.

Получается что если дисковая полка набита SATA SSD то о полном резервировании тоже можно забыть :(

И еще странно. Вроде бы СХД с двумя контроллерами успешно разруливает доступ к однопортовым саташникам (это конечно не простой экспандер,
но логика доступа к дискам вроде должна быть такая же). Как это у нее получается?

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение diz » 22 май 2013, 20:33

SATA`шники в таком случае устанавливаются через мультиплексоры.

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение kim_aa » 23 май 2013, 12:16

Вениамин писал(а):
gs писал(а): Насчет дисков все верно - с саташниками номер не пройдет.
...
Вроде бы СХД с двумя контроллерами успешно разруливает доступ к однопортовым саташникам
(это конечно не простой экспандер, но логика доступа к дискам вроде должна быть такая же).
Как это у нее получается?
Нужно отличать логику работы массива (СХД) от дисковой полки.
В случае с дисковой полкой, инициатор напрямую видит SAS-диски (таргеты). Собственно, двухпортовость SAS-дисков ради "multipath" уже заложена уже в стандарте
(Serial Attached SCSI.
General overview by Rob Elliott. HP Industry Standard Servers Server Storage Advanced Technology elliott@hp.com http://www.hp.com 30 September 2003)

В случае с СХД, инициатор напрямую диски не видит, а видит LUNs отображаемые (мapping) на него контролером.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение gs » 23 май 2013, 14:07

У микры мультиплексоров нету, там все просто, как грабли.
Но вообще-то есть диски 7200 с SAS интерфейсом.

Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 23 май 2013, 18:44

Я уже осознал, что "правильное" решение в данном случае поставить SAS NL, которые стоят не сильно дороже SATA.

Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?
Где в этом случае стоит мультиплексор? В контролере ему вроде делать нечего.
Тогда получается что либо бэкплейн не совсем пассивный либо диск не совсем однопортовый :ups:

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение gs » 24 май 2013, 10:56

Мультиплексоры ставятся на дисковых салазках.

Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 24 май 2013, 11:51

Воистину, все гениальное просто.

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение kim_aa » 24 май 2013, 11:51

Вениамин писал(а):...
Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?
Где в этом случае стоит мультиплексор? В контролере ему вроде делать нечего.
Тогда получается что либо бэкплейн не совсем пассивный либо диск не совсем однопортовый :ups:
1) А кто вам сказал, что они получают доступ одновременно?
Собственно, по-этому в чесных Active/Active двухконтроллерных схемах (или кластерах) SATA не используется.

2) Более подробно режим работы SAS-контролера с SATA дисками приведен в указанном мною документе.
Если в двух словах, то SAS-контроллер работает в режиме прокси, который отображает SATA-диски для других SAS-устройств как виртуальное SAS-устройство. Естественно это задержки и неполнота функций.

Вениамин
Junior member
Сообщения: 19
Зарегистрирован: 10 июл 2008, 18:49
Откуда: Москва

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение Вениамин » 24 май 2013, 14:19

kim_aa писал(а):
Вениамин писал(а):Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?
1) А кто вам сказал, что они получают доступ одновременно?
Я и не говорил, что они получают доступ одновременно, режим аctive-active меня в данном случае не интересует,
интересует полноценное резервирование, то есть отсутствие единой точки отказа.

Просто в некоторых случаях надо ставить SSD, а на SSD с интерфейсом SAS цены пока совсем не гуманные. :cry:

Кстати, в Infortende, который я здесь подразумевал действительно в этих случаях используются салазки с мультиплексорами.
kim_aa писал(а):2) Более подробно режим работы SAS-контролера с SATA дисками приведен в указанном мною документе.
Да спасибо, я его читал, правда про SATA мультипрексоры там ни слова. HP их не использует?

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Вопрос по хранилищу данных на базе корзин Supermicro.

Сообщение kim_aa » 24 май 2013, 22:47

Вениамин писал(а):
kim_aa писал(а):
Вениамин писал(а): ...

Да спасибо, я его читал, правда про SATA мультипрексоры там ни слова. HP их не использует?
А мультиплексор, это вырожденный случай SAS-контроллера/бриджа с двумя логическими портами.
Т.е. SATA-диск с мультиплексором это, для внешнего наблюдателя NL-SAS
(Забавная сложилась терминология: двухпортовое устройство называется мультиплексором, а многопортовый концентратор в бакплейне - бриджем)

Вобще, говорить, что у SAS-диска два порта - несколько неверно.
Согласно стандарту у SAS-диска два Phy.
Phy - это физический линк, или порт. Концептуально очень похоже на каналы (линии) PCIe, т.к. предусматривается возможность суммирования полосы.
А вот логических соединений (с точки зрения SCSI) - одно.
Собственно, основная проблема SATA это неполнота поддержки SCSI (например отсутсвуют SCSI-reservation, Extended-copy).

А SCSI-reservation это и есть механизм позволяющий поочередно работать нескольким иниициаторам с одним таргетом (инициатор объявляет остальным о начале и прекращении резервирования таргета для доступа).
Т. е. даже в актив-актив схемах контроллеры по очереди работают одним и тем же таргетом.

А если данного механизма нет, то все строится на таймаутах, и все равно полной гарантии, что не будет конфликтов нет.

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 22 гостя