soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 18 мар 2009, 17:43

Есть ли у кого нибудь опыт построения soft raid под Linux с примененим технологий hot swap и hot spare?

Меня интересует, как можно подружить, скажем, mdadm, с подсистемой индикации текущего состояния дисков (enclosure management (EM)). Дело в том, что чип ICH9R поддерживает EM и может управлять светодиодами статуса дисков в корзине, но драйвер ahci даже в последнем ядре дебиана 2.6.26 этого не подерживает. Хуже того, в последнем ядре редхата 2.6.28.* я увидел поддержку только для светодиода активности, но активность и так аппаратно неплохо отображается.

После нескольких часов развлечений с даташитами на чипсет, SGPIO и т.п., книжкой про написание драйверов для линукс, мне удалось накалякать модуль ahci_em, который успешно справляется с задачей индикации состояния дисков. Модуль поддерживает несколько разных состояний: LOCATE, REBUILD, FAILURE, HOT SPARE, PREDICTED FAILURE.

Остается только одна проблема, как подключить его к непосредственно системе администрирования RAID массива? Хотелось бы, чтобы система сама отслеживала статус массива и сообщала о том, в каком состоянии массив. Чтобы можно было, скажем, программно инициировать процедуру выхода диска из строя и замену его на новый, чтобы всё это сопровождалось индикацией в корзине. Чтобы после замены диска процесс ребилдинга массива отображался.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 18 мар 2009, 17:58

Не проще контроллер купить?

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 18 мар 2009, 18:22

С идеи о контрллере, собственно, началась эпопея с Тринити. Ни один из предложенных контроллеров не заработал на этой платформе. Одни не влезли туда механически, точнее не сами платы, а SATA-шные шнуры. Последний контроллер, с какими то ухищрениями влез, но при тестировании сотрудниками Тринити он продемострировал равзрушение массива под нагрузкой. Никаких разумных объяснений, почему это произошло, и как после такого можно вообще доверять аппаратным контроллерам, мне от ваших тестеров добиться не удалось.
В итоге, уже оплаченный счет пришлось переделать, заменив контроллер всякой всячиной.

Так что, если коротко, то не проще. Теория и практика не совсем одно и то же.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 18 мар 2009, 18:28

Какая платформа? Это на предмет влезаемости.
Какой контроллер и диски? Это на предмет развала.

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 18 мар 2009, 19:12

платформа: http://www.supermicro.com/products/syst ... 15b-mt.cfm
контроллер: Adaptec RAID 3405, этот то который не влез, потом был 3ware 9550, который на моей млатформе вис намертво, потом был еще какой-то, который не вис, но разваливал массив под нагрузкой. К сожалению, в переписке у меня не сохранилось его название, его пробовали в последний день, когда уже все отрапортовались, что сервер можно забирать.

И всё же я не хотел бы уводить изначальную тему в полемику на тему hard RAID vs soft RAID. Я взвешивал различные доводы и в итоге пришел к выводу, что мне вполне достаточно soft RAID. И для RAID1 никаких ресурсов особо не нужно.
Последний раз редактировалось Владимир Дашевский 18 мар 2009, 19:24, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 18 мар 2009, 19:19

Адаптек 3405 в эту платформу ставится.
Возможно это было самое начало поставок, когда действительно была непонятка с кабелями. Но потом этот вопрос решили.
Это одна из наших рабочих лошадок. Так что имхо имеет смысл еще раз поднять вопрос с питерцами.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 18 мар 2009, 19:20

По нашей классификации (в московской базе) этот кабель называется "CBL-0188L, 64cm IPASS to 4 SATA CBL w/ Different Length, PB Free".

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 19 мар 2009, 14:36

А почему желание сделать soft RAID1 у специалистов Тринити вызывает такое сопротивление? Контроллер этот адаптековский - это из пушки по воробьям палить. Исходно заявлено, что платформа от супермикро уже заточена под RAID с hot swap & hot spare. Там на уровне чипсета есть поддержка всего, там сделана корзина дисков, которая к этому чипсету подключена. RAID1 вообще никакой серьезной нагрузки на системный процессор не оказывает. Вообще, с аппратной точки зрения то что надо. Адаптек, наоборот, заточен под RAID 5, туда поставлен выделенный процессор заниматься всеми этими контрольными суммами, которые мне совершенно не нужны. Кроме того, специально сходил на сайт адаптека почитать описание. В данном контроллере заявлено, что enclosure management там сделан в стандарте SAF-TE, а корзина 5015B-MT от супермикро заточена под интерфейс SGPIO, который идет из чипсета. То есть, с адаптеком никакие лампочки состояния массива на корзине уже вообще мигать не будут. Спрашивается, вот зачем нужно одни проблемы менять на другие, причем, не факт, что меньшие.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 19 мар 2009, 14:51

Мы более чем достаточно нахлебались с хострейдами, чтобы их советовать.

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 19 мар 2009, 15:08

Так всё же постоянно меняется, и панацеи нет. У аппаратных контроллеров тоже есть свои погремушки. И совместимость с платформами у них разная, и степень надежности. Например, заявляетс, что 3405 делался для SAS и заодно он еще SATA поддерживает. Но, например, производитель считает, что для SATA он мало кому нужен, и степень оттестированности SATA в нем будет отставать. Вот как например эта ситуация с кабелями. Поддержать еще кабели сумели, а enclosure management всё равно только сказевый. Ну и как тогда полноценное решение делать в платформе, где всё остальное SATA?

У меня складывается впечатление, что специалисты из Тринити нашли какое-то, хоть и дорогое, решение, которое хоть как-то работает и обладает повторяемостью, и теперь вот его тиражируют за клиентский счет. Обидно, что на этом, похоже, творческий поиск остановился, нет желания полноценно исследовать альтернативные подходы.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение gs » 19 мар 2009, 18:34

Честно говоря мало что понял.
Что значит "степень оттестированности сата"? Оно работает молча.
SES менеджмент - в чем проблема-то?

Насчет остального - я Вам привел гарантированно рабочий вариант, который штампуется тиражами. И у нас проблем давно не вызывает. Наверно это вариант не единственный, но нам много и не надо.
Рожать же ежиков под флагом "альтернативных вариантов" - на мой взгляд просто особо извращенный метод развлечения за счет работодателя...

Владимир Дашевский
member
Сообщения: 21
Зарегистрирован: 24 янв 2008, 17:12
Откуда: Санкт-Петербург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Владимир Дашевский » 19 мар 2009, 19:22

Повторяю, что ваш "гарантированно рабочий вариант" мне уже предлагался, даже, прямо скажем, навязывался, год назад. И потом было еще два таких "гарантированно рабочих варианта". Это - факты, отраженные в у меня переписке с сотрудниками Тринити!

Для справки: ни SES, ни SAF-TE, не поддерживается корзиной, установленной в платформу 5015B-MT. Там используется SGPIO, прикрученное к чипу ICH9.

Ладно, не хочу я больше про аппаратный RAID спорить. Хотел бы услышать кого-нибудь по пофоду soft RAID.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Stranger03 » 20 мар 2009, 11:29

Владимир Дашевский писал(а):Повторяю, что ваш "гарантированно рабочий вариант" мне уже предлагался, даже, прямо скажем, навязывался, год назад. И потом было еще два таких "гарантированно рабочих варианта". Это - факты, отраженные в у меня переписке с сотрудниками Тринити!
А чем вам не нравятся факты, отраженные в переписке? Я что-то сильно сомневаюсь, чтобы кто-то из питерских ребят говорил, что хост-рейды гарантированно работают под Линуксом.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение Stranger03 » 20 мар 2009, 16:03

Владимир Дашевский писал(а):Остается только одна проблема, как подключить его к непосредственно системе администрирования RAID массива? Хотелось бы, чтобы система сама отслеживала статус массива и сообщала о том, в каком состоянии массив. Чтобы можно было, скажем, программно инициировать процедуру выхода диска из строя и замену его на новый, чтобы всё это сопровождалось индикацией в корзине. Чтобы после замены диска процесс ребилдинга массива отображался.
Коллеги, предлагается закрыть дискуссию об Адаптеке и не советовать Владимир Дашевский-ому поставить его вместо. Вопрос больше к юниксоидам, кто хорошо разбирается в программировании под юниском. Если кому-то будет что сказать, велком. Нет, просьба не флудить больше.

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: soft raid1 в корзине из 4 дисков в linux debian (2.6.25)

Сообщение and3008 » 23 мар 2009, 01:02

По теме вопроса:

Вы подошли к проблеме не с той стороны. Напишите скрипт, который будет отслеживать состояние массива и запускайте его через cron раз в минуту. При наступлении аварийного события можете любые лампочки зажигать, играть музыку на сервере, звонить модемом к себе на сотовый, запускать питарду и еще что угодно, на что у вас хватит фантазии.

Как это все делать? В любом современном Линуксе с поднятым software-raid есть файл /proc/mdstat. Его содержимое правит сама система и там отображается текущий статус дисков программного RAID-массива. Там же отображается статус ребилда, если он происходит в настоящий момент и оценочное время, когда он закончится.
Вам не надо изобретать велосипед, надо просто написать скрипт. Если вам нравится писать на Си - пишите. Кто ж вам мешает? Хотите зажигать лампочку на контроллере? Зажигайте.

Достоинства анализа файла mdstat в том, что он будет работать в ЛЮБОЙ линукс-системе, а не только на конкретной версии и конкретном ядре с привязкой к конкретной версии драйвера конкретной модели контроллера, как это сейчас сделано у вас.

Хотите сделать эмуляцию отказа диска? Все операции с software-raid массивом выполняются утилитой mdadm. Ей вы можете массив создать, добавить hot-spare, запустить rebuild, вывести диск из эксплуатации и еще много чего. Изучите внимательно и с пристрастием man mdadm

Раз уж вам так нравится программный массив - пользуйте. Неудачный опыт использования аппаратных средств? Ну с кем не бывает. У меня много чего дохнет, не подходит и не сразу заводится. Дорога к намеченой цели не всегда бывает прямой.

Люди из 3nity зарабатывают в основном на аппаратных решениях, а не программных. Они скорее продавцы и интеграторы, а не разработчики ПО. Их аргументы подтверждены их опытом и практикой. Если их аргументы вас не устраивают, то это не значит что они не правы.

За сим откланиваюсь.

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей