Вопрос по кластеру с shared SCSI BUS

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Anry_G
Junior member
Сообщения: 11
Зарегистрирован: 09 янв 2004, 19:27
Откуда: Kiev, Ukraine

Вопрос по кластеру с shared SCSI BUS

Сообщение Anry_G » 20 май 2004, 13:24

Добрый день :)

Читая документации по кластерам с shared SCSI BUS много раз встречал предупреждение - не устанавливайте операционную систему на диски, подключенные к этому сегменту шины. Однако нигде не нашел технического обьяснения почему так делать не нужно.

Может Вы мне обьясните в чем тут дело?

Имеется ввиду двухузловой кластер, в котором каждая нода имеет PCI-to-SCSI RAID контроллер, подключенный к shared SCSI BUS.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 20 май 2004, 14:14

Дело в том, что эти диски физически доступны обоим серверам. И не исключен случай (сбой софта-железа-админа), когда вторая машина что-то не пойми что на системный диск первой запишет. Тогда весь кластер пойдет в известном направлении. Микрософтовский кластер имеет механизм блокировки доступа к диску, принадлежащему одной машине, для другой. Но это работает для дисков, являющихся кластерным ресурсом, которым системный том быть не может.

Это собствено по Вашему вопросу. Но у нас есть еще одно соображение. Мы не рекомендуем использовать такую конфигурацию (PCI рэйды в машинах, а диски между ними). Дело в том, что скази шина в этом варианте является общей для обеих машин. И при каком-то сбое контроллеров, кабелей, терминации вылететь может диск с данными. И кластер тут не поможет, т.к. проблема низкоуровневая и, самое страшное, касается именно дисков с данными. Сбои PCI контроллеров, к сожалению, не редкость.
Лучше обратите внимание на энтри левел внешние дисковые системы Chaparral со встроенными рэйд контроллерами. Есть варианты на 8 и на 14 дисков (можно еще ящик расширения прицепить). Они имеют два независимых скази канала для подключения серверов и разные сбои, происходящие вне дисковой системы, ей собственно до лампочки. А аппараты сами по себе очень надежны. Ценник достаточно гуманный - лишние несколько тысяч при цене всего кластера с софтом рояля не сыграют. Зато получите очень простую в эксплуатации и конфигурировании и пуленепробиваемую вещь.

Anry_G
Junior member
Сообщения: 11
Зарегистрирован: 09 янв 2004, 19:27
Откуда: Kiev, Ukraine

Сообщение Anry_G » 20 май 2004, 19:14

То что в софте кластеризации есть менеджер блокировок это понятно.
Меня заинтересовало есть ли отличия (другой алгоритм?) работы шины SCSI в режиме multi-initiator (Shared SCSI в кластере) от обыкновенного single-initiator.
Интересно каким образом попытка узла, включенного например после ремонта, проинициализировать Shared SCSI шину и получить доступ к своему системному (ничейному для софта кластеризации) диску может помешать работе кластера.

З.Ы.
Не думайте, что я погряз в ереси :)
Я прекрасно знаю, что кластеры с Shared SCSI имеют массу недостатков, и лучший выбор это сторедж с внешним RAID контроллером.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 20 май 2004, 19:30

Ну во-первых может помешать сам факт попытки инициализации шины :) Я как-то давно трахался и пришел к выводу, что бас ресет надо отключать. Уже не помню все детали, но что-то было нехорошо. Но это просто к слову :)
А собственно попытка подключения к некластерному ресурсу в нормальном состоянии ничем не грозит. Но вот именно что в нормальном состоянии. А если в ненормальном? А если он сдуру полезет не на свой том? Кирдык-приплыли? На то и кластер, чтобы таких вещей по возможности избежать.

Anry_G
Junior member
Сообщения: 11
Зарегистрирован: 09 янв 2004, 19:27
Откуда: Kiev, Ukraine

Сообщение Anry_G » 20 май 2004, 19:47

Кстати насколько я понимаю, SCSI BUS reset Disable это не что иное как ключик Сluster Enable/Disable в настройках некоторых PCI RAID контроллеров.

Насчет "ненормального" режима - вроде как не должен полезть к чужим ресурсам. Нашел в сети такое описание:
"Multiple-initiator lockout is a SCSI phenomenon in which multiple initiators (i.e., HBAs) can't simultaneously take ownership of a SCSI device or Logical Unit Number (LUN). Instead, an initiator locks on a device, performs its operations, and then releases the device for other initiators to access."

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 20 май 2004, 20:00

Иными словами SCSI Reservation (если не ошибаюсь) - это именно тот механизм, при помощи которого кластер блокирует доступ к тому с другой машины.
Но к системному тому это не относится.

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 867
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 21 май 2004, 19:01

ключик Сluster Enable/Disable означает что после переключения из Disable в Enable можно поменять адрес контроллера, т.е. при использовании 2-х контроллеров на одной шине они не будут иметь идентичные ID адреса. К Reset Bus прямого отношения эта опция не имеет.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 21 май 2004, 19:09

Имеет-имеет. Просто одна опция сразу и адреса менять позволяет и ресет отменяет. А в скази адаптерах это разные настройки.

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 867
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 21 май 2004, 19:15

А чего же на майлексах при запуске поиска девайсов на шине с одного из контроллеров во время работы шаред диска с вторым контроллером проходил ресет?
Думаю что этим управляет фирмваре в контроллере и ресет не опознается вторым контроллером а по дискам он проходит, а значит есть. Все imho.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 21 май 2004, 19:21

Давай сойдемся на том, что такой кластер - отстой :)

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 867
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 25 май 2004, 12:03

Я бы это и кластером то не называл. Для макета - потренироваться, в самый раз, естественно ограничивая внештатные ситуации. :lol:

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 34 гостя