Подключение дисковых полок каскадом

[rahs]

Здравствуйте!

Имеется и уже довольно давно работает

Два сервера 2012R2
Controller: Controller1: SAS9200-8E-HP(Bus 5,Dev 0)
Status: Optimal
Firmware Package Version:00.00.00.00
Firmware Version: 05.00.13.00
BBU: NO
Enclosure(s): 2
Drive(s): 48

Две дисковые полки с экспандерами, которые контроллер определяет как LSI SAS2x36, на каждой четыре внешних порта.

Полки подключены с серверам и соединены между собой.

Сверху на всё это натянут MS Storage Spaces и изображает собой файловый сервер.

Сейчас возникла необходимость расширить объем хранения. Я подключил еще одну такую же полку каскадом к существующим. Как нетрудно догадаться, ничего не получилось.

Сервера полку увидели, а вот диски - нет. При попытке перезагрузить один сервер hba выкинул ошибку

Код: Выделить всё

sas discovery error 0x20000000

Путем экспериментов выяснилось, что ошибки исчезают, если из корзины выдернуть половину дисков в любом порядке.

Собственно, вопрос - кто виноват и что делать?

[Tert]

rahs
Нарисутйе, что и куда подключено. И как подключали новые полки.

[rahs]

Было

1.png (6.49 КБ) 8748 просмотров

Стало

2.png (7.34 КБ) 8748 просмотров

[Tert]

rahs
Ну вы и нагородили. Это же не FC, чтобы такие петли делать.
Каждый экспандер на бекплейне должен видеть только один инициатор.
Поэтому уберите половину кабелей и подключайте последовательно первый сервер к первому экспандеру в первой полке. Потом к нему подключите первый экспандер второй полки, потом третьей и т.д.
Соотвественно второй сервер подключайте ко вторым экспандерам в каждой полке.

Надеюсь, что у вас там SAS диски?

[rahs]

SAS_nas.png (4.41 КБ) 8738 просмотров

Вот так?

Диски конечно же SAS. С другими просто не будет работать

[Tert]

rahs
Да.
Только рекомендую оба сервера подключать к одной полке вначале.
Так проще с нумерацией дисков разбираться.

[rahs]

То есть, схема подключения будет вот такая?

SAS_nas_1.png (5.46 КБ) 8735 просмотров

А вторые порты на HBA использовать, чтобы дополнительные пути создать, нельзя?

Вот, например, схема для SAS, но кольцом

Это отсюда

https://docs.oracle.com/cd/E19377-01/82 ... rview.html

[Tert]

rahs
Так у вас JBOD'ы от Oracle?

Если нет, то сделайте просто, как на последнем рисунке.

[rahs]

Ясно, спасибо.

Еще пара вопросов. Если всё равно на серверах остается по свободному порту, тогда, может и не связываться с каскадом, а просто подключить полку к свободным портам?
И есть ли какие-то инструменты для посмотреть детально на состояние экспандеров в полках?

И чисто теоретический вопрос - а сколько полок можно вот так в каскад объединить?

[Tert]

rahs
Можно и к свободным портам подключить. Работать будет побыстрее.
Для мониторинга полок (хотя там особо нечего мониторить) поставьте MegaRAID Storage Manager.

И чисто теоретический вопрос - а сколько полок можно вот так в каскад объединить?

Обычно до 4-х полок можно так подключить.

[rahs]

MegaRAID Storage Manager состояние экспандеров не показывает

Спасибо за консультацию, буду эксперименты экспериментировать

[Tert]

rahs
Состояние экспандеров - это состояние имеющихся на экспандере датчиков (температура, скорость вращения вентиляторов и т.п.). Если такие датчики есть, то MegaRAID Storage Manager их показывает.
А работоспособность самого экспандера оценивается по работоспособности дисков. Если проблем нет, то он работает.