Настроить связку Supermicro 6023P-8R+Adaptec Durastor 7320SS

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Andrei Pronin
Junior member
Сообщения: 19
Зарегистрирован: 20 янв 2004, 10:05
Откуда: Тула

Настроить связку Supermicro 6023P-8R+Adaptec Durastor 7320SS

Сообщение Andrei Pronin » 21 янв 2004, 12:17

Коллеги!
Помогите пожалуйста в следующем деле. Есть связка:
1. SuperMicro SuperServer 6023P-8R
2 x Xeon 2.8 GHz
2 GB памяти
Внутренний RAID из 4 дисков (36 GB 10000 rpm)
2. Adaptec Durastor 7320 SS
12 дисков Seagate ST318452LC
Внутренний контроллер - один.
3. FiberChannel Adapter QLogic 2200

Требуется:
1. На сервер устанавливается сетевая OS Novell Netware 6.0 или 6.5
2. Durastor ставится в режим StandAlone DualPort, но задействуется
только один порт. Второй на будущее. Впоследствии планирую
реализовать схему "Два хоста - один массив". Может это и
называется кластер - пока не читал, да пока и не надо. Пока надо
"Один хост - один массив".
3. На Durastor-e будут крутиться собственно Новел с его загрузочным
томом SYS и базы RS-Bank 5.0 и RS-Retail, если
кому-то это что-то скажет. Если ничего не скажет - ну это
Pervasive-вские базы, бывший BTrieve. И их много-много и размера
они разного-разного. От нескольких Kb до 1-2 Gb. Думаю разнести
их (RS-Bank и RS-Retail) по разным томам.
Ну и всяческий файловый архив, юзерские частные и общие
директории тоже будут жить на нем.

Теперь вопрос. Подскажите как это все получше настроить. Надежность
в ущерб производительности!

По Durastor:
а) Планирую создать RAID5, правильно ли?
б) Стоит ли бить на несколько массивов? (например 2 х RAID5 каждый
из 5 дисков и 2 диска в общий HS). Ибо кто-то мне лопотал, что
наилучшая производительность RAID5 достигается на массивах,
состоящих из 5 дисков.
в) Сильно ли понизится производительность при отключении
write-back caching? Просто опасаюсь за возможные отключения
электричества - UPS у нас один, держит все здание.
г) Стоит ли делать партишен размером с весь массив или все же
сделать пару партишенов на каждом массиве, если конечно делать
несколько массивов.

По внутреннему массиву (будет использоваться под долговременное не
часто пользуемое и не скоростное хранилище):
а) Планирую создать RAID5 - 3 диска плюс 1 HS.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 21 янв 2004, 13:10

Ну...
1. Системный (загрузочный) том не стоит, имхо, размещать на внешнем массиве. Глюкнет драйвер QLogic'a - и прощай, ОС ;) .
2. RAID5 таков, что чем больше винтов в нем - тем выше производительность. И - ниже надежность ;) (он выдерживает выпадание только любого одного винта).
Что именно создать - вопрос, имхо, WriteBack кэша и нагрузки на запись: если она велика - и отключен WB - имхо, лучше создать RAID10. Если мала - можно обойтись RAID5.
3. RAID10 делать несколько массивов не стоит, RAID5 - стоит (надежность). Я бы предпочел сделать так: RAID10 на 4 винтах под БД, RAID5 на 6 винтах под все остальное и 2 глобальных HS.
4. Если нагрузка на запись высока и случайный доступ мелкими блоками - производительность при отключении кэша WB снизится сильно.
5. Партишны - буквально на Ваше усмотрение.
Все имхо.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 21 янв 2004, 17:09

Отключение кэша весьма паршиво сказывается на производительности. Тем более зачем выключать - там же имхо батарейка есть?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 21 янв 2004, 17:22

По организации массива есть два варианта:
1. Рэйд10 под базу и рэйд5 под все остальное.
2. Рэйд5 под все, порезанный на части средствами контроллера.
Что будет быстрее - сказать трудно. Рэйд 10 конечно быстрее при прочих равных, зато если все загнать в рэйд5, в нем будет много дисков, что снимет разницу в скорости (при условии, что нагрузка на базу будет намного больше всего остального).
То, что массив из 5 винтов самый быстрый - неправда это. Чем больше, тем лучше.

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 22 янв 2004, 11:15

Andrei Pronin писал(а):Надежность
в ущерб производительности!
Скорее, производительность без ущерба для надёжности.
а) Планирую создать RAID5, правильно ли?
Если объём не критичен, то Raid-10, если нет - 50.
Оба из 10 дисков, пару в hot-spare.
б) Стоит ли бить на несколько массивов?
Думаю, что нет. Большой массив поможет "гасить" пиковые нагрузки на отдельные базы.
в) Сильно ли понизится производительность при отключении
write-back caching? Просто опасаюсь за возможные отключения
электричества - UPS у нас один, держит все здание.
Очень сильно. BBU в этом устройстве есть, судя по сайту. Но UPS в серверную стойку добавить совершенно необходимо - каскадом с общим. Цена вопроса совершенно несравнима с возможными последствиями.
г) Стоит ли делать партишен размером с весь массив или все же
сделать пару партишенов на каждом массиве, если конечно делать
несколько массивов.
Несколько разделов средствами софта к внешнему массиву (не средствами ОС). Например, Банк, Ритейл и файлопомойка. ОС, безусловно, на внутреннем массиве.

Andrei Pronin
Junior member
Сообщения: 19
Зарегистрирован: 20 янв 2004, 10:05
Откуда: Тула

Сообщение Andrei Pronin » 22 янв 2004, 16:42

Итак, я снова с вами и со своими вопросами :)
1. Про WB Cache. В Durastor-е постоянно натыкаюсь только на WB Cache дисков. Но в букваре есть упоминание, что WB Cache есть и у контроллера и по определению он выставлен в enabled, но некоторые OS могут его сделать disabled. Вот чтобы такого не произошло в Disk Array Administrator есть специальная настроечка-блокировочка. Но вот где собственно включить/выключить WB Cache контроллера, я не нашел :(
Включал/выключал WB Cache дисков. На скорость копирования с тома на том абсолютно не повлияло :(
2. Замерил скорость копирования с тома на том. Писалось файловым менеджером прямо на консоли сервера. На тот момент был создан RAID5. Скорость составляет ~80 Mbit/s. Почему? Везде где только наткнулся выставлено на 160 MBit/s, Domain Validation отключен, диски все одинаковые - ULTRA160. Где камень?
3. Объясните мне, что есть ху. В Disk Array Administrator есть настройки Host Configuration и Channel Configuration. На заднице Durastor-а есть возможность подключить его через 4 SCSI-канала или по Fiber Channel. Мы подключаемся через FC и посему Host Configuration мне настраивать надо обязательно. А вот Channel Configuration стоит крутить или нет? Я что крутил, что не крутил - разницы не ощутил. Но Domain Validation, кстати, отключается только в нем и для каждого из каналов отдельно.

Вобщем запутался я, помогайте распутываться...

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 22 янв 2004, 17:24

Andrei Pronin писал(а):Включал/выключал WB Cache дисков. На скорость копирования с тома на том абсолютно не повлияло :(
На потоковых операциях от WB проку мало (иногда вред), но на БД эффект будет очень существенный.
При включённом WB на контроллере и вовсе незаметно.
На дисках при отсутствии UPS (тот что есть - далековато) лучше отключить.
2. Замерил скорость копирования с тома на том. Писалось файловым менеджером прямо на консоли сервера. На тот момент был создан RAID5. Скорость составляет ~80 Mbit/s. Почему?
Бит или байт? Если байт, то всё в порядке: 2*80 от теоретических 180.
3. Объясните мне, что есть ху. В Disk Array Administrator есть настройки Host Configuration и Channel Configuration. На заднице Durastor-а есть возможность подключить его через 4 SCSI-канала или по Fiber Channel. Мы подключаемся через FC и посему Host Configuration мне настраивать надо обязательно.
SCSI-каналы не для подключения хостов, а для расширения системы.
Кстати, FC тоже должно быть 4...

Andrei Pronin
Junior member
Сообщения: 19
Зарегистрирован: 20 янв 2004, 10:05
Откуда: Тула

Сообщение Andrei Pronin » 22 янв 2004, 18:11

ВТБ! писал(а): На потоковых операциях от WB проку мало (иногда вред), но на БД эффект будет очень существенный.
При включённом WB на контроллере и вовсе незаметно.
На дисках при отсутствии UPS (тот что есть - далековато) лучше отключить.
Что незаметно при включённом WB на контроллере? На дисках пока отключил, а вот как проверить включен ли на контроллере - не нашел пока. При включении тест кэша проходит, но тест - это тест.
ВТБ! писал(а):
2. Замерил скорость копирования с тома на том. Писалось файловым менеджером прямо на консоли сервера. На тот момент был создан RAID5. Скорость составляет ~80 Mbit/s. Почему?
Бит или байт? Если байт, то всё в порядке: 2*80 от теоретических 180.
Ладно. Объясню проще. Брался каталог общим весом 1882 Мб и писался с тома на том.
1. С тома на том в пределах одного массива (их было два, оба RAID5) переписалось за 185 секунд
2. С тома одного массива на том другого массива - за 170 секунд
3. С IDE-винта на том RAID5 - за 145 секунд.

Лично я от таких цифр пребываю в полном недоумении. :shock:
ВТБ! писал(а): SCSI-каналы не для подключения хостов, а для расширения системы.
Кстати, FC тоже должно быть 4...
Я вот никак не пойму, те которые сзади торчат - это для расширения. А те которые в Channel Configuration упоминаются, это как будто другие... Ибо, при загрузке Durastor показывает, что на 0-вом и 3-ем канале ничего нет, а на 1-ом и 2-ом по 6 дисков висят. Ну а у меня их как раз 12. И вот надо их настраивать или нет, ума не приложу.

И еще, в подсказке к Host Configuration написано Use to set front-end (i.e. host) channel configuration option. А в подсказке к Channel Configuration написано Use to set back-end (i.e. drive) channel configuration option. Вот что это значит?

FC сзади тоже четыре. Но поскольку у меня включен режим StandAlone Dual Port - задействуется только два порта. Один я отключил, поскольку хост пока один.

Но вообще, главный вопрос пока, как в этой штуке проверить включен ли кэш контроллера...

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 22 янв 2004, 18:22

Andrei Pronin писал(а):Брался каталог общим весом 1882 Мб и писался с тома на том.
1. С тома на том в пределах одного массива (их было два, оба RAID5) переписалось за 185 секунд
2. С тома одного массива на том другого массива - за 170 секунд
3. С IDE-винта на том RAID5 - за 145 секунд.
Неспешно. :cry:
На файлах большого размера испытать можно?

А конкретные вопросы по Адаптеку - документация есть? Или тех.поддержка в России какая?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 22 янв 2004, 18:57

Имхо (ничем не подтверждено кроме моего ощущения и приведенной Вами терминологии :)) там стоит контроллер Chaparral JFS224, который унифицирован с чисто сказевым JSS122.

Если так, то контроллер имеет ВСЕГО 4 канала, два из которых в данном случае файберные хостовые (там есть возможность переконфигурации каналов 1хост-3диск, 2хост-2диск, два канала могут быть файберными - это выбирается производителем при упаковке в конкретный тип корпуса). Так что упоминание про два "лишних" канала - просто дань унификации фирмвари и настраивать их не надо.

Два оставшихся канала - дисковые. Соответственно на них настраивается только channel configuration. Эти же каналы выведены наружу для дальнейшего расширения.

Скорость около 10МБ/с при копировании означает что суммарный поток 20МБ/с. Цифра невелика, но вполне разумна при перекачке каталога с большим количеством относительно мелких файлов. Попробуйте перегнать БОЛЬШОЙ файл. А лучше иометром посмотрите.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 22 янв 2004, 19:01

При ЛИНЕЙНЫХ операциях под иометром на аналогичной системе производства самого Chaparral/Xyratex RR1422 я получал устойчивую скорость как чтения так и записи 100МБ/с.

Andrei Pronin
Junior member
Сообщения: 19
Зарегистрирован: 20 янв 2004, 10:05
Откуда: Тула

Сообщение Andrei Pronin » 23 янв 2004, 09:10

Что есть "иометр", где его брать и откуда оно работает?
Если с воркстейшена, то я ничего им не увижу. Ибо крутится все это в тестовой сетке (хаб 10 Мбит, сервер и воркстейшн), и я упрусь в сеточные 10 МБит.

Пробовал писать один файл размером ~332 Мб. Скорости те же. С IDE-винтом порядка 13 МБайт/с, с RAID-ом - 10.

Есть какие-то идеи, почему скорость так мала?
Напомню, тестируется все это с консоли сервера Novell Netware 6.0 посредством файлового менеджера CC.NLM.

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 23 янв 2004, 09:35

gs писал(а):Если так, то контроллер имеет ВСЕГО 4 канала
Вероятно, не так:
Easily scales up to 48 drives with four, 2U storage enclosures
In a directed-attached storage environment, 4 Fibre Channel host ports are avaiable for connecting two dual-ported host servers
In a Storage Area Network (SAN) environment, 4 Fibre Channel host ports are available for connecting to one or more Fibre Channel switches
Там PII внутри?

Andrei Pronin
Junior member
Сообщения: 19
Зарегистрирован: 20 янв 2004, 10:05
Откуда: Тула

Сообщение Andrei Pronin » 23 янв 2004, 12:46

Все что знаю - там внутренний контроллер пока только один. Называется Adaptec 7200S

Fonar_t
Junior member
Сообщения: 2
Зарегистрирован: 23 янв 2004, 12:36

Сообщение Fonar_t » 23 янв 2004, 12:57

[quote="Andrei Pronin"]Итак, я снова с вами и со своими вопросами :)
Скорость составляет ~80 Mbit/s. Почему? Везде где только наткнулся выставлено на 160 MBit/s, Domain Validation отключен, диски все одинаковые - ULTRA160. Где камень?

U160, U320 отражает только теоретически возможную скорость передачи данных по каналу. В трафик канала входят также служебные обмены, повторная передача, ожидания и пр. Реально Вы никогда не сможете достичь скоростей 160 и 320 соответственно.

В Disk Array Administrator есть настройки Host Configuration и Channel Configuration. На заднице Durastor-а есть возможность подключить его через 4 SCSI-канала или по Fiber Channel.

Внешние контроллеры могут иметь ограничения в конфигурации портов. Как правило, часть портов жестко направляется на хост, часть также жестко привязана на устройства. Насколько я помню, Адаптек SCSI: 1 или 2 на хост, 2 или 3 - на HDD, Адаптек FC-SCSI: 2 FC на хост, 4 SCSI на HDD. Эти цифры есть и в мануале, и в рекламных описаниях. К примеру, Infortrend 4-канальный может любой порт конфигурить куда угодно.

Ответить

Вернуться в «Серверы - Конфигурирование»