Нужна помощь! Низкая скорость записи на RAID1 по сети.

[andysh]

Имеем свежеприобретенный сервер Fujitsu-Siemens PRIMERGY TX200.
Конфигурация:
2хCPU P4Xeon DP 2,67GHz
2GB ECC RAM 2100
LAN NetExteme 10/100/1000.
RAID Adaptec 2010S 32MB Cache
HDD 2х36Gb + 3x73Gb U320

Сервер пока воткнут в свитч 3com (3C17204) на 100Mbit.
Винты разложены так:
Первая корзина (один канал RAID):
36Gb #1
73Gb #2
Вторая корзина (второй канал RAID):
36Gb #3
73Gb #4
73Gb #5
Логически разложены так (RAID1 на аппаратном уровне):
#1 + #3 RAID1 под систему
#2 + #4 RAID1 под данные
#5 JBOD под данные
Вроде все подробно описал...

Теперь проблемы и вопросы:
1. При локальном копировании внутри сервера скорость записи на JBOD доходит до 50Mb/sec, на оба RAID - не более 10Mb/sec. Это нормально? Я вообще думал, что скорость записи на аппаратный RAID1 примерно равна скорости записи на отдельный диск в этом рэйде, тем более что диски на разных каналах. Я дурак или что-то надо донастроить?
2. Самое главное: при записи на диски по сети - скорость записи 700-800Kb/sec. Клиенты с 1С вешаются!!! При этом скорость чтения с этих же дисков по сети - как положено - 7-8Мб/сек. В чем беда?
3. Логично решив, что раз пишет медленно, надо включить кэширование на запись, стал его пробовать включить - через Adaptec Storage Manager включил WriteBack - ничего не изменилось, попытался включить кэширование в Windows - для JBOD включилось без проблем и скорость записи существенно выросла (до этого была также 10Mb/sec), а вот для RAID-массиовов (обоих) никак не включается эта галка! То есть поставить я ее могу, выбрасывается окно с предупреждением, что включение кэша на запись может привести к потере данных, нажимаю ок, снова ок в том окне где галка, все закрывается... Тут же заходим опять - галки нет! Что делать?

В общем вопрос: все работает как и должно работать или что-то можно сделать? Более всего беспокоит очень низкая скорость записи данных через сеть...

Заранее благодарен всем, кто чем-либо поможет.

[Sergey_J]

По первому пункту нормально, даже помоему хорошо для контроллера, такого как Adaptec 2010S.
По второму это наверное ошибка в Broadcom NetExtreme или мамке FSC, а не в Adaptec. Проверь скорость передачи данных по сети, (например AIDA, там есть Plug-in).
По третьему думаю, что спокойнее Write Back не включать.

[andysh]

По пунктам:
1. Поставим вопрос по-другому: пока еще машина совсем свежая, есть возможность побиться с поставщиком относительно изменения конфигурации. Что посоветуете поставить?
2. Тестировал сетку, правда не AIDA, а 3com-ской старой утилитой - пиковая скорость в любом направлении - 9,72-9,96Mb/sec, средняя - 7,67-8,44Mb/sec, скачет видимо оттого, что тестировал в рабочее время - юзеры бордят... Тест включает 2 подтеста: передача "пачкой" 200Mb информации по сети и отправка 150 "мелких файлов" в 5Кб с интервалом в 0,2сек. Причем такие скорости везде - между серверами, между сервером и клиентом, тормозит только на некоторых машинах, но там паршивые сетевухи ADMtek - думаю, что это уже они виноваты.
3. Ок! Щаз выключу, посмотрю что изменится, вообще Write Back встал "по дефолту".

И дополнительные пункты:
4. Вообще какая нормальная скорость записи для RAID1 на хорошем контроллере?
5. И все-таки - возможно ли как-либо включить кэширование записи для RAID1 массива? Поясню: данный сервер защищен упсами в 2 уровня: большой Matrix держит всю серверную, а данный сервер защищен еще и киловаттным APC. Даже в случае критического сбоя питания - он протянет существенно дольше всех остальных компов в сети и выключится корректно, ибо настроен вырубаться, когда внешнее питание пропадает автоматически. Операционка настроена правильно, за месяц была одна отключение-перезагрузка в штатном режиме при перестановке оборудования в серверной и 2 ребута после установки критических апдейтов - все в штатном режиме. Основной PDC у меня уже 9 месяцев никогда не выключается, перегружался раз 10 после установки апдейтов за это время + 1 выключение, когда свет выключили на сутки почти. Все в штатном режиме. Насколько я понимаю Write Back, да и вообще любое кэширование проблемы может принести только в случае критического выхода из системы. С учетом еженочных бэкапов и все вышесказанного - я считаю, что минимальный риск потерять данные максимум за сутки вполне оправдается повышением производительности.

PS. Сегодня специально провели эксперимент: сделали активное копирование одновременно с 4-х станций - скорость каждой станции составляла около 800Kb/sec и при "подключении к процессу" других станций примерно на секунду-полторы падала до 660-700, потом восстанавливалась до 800. То есть "в сумме" на карточку вливался поток в 3200. Может быть там балансинг какой хитрый на сетевухе???

[Sergey_J]

1. Насчет производительности Adaptec, бытует мнение, что нельзя мерять производительность дисковой подсистемы сервера путем проведения тестов на линейную скорость. Серверная дисковая подсистема должна обеспечивать наилучшие результаты операций ввода-вывода.
Для этого служит тест Iometer . Описание можешь найти на этом форуме, поищи по слову Iometer. Я бы протестировал дисковые подсистемы на Raid1 а потом Jbod и сравнил бы результаты.
2. На счет WriteBack прирост он дает небольшой, но при сбое питания можно потерять всю информацию на Raide. Его рекомендуется включать при наличии BBU(Battary Backup Unit) на контроллере. Конечно продуманная система резервного питания это великолепно, так что решать тебе.
3. Насчет сети (чипа Broadcom на мамке fsc) ходит слух о непонятном торможении, которое лечится вроде бы отключением сервера от локальной сети, перезагрузкой, и подключением сети на рабочем сервере. Попробуй. Еще скачай новые фирмваре, bios и тд. с сайта и прошей. Я понимаю, что сервер новый, но если появляются на сайте FSC новые апдейты обязательно заливай. Наконец никто не мешает поставить в сервер проверенную сетевую карточку, и проверить скорость на ней.

[andysh]

Поступило предложение, что если диски перетнуть на физическом уровне так:
Первая корзина (один канал RAID):
36Gb #1
36Gb #3
Вторая корзина (второй канал RAID):
73Gb #2
73Gb #4
73Gb #5
Логически же оставить как прежде (RAID1 на аппаратном уровне):
#1 + #3 RAID1 под систему
#2 + #4 RAID1 под данные
#5 JBOD под данные

То типа проблема решится. Кто что может сказать по этому поводу?

PS. Люди! Очень прошу - помогите дельным советом!!! Меня тут уже съедают потихоньку... Пока же все ответы свелись к тому, что "ну вот так оно работает"... Ну не должно оно так работать!!! Не верю я, что копьютер на 2-х P4 с винтами на 10000rpm и гигабитной по нутру (правда, подключенной на 100Mbit) сетевухой может писать со сокростью не более 0,8Mb/sec... Не верю!!! HELP!

PPS. Не понимаю - почему молчат сотрудники Trinity, когда реально нужна помощь и вопрос, по большому счету, для людей постоянно работающих с системами хранения - не должен быть сложным

[setar]

PPS. Не понимаю - почему молчат сотрудники Trinity, когда реально нужна помощь и вопрос, по большому счету, для людей постоянно работающих с системами хранения - не должен быть сложным

Пустой флейм разводить не в наших привычках, если не владеешь вопросом то лучше промолчать.

Ну нету у нас таких железок, даже попробовать не на чем.

А нюансов может быть море, начиная от особенностей прошивок, заканчивая элементарной несовместимостью железа.

[andysh]

Ок! Никакого флейма! Я задал вполне конкретные вопросы, на которые не получил вообще никакого ответа:
1. Какой считается "нормальная" скорость записи для аппаратных RAID1 на HDD U320 10000rpm?
2. Какие RAID-контроллеры Вы можете порекомендовать из Zero-channel с 2-мя каналами и из двухканальных (у меня 2 корзины, соотв нужно два канала)?
3. Есть ли какая-либо возможность активировать кэширование записи на RAID1 в Windows, подробнее в моем перовм посте (насколько я понимаю, здесь дело не в конкреной модели контроллера, хотя, возможно я и не прав)?
4. Будет ли улучшение, если на zero-channel RAID-контрллере HDD одного массива повесить на один канал?

to setar
Насколько я понимаю, ни один из этих вопросов не привязан к конкрентному железу, поэтому хотелось бы получить помощь.

PS. Прошу прощения за несколько резкий тон, но вообще, если форум ведет какая-либо компания, как-то принято реагировать на призывы о помощи, тем более, что большая часть моих вопросов не по конкретной модели RAID-контроллера, а по RAID "вообще". Извините уж сироту, но до приобретения сего сервака были только IDE/SATA/Soft RAID-ы у меня, знаний несколько не хватает. Мой первый пост - от 12.02., Ваш первый пост от 17.02. - 5 дней, однако...

[a_shats]

1. В кэш одна, на винты - другая - это целиком зависит от конкретных RAID-контроллера (точнее - его фирмваре) и винтов. И - характера нагрузки.
2. Из Zero Channel - никакие, мы вообще не рекомендуем их применять. Из двухканальных - LSI MegaRAID 320-2, 320-2X - при условии, что они есть в HCL (Hardware Compatibility List) для Вашего сервера.
3. Файловый кэш Windows - одно, кэш RAID-контроллера совершенно другое. Из Windows воздействовать на RAID-контроллер можно только утилитами вендора, более - ничем.
4. Не будет ни улучшения, ни - ухудшения.
Вы таких ответов хотели ?
И еще: уважаемый, Вы никогда не замечали, что сотрудники компаний, оказывающих техподдержку, чаще всего уверенно отвечают только по тем продуктам, с коими имеют дело ?
По RAID "вообще" единственный вопрос, на который можно дать однозначный ответ - описание стандартных уровней RAID. И - все.
Все остальное на 99% зависит от конкретной реализации RAID.
И последнее: "извините уж сироту" (с) Ваше, но у Fujitsu-Siemens и их представителей в России, вообще-то, тоже есть техсаппорт, и, наверное, вопросы, связанные с поддержкой их конкретных продуктов, было бы несколько уместнее задать туда, нет ?

[Dmitry]

to a_shats:
ну не надо быть таким резким

to andysh:

Логические диски лучше создавать таким образом чтобы использовать все врозможные каналы одновременно, в вашем случае это 2 набортовых канала к которым подключены 2 корзинки.

Скорость дисковой системы будет ограничена производительностью того самого Adaptec 2010S, который у вас есть в наличии. Но не скорость здесь главное - а отсутствие хорошего менеджмента у этого адаптека (LSI на порядок лучше).

О скорости можно судить только при наличии понятной нагрузки, например на случайная выборка, чтение, запись, линейный трансфер и разные варианты смешивания при разных вариантах рабочих блоков.

А вообще я бы рекомендовал отказаться от ZeroChannel решения в пользу контроллеров рекомендованных a_shats'ом. Выше скорость чем на этих контроллерах не получите (только если внешними RAID), а в управлении и мониторинге будете иметь много приемуществ.

[setar]

Опередили меня коллеги с ответом, единственное что уточню что ваши вопросы отнюдь не теоритические, а привязаны к конкретному железу.

Если интересно моё мнение как побороть ситуацию,
То необходимо отказываться от Z-channel контроллера и применять полноценный 2х канальный контроллер например LSI 320-2.

[Sergey_J]

А кто сказал, что в сервере TX 200 двухканальная корзина? Какие версии BIOS, firmware, Broadcom на данный момент прошиты? В какой PCI слот вставлен ZCRaid. А к сотрудникам Trinity вопрос: можете ли вы порекомендовать RAID-контроллер не LSI(Mylex)?

[andysh]

Корзина одноканальная в TX200! Но приобретена дополнительная корзина на 3 HDD (S26361-F2826-L1), которая подключена на отдельный канал. В итоге выходит две корзины на двух каналах.

По версиям FW:
BIOS Version: 4.06 rev. 1.06.1419
Date: 09/24/2003
UPI Ver: 4.16
BMC Firmware: 002.009B
Board WGS ID: 00.03
GS/Chassis ID: 0004.FFFF
CPU/Patch ID: F.2.9/0018
LAN Firmware: 01.02
Adaptec Firmware: FS13

Adaptec вставлен как положено - в 3-й слот. Насколько я понимаю - в любом другом он просто не будет работать (экспериментально не проверял )

[gs]

Насчет других контроллеров - мы рекомендуем LSI (как раньше майлекс), потому что хорошо их знаем и современные LSI практически беспроблемны. Ставим иногда Адаптек, но субьективно с ними больше геморроя бывало (но это имхо). Правда их используем только зеро-ченел - иногда люди хотят. Интелом практически не пользуемся, хотя современный SRCU42X - копия LSI 320-2X и по идее должен быть весьма приличным.

[gs]

Вообще описанная ситуация выглядит ненормально для любого, даже такого кастрированного контроллера. Не видя железку что-то осмысленное сказать невозможно - не ждите от нас чудес. Надо садиться за аппарат и долго плясать с бубном. Весьма вероятно, что при непосредственном контакте мы бы победили проблему, но не дистанционно...

[Sergey_J]

На сервере (внутри) скорость записи ~10 мб/с
по сети (только 1С?) скорость записи ~800 кб/с
Сеть тоже работает ~10 мб/с
Если кинуть с сетевого компьютера на RAID пачку файлов ~1GB вручную и посмотреть на windows счетчики производительности (disk write bytes/sec) то что покажет?