Низкая скорость записи на 3WARE 9650

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

MVal
member
Сообщения: 32
Зарегистрирован: 17 авг 2006, 18:20

Низкая скорость записи на 3WARE 9650

Сообщение MVal » 14 фев 2007, 18:38

Странная ситуация: собрали сервер с 12 дисковым массивом на названном контроллере для совместной работы с массивом нескольких видеомонтажек. Выдает скорость на запись порядка 2Mб/с - меньше одного DV потока. При простом копировании файлов по сети легко держит 150-200Mб/с на запись и более 300 на чтение. От типа массива данная ситуация не зависит, пробовали RAID5, 6, и даже одиночный диск, подключенный к контроллеру на запись обеспечивает те же самые 2Mб/с. В то же время простой одиночный диск, подключенный к контроллеру на материнке нормально пишет одновременно несколько DV потоков по сети. Поставили на сервер монтажную программу (пока на время отладки - на виндах) - работает без проблем с массивом, меряли скорость спец. утилитой - практически как и при копировании обеспечивает те же 150 - 200Mб/с, т.е. проблема наблюдается только при работе по сети и только с данным контроллером. Пробовали разные сетевые карты - от встроенных - марвел и интел (на разных материнках - Интел 965 и Фоксконн на 975 чипсете), до 3Com.
С чтением проблем нет (во всяком случае при наших нагрузках - потоков до 15 - 20 DV монтажки нормально работают) Возможно потому, что у монтажек есть собственный не маленький кадровый буфер на воспроизведение, а на запись похоже - нет.

Ощущение такое, что при записи по сети отключается кэширование записи. Пробовали принудительно отключить кэширование - тогда утилита при записи непосредственно на сервере (не по сети) так же показывает низкую скорость записи (от 1 до 6Мб/с), но в данном случае она переменная и зависит от размера блока, а при работе по сети при любом размере блока скорость постоянная.

Наведите, где искать, плз!

MasterDVDselect
Advanced member
Сообщения: 431
Зарегистрирован: 26 янв 2006, 09:15
Откуда: Moscow

Re: Низкая скорость записи на 3WARE 9650

Сообщение MasterDVDselect » 15 фев 2007, 10:57

MVal писал(а): При простом копировании файлов по сети легко держит 150-200Mб/с на запись и более 300 на чтение.
Это как понимать ? М ( бит) или (байт) -
в первом случае слишком мало, во втором слишком много -
по гигабитной сетке больше 90M(байт) /s не протолкнуть.
Или у Вас транк ? Как собирали его и на каком оборудовании?

Попытайтесь сами осмысли, что написали.

Мое прочтение дало - если писать по сети файлы на массив- все нормально, а если указывать программе капчинга сетевой массив, то медленно ?

MVal
member
Сообщения: 32
Зарегистрирован: 17 авг 2006, 18:20

Сообщение MVal » 15 фев 2007, 11:56

Прочтение правильно дало, дополнение: если указать программе капчуринга одиночный диск на этом же сервере, подключенный к контроллеру материнки - то скорость в раз в 10 - 15 выше, чем у массива.
С попугаями (имелись в виду мегабайты) разбираюсь, действительно что - то много.
Да, если копировать по сети файлы на массив - писали в два потока, получалось около 60 Мб/с. В один поток - 30Мб/с - я так понимаю, что 30Мб/с на машину ограничивает флоуконтроль на свитче.
150 - 200 Мб/с - локально пишет - только что проверил.

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Сообщение Tert » 15 фев 2007, 14:45

MVal
Это известная проблема. Ждите новой версии драйверов для 3Ware.

MVal
member
Сообщения: 32
Зарегистрирован: 17 авг 2006, 18:20

Сообщение MVal » 15 фев 2007, 18:42

Спасибо!
Мы пока экспериментируем - интересный момент - если поставить например MetaSAN или MetaLAN, то массив начинает работать по сети как локальный - видимо эта программа принимает запросы из сети и локально обращается к массиву. Жаль, что прога дорогая и на каждую машину нужен клиент, и под линуксом она не работает. Может есть что попроще?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 15 фев 2007, 18:45

Это один из самый дешевых вариантов подобного рода софта. Даже больше скажу - самый дешевый.

Под линуксом есть IBM GPFS - порядка штуки баксофф из расчета на процессор. Есть еще бесплатный RedHat GFS - если любите работать напильником.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 15 фев 2007, 18:45

Правда это все для файьерных систем.

MasterDVDselect
Advanced member
Сообщения: 431
Зарегистрирован: 26 янв 2006, 09:15
Откуда: Moscow

Сообщение MasterDVDselect » 16 фев 2007, 09:05

MVal писал(а): Да, если копировать по сети файлы на массив - писали в два потока, получалось около 60 Мб/с. В один поток - 30Мб/с - я так понимаю, что 30Мб/с на машину ограничивает флоуконтроль на свитче.
Вот-вот со свичом и разбирайтесь !

Только что попробовал - суммарная скорость записи на массив
( RAID1, 3w9550) не зависит в один поток на него пишут,
в 2 или 3 (больше не пробовал) - и у меня до 67 MB/s.

MVal
member
Сообщения: 32
Зарегистрирован: 17 авг 2006, 18:20

Сообщение MVal » 18 фев 2007, 14:41

Со свитчем нечего разбираться - он ограничивает 30 МБ/с на машину, что нас вполне устраивает, а контроллер даже 3МБ/с при капчуринге не принимает. Напрямую без свитча - такая же картинка (с капчурингом). Повторюсь, с программами - прокладками все работает как надо. Под СуСекой работает получше, может быть нам и хватит, но все равно при тестировании выдает скорость ниже, чем под виндами с МетаЛАНом. В общем, действительно, похоже недоработанный фирмварь, будем ждать обновлений.
2gs: Спасибо!

Никита Полевой
Junior member
Сообщения: 9
Зарегистрирован: 21 дек 2006, 21:14
Откуда: Воронеж

Поставили новую прошивку 9.4.1 -- не помогло.

Сообщение Никита Полевой » 29 мар 2007, 00:33

У нас та же проблема с контроллером 3ware 9650SE на 8 винтов.

Поставили новую прошивку 9.4.1 -- не помогло.

Скорость чуть выросла,
но по-прежнему: при копировании даже крупных файлов по сети
реальная скорость записи на райд-массив не превышает 25 мегабайт в секунду. И это при шести винтах Seagate 250GB с NCQ в RAID5 !!!
Винты правда 7200 rpm, но у меня на рабочей станции такой винт один при записи от 35 до 45 MBps дает.

Смешно :((

Скорость локального чтения в два потока с этого массива -- около 160 MBps, в один поток -- 120 MBps.

Суммарную скорость при сетевом чтении в два-три потока не меряли пока -- только пару дней назад собрали сервер из запчастей.

Материнка Intel S3000AH, память 2х512МБ ECC,
процессор Pentium-D 2.8.
Windows 2003 server SP1.

Что посоветуют профессионалы?
Оно конечно понятно -- продукт новый и все такое,
но, если не ошибаюсь, продукту уже полгода как минимум :(

Буду очень признателен если кто чего посоветует.

Спасибо.

Никита Полевой
Junior member
Сообщения: 9
Зарегистрирован: 21 дек 2006, 21:14
Откуда: Воронеж

Вдогонку к предыдущему письму.

Сообщение Никита Полевой » 29 мар 2007, 00:53

Да, совсем забыл: при локальном копировании скорость записи 50-55 MBps -- и на том спасибо, как говорится; и очередь диска около 7.

А при копировании по сети, как я уже писАл -- максимум 25 MBps и очередь диска 21-22 все время пока большой файл качается.
Здесь "большой" -- это от двух гигабайт и более, в один поток.

Полная засада :(

При многопоточной сетевой записи суммарная скорость записи на RAID-массив все равно никак не вылезает за 25 мегабайт в секунду.

Занятость процессора не превышает 25% никогда,
памяти свободно от 200 до 700 МБ, кэш от 100 до 150 МБ
и не растет, хотя поставили верхнюю планку 500 МБ.

Queuing (или как правильно пишется) разрешен,
NCQ все винты поддерживают и у всех он Enabled,
перемычки с винтов сняли, все работают в SATA 3.

В свойствах контроллера производительность выставлена даже
не в Balance, а в Performance, Write Cache разрешен.

Мы в шоке -- вроде бы хороший контроллер, много винтов,
а по производительности массив совсем не намного отличается
от необсуждаемого здесь Promise с четырьмя IDE-винтами в RAID5.

Помогите пожалуйста кто чем может!

Спасибо за понимание!

MasterDVDselect
Advanced member
Сообщения: 431
Зарегистрирован: 26 янв 2006, 09:15
Откуда: Moscow

Сообщение MasterDVDselect » 29 мар 2007, 12:21

Никита Полевой
1. Полную инициализацию массива провели? ( на 6 дисках в 5-м рейде это часов 8. )
2. кеш WB или WT ?
3. (есть мнение что в Balance хуже Performance раза этак в 2)
4. Что за связка mobo-контроллер ?
  - по HCL проходит ?
  - или вставили его в PCE-слот, предназначенный для 2-й видеокарты
5. Скорость записи локально и по сети в пределах 100 мег/c отличаться
не должны. {т.е. если локально массив выдает 75MB/s на 2-х потоках
то и по сети он должен давать примерно столько} - ковыряйте сетевое
подключение.

У меня, например, Raid5 на 4-х рыбах дает 80MB/s на запись
по сети в 3 потока. Правда у меня 9550 и все HCL   :lol:

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 29 мар 2007, 12:48

Возможно это приколы взаимодействия дров сетевухи и контроллера. Возможно бага микрософта - честно говоря не знаю что посоветовать :(

Никита Полевой
Junior member
Сообщения: 9
Зарегистрирован: 21 дек 2006, 21:14
Откуда: Воронеж

Сообщение Никита Полевой » 29 мар 2007, 20:23

MasterDVDselect

1. Провели.

2. На этом контроллере между WB и WT выбрать нельзя.

3. Он и так в Performance.

4.1. Нет, по HCL проходит пока только S5000, а S3000 почему-то нет :((
может в этом и проблема?
4.2. Вставляли в разные слоты -- x4 и x8.
Одинаково :(

5. Да нам бы сначала добиться приличной локальной скорости записи,
а там уже можно и сетевое ковырять.
Сеть в транке (два гигабитных контроллера на маме),
на свитче все прописано, при чтении по крайней мере за сотку зашкаливает.

6. Повезло наверное :)

В общем, пока что разогнать его больше не получается :(

Может быть RAID10 попробовать?

Никита Полевой
Junior member
Сообщения: 9
Зарегистрирован: 21 дек 2006, 21:14
Откуда: Воронеж

Сообщение Никита Полевой » 29 мар 2007, 20:32

Судя вот по этой ссылке:

https://www.elnexus.com/products.aspx?l ... ode=invert

Эта мама (Intel S3000AH) с таким контроллером (3Ware 9650SE-8LPML) теоретически совместима
(там ребята предлагают добавить этот контроллер
в комплектацию сервера на базе Intel S3000AHV).

Так что будем копать дальше :)

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 28 гостей