Низкая скорость записи на 3WARE 9650
Модераторы: Trinity admin`s, Free-lance moderator`s
Низкая скорость записи на 3WARE 9650
Странная ситуация: собрали сервер с 12 дисковым массивом на названном контроллере для совместной работы с массивом нескольких видеомонтажек. Выдает скорость на запись порядка 2Mб/с - меньше одного DV потока. При простом копировании файлов по сети легко держит 150-200Mб/с на запись и более 300 на чтение. От типа массива данная ситуация не зависит, пробовали RAID5, 6, и даже одиночный диск, подключенный к контроллеру на запись обеспечивает те же самые 2Mб/с. В то же время простой одиночный диск, подключенный к контроллеру на материнке нормально пишет одновременно несколько DV потоков по сети. Поставили на сервер монтажную программу (пока на время отладки - на виндах) - работает без проблем с массивом, меряли скорость спец. утилитой - практически как и при копировании обеспечивает те же 150 - 200Mб/с, т.е. проблема наблюдается только при работе по сети и только с данным контроллером. Пробовали разные сетевые карты - от встроенных - марвел и интел (на разных материнках - Интел 965 и Фоксконн на 975 чипсете), до 3Com.
С чтением проблем нет (во всяком случае при наших нагрузках - потоков до 15 - 20 DV монтажки нормально работают) Возможно потому, что у монтажек есть собственный не маленький кадровый буфер на воспроизведение, а на запись похоже - нет.
Ощущение такое, что при записи по сети отключается кэширование записи. Пробовали принудительно отключить кэширование - тогда утилита при записи непосредственно на сервере (не по сети) так же показывает низкую скорость записи (от 1 до 6Мб/с), но в данном случае она переменная и зависит от размера блока, а при работе по сети при любом размере блока скорость постоянная.
Наведите, где искать, плз!
С чтением проблем нет (во всяком случае при наших нагрузках - потоков до 15 - 20 DV монтажки нормально работают) Возможно потому, что у монтажек есть собственный не маленький кадровый буфер на воспроизведение, а на запись похоже - нет.
Ощущение такое, что при записи по сети отключается кэширование записи. Пробовали принудительно отключить кэширование - тогда утилита при записи непосредственно на сервере (не по сети) так же показывает низкую скорость записи (от 1 до 6Мб/с), но в данном случае она переменная и зависит от размера блока, а при работе по сети при любом размере блока скорость постоянная.
Наведите, где искать, плз!
-
- Advanced member
- Сообщения: 431
- Зарегистрирован: 26 янв 2006, 09:15
- Откуда: Moscow
Re: Низкая скорость записи на 3WARE 9650
Это как понимать ? М ( бит) или (байт) -MVal писал(а): При простом копировании файлов по сети легко держит 150-200Mб/с на запись и более 300 на чтение.
в первом случае слишком мало, во втором слишком много -
по гигабитной сетке больше 90M(байт) /s не протолкнуть.
Или у Вас транк ? Как собирали его и на каком оборудовании?
Попытайтесь сами осмысли, что написали.
Мое прочтение дало - если писать по сети файлы на массив- все нормально, а если указывать программе капчинга сетевой массив, то медленно ?
Прочтение правильно дало, дополнение: если указать программе капчуринга одиночный диск на этом же сервере, подключенный к контроллеру материнки - то скорость в раз в 10 - 15 выше, чем у массива.
С попугаями (имелись в виду мегабайты) разбираюсь, действительно что - то много.
Да, если копировать по сети файлы на массив - писали в два потока, получалось около 60 Мб/с. В один поток - 30Мб/с - я так понимаю, что 30Мб/с на машину ограничивает флоуконтроль на свитче.
150 - 200 Мб/с - локально пишет - только что проверил.
С попугаями (имелись в виду мегабайты) разбираюсь, действительно что - то много.
Да, если копировать по сети файлы на массив - писали в два потока, получалось около 60 Мб/с. В один поток - 30Мб/с - я так понимаю, что 30Мб/с на машину ограничивает флоуконтроль на свитче.
150 - 200 Мб/с - локально пишет - только что проверил.
Спасибо!
Мы пока экспериментируем - интересный момент - если поставить например MetaSAN или MetaLAN, то массив начинает работать по сети как локальный - видимо эта программа принимает запросы из сети и локально обращается к массиву. Жаль, что прога дорогая и на каждую машину нужен клиент, и под линуксом она не работает. Может есть что попроще?
Мы пока экспериментируем - интересный момент - если поставить например MetaSAN или MetaLAN, то массив начинает работать по сети как локальный - видимо эта программа принимает запросы из сети и локально обращается к массиву. Жаль, что прога дорогая и на каждую машину нужен клиент, и под линуксом она не работает. Может есть что попроще?
-
- Advanced member
- Сообщения: 431
- Зарегистрирован: 26 янв 2006, 09:15
- Откуда: Moscow
Вот-вот со свичом и разбирайтесь !MVal писал(а): Да, если копировать по сети файлы на массив - писали в два потока, получалось около 60 Мб/с. В один поток - 30Мб/с - я так понимаю, что 30Мб/с на машину ограничивает флоуконтроль на свитче.
Только что попробовал - суммарная скорость записи на массив
( RAID1, 3w9550) не зависит в один поток на него пишут,
в 2 или 3 (больше не пробовал) - и у меня до 67 MB/s.
Со свитчем нечего разбираться - он ограничивает 30 МБ/с на машину, что нас вполне устраивает, а контроллер даже 3МБ/с при капчуринге не принимает. Напрямую без свитча - такая же картинка (с капчурингом). Повторюсь, с программами - прокладками все работает как надо. Под СуСекой работает получше, может быть нам и хватит, но все равно при тестировании выдает скорость ниже, чем под виндами с МетаЛАНом. В общем, действительно, похоже недоработанный фирмварь, будем ждать обновлений.
2gs: Спасибо!
2gs: Спасибо!
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 21 дек 2006, 21:14
- Откуда: Воронеж
Поставили новую прошивку 9.4.1 -- не помогло.
У нас та же проблема с контроллером 3ware 9650SE на 8 винтов.
Поставили новую прошивку 9.4.1 -- не помогло.
Скорость чуть выросла,
но по-прежнему: при копировании даже крупных файлов по сети
реальная скорость записи на райд-массив не превышает 25 мегабайт в секунду. И это при шести винтах Seagate 250GB с NCQ в RAID5 !!!
Винты правда 7200 rpm, но у меня на рабочей станции такой винт один при записи от 35 до 45 MBps дает.
Смешно (
Скорость локального чтения в два потока с этого массива -- около 160 MBps, в один поток -- 120 MBps.
Суммарную скорость при сетевом чтении в два-три потока не меряли пока -- только пару дней назад собрали сервер из запчастей.
Материнка Intel S3000AH, память 2х512МБ ECC,
процессор Pentium-D 2.8.
Windows 2003 server SP1.
Что посоветуют профессионалы?
Оно конечно понятно -- продукт новый и все такое,
но, если не ошибаюсь, продукту уже полгода как минимум
Буду очень признателен если кто чего посоветует.
Спасибо.
Поставили новую прошивку 9.4.1 -- не помогло.
Скорость чуть выросла,
но по-прежнему: при копировании даже крупных файлов по сети
реальная скорость записи на райд-массив не превышает 25 мегабайт в секунду. И это при шести винтах Seagate 250GB с NCQ в RAID5 !!!
Винты правда 7200 rpm, но у меня на рабочей станции такой винт один при записи от 35 до 45 MBps дает.
Смешно (
Скорость локального чтения в два потока с этого массива -- около 160 MBps, в один поток -- 120 MBps.
Суммарную скорость при сетевом чтении в два-три потока не меряли пока -- только пару дней назад собрали сервер из запчастей.
Материнка Intel S3000AH, память 2х512МБ ECC,
процессор Pentium-D 2.8.
Windows 2003 server SP1.
Что посоветуют профессионалы?
Оно конечно понятно -- продукт новый и все такое,
но, если не ошибаюсь, продукту уже полгода как минимум
Буду очень признателен если кто чего посоветует.
Спасибо.
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 21 дек 2006, 21:14
- Откуда: Воронеж
Вдогонку к предыдущему письму.
Да, совсем забыл: при локальном копировании скорость записи 50-55 MBps -- и на том спасибо, как говорится; и очередь диска около 7.
А при копировании по сети, как я уже писАл -- максимум 25 MBps и очередь диска 21-22 все время пока большой файл качается.
Здесь "большой" -- это от двух гигабайт и более, в один поток.
Полная засада
При многопоточной сетевой записи суммарная скорость записи на RAID-массив все равно никак не вылезает за 25 мегабайт в секунду.
Занятость процессора не превышает 25% никогда,
памяти свободно от 200 до 700 МБ, кэш от 100 до 150 МБ
и не растет, хотя поставили верхнюю планку 500 МБ.
Queuing (или как правильно пишется) разрешен,
NCQ все винты поддерживают и у всех он Enabled,
перемычки с винтов сняли, все работают в SATA 3.
В свойствах контроллера производительность выставлена даже
не в Balance, а в Performance, Write Cache разрешен.
Мы в шоке -- вроде бы хороший контроллер, много винтов,
а по производительности массив совсем не намного отличается
от необсуждаемого здесь Promise с четырьмя IDE-винтами в RAID5.
Помогите пожалуйста кто чем может!
Спасибо за понимание!
А при копировании по сети, как я уже писАл -- максимум 25 MBps и очередь диска 21-22 все время пока большой файл качается.
Здесь "большой" -- это от двух гигабайт и более, в один поток.
Полная засада
При многопоточной сетевой записи суммарная скорость записи на RAID-массив все равно никак не вылезает за 25 мегабайт в секунду.
Занятость процессора не превышает 25% никогда,
памяти свободно от 200 до 700 МБ, кэш от 100 до 150 МБ
и не растет, хотя поставили верхнюю планку 500 МБ.
Queuing (или как правильно пишется) разрешен,
NCQ все винты поддерживают и у всех он Enabled,
перемычки с винтов сняли, все работают в SATA 3.
В свойствах контроллера производительность выставлена даже
не в Balance, а в Performance, Write Cache разрешен.
Мы в шоке -- вроде бы хороший контроллер, много винтов,
а по производительности массив совсем не намного отличается
от необсуждаемого здесь Promise с четырьмя IDE-винтами в RAID5.
Помогите пожалуйста кто чем может!
Спасибо за понимание!
-
- Advanced member
- Сообщения: 431
- Зарегистрирован: 26 янв 2006, 09:15
- Откуда: Moscow
Никита Полевой
1. Полную инициализацию массива провели? ( на 6 дисках в 5-м рейде это часов 8. )
2. кеш WB или WT ?
3. (есть мнение что в Balance хуже Performance раза этак в 2)
4. Что за связка mobo-контроллер ?
- по HCL проходит ?
- или вставили его в PCE-слот, предназначенный для 2-й видеокарты
5. Скорость записи локально и по сети в пределах 100 мег/c отличаться
не должны. {т.е. если локально массив выдает 75MB/s на 2-х потоках
то и по сети он должен давать примерно столько} - ковыряйте сетевое
подключение.
У меня, например, Raid5 на 4-х рыбах дает 80MB/s на запись
по сети в 3 потока. Правда у меня 9550 и все HCL
1. Полную инициализацию массива провели? ( на 6 дисках в 5-м рейде это часов 8. )
2. кеш WB или WT ?
3. (есть мнение что в Balance хуже Performance раза этак в 2)
4. Что за связка mobo-контроллер ?
- по HCL проходит ?
- или вставили его в PCE-слот, предназначенный для 2-й видеокарты
5. Скорость записи локально и по сети в пределах 100 мег/c отличаться
не должны. {т.е. если локально массив выдает 75MB/s на 2-х потоках
то и по сети он должен давать примерно столько} - ковыряйте сетевое
подключение.
У меня, например, Raid5 на 4-х рыбах дает 80MB/s на запись
по сети в 3 потока. Правда у меня 9550 и все HCL
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 21 дек 2006, 21:14
- Откуда: Воронеж
MasterDVDselect
1. Провели.
2. На этом контроллере между WB и WT выбрать нельзя.
3. Он и так в Performance.
4.1. Нет, по HCL проходит пока только S5000, а S3000 почему-то нет (
может в этом и проблема?
4.2. Вставляли в разные слоты -- x4 и x8.
Одинаково
5. Да нам бы сначала добиться приличной локальной скорости записи,
а там уже можно и сетевое ковырять.
Сеть в транке (два гигабитных контроллера на маме),
на свитче все прописано, при чтении по крайней мере за сотку зашкаливает.
6. Повезло наверное
В общем, пока что разогнать его больше не получается
Может быть RAID10 попробовать?
1. Провели.
2. На этом контроллере между WB и WT выбрать нельзя.
3. Он и так в Performance.
4.1. Нет, по HCL проходит пока только S5000, а S3000 почему-то нет (
может в этом и проблема?
4.2. Вставляли в разные слоты -- x4 и x8.
Одинаково
5. Да нам бы сначала добиться приличной локальной скорости записи,
а там уже можно и сетевое ковырять.
Сеть в транке (два гигабитных контроллера на маме),
на свитче все прописано, при чтении по крайней мере за сотку зашкаливает.
6. Повезло наверное
В общем, пока что разогнать его больше не получается
Может быть RAID10 попробовать?
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 21 дек 2006, 21:14
- Откуда: Воронеж
Судя вот по этой ссылке:
https://www.elnexus.com/products.aspx?l ... ode=invert
Эта мама (Intel S3000AH) с таким контроллером (3Ware 9650SE-8LPML) теоретически совместима
(там ребята предлагают добавить этот контроллер
в комплектацию сервера на базе Intel S3000AHV).
Так что будем копать дальше
https://www.elnexus.com/products.aspx?l ... ode=invert
Эта мама (Intel S3000AH) с таким контроллером (3Ware 9650SE-8LPML) теоретически совместима
(там ребята предлагают добавить этот контроллер
в комплектацию сервера на базе Intel S3000AHV).
Так что будем копать дальше
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 28 гостей