3ware 9550SX-8LP грузит систему

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

3ware 9550SX-8LP грузит систему

Сообщение Alexander B. » 29 окт 2007, 21:41

Добрый вечер.

Имею любительский (личный некоммерческий) сервер-файлопомойку. Core2Duo E6420, 1 гиг памяти, мать ASUS P5WDG2-WS Pro (i975X). До настоящего времени стоял Promise SuperTrak EX8350. Начитавшись "добрых" слов об этом производителе тут на форуме, его тормоза принимал как должное.

Но тут настало время очередного апгрейда и вторым контроллером купил уже "правильный" 3ware 9550SX-8LP. К нему подцепил 8 винтов Seagate Barracuda 7200.10 по 500 Gb в RAID-5. И с удивлением обнаружил, что этот массив тормозит систему ровно так же, как предыдущий (который тоже остался, но речь не о нем).

Примерно при 40+ одновременных FTP-сессий загрузка процессора скачет до 100% за счет ожидания операций ввода-вывода (iowait), при этом общая скорость чтения, достигающая даже в наиболее благоприятных условиях (30-35 сессий) не более 300-350 Мбит/с, только падает.

На сервере Debian Linux 4.0, ядро 2.6.18, дрова контроллера штатные из ядра. Ровно такая же картина была и с Promise-овским контроллером. Файлы преимущественно большие (500M - 2G).

Есть идеи, как на эту ситуацию повлиять? Или это нормально? Неужели даже недешевый контроллер от 3ware не может обслужить больше полусотни FTP-сессий?

MasterDVDselect
Advanced member
Сообщения: 431
Зарегистрирован: 26 янв 2006, 09:15
Откуда: Moscow

Сообщение MasterDVDselect » 29 окт 2007, 22:21

во- первых ройте драйвера как контроллера, так и сетевух ...

во-вторых 40+ одновременных сессий это больше нагрузка,на
шпиндели - т.е. сами диски - но это можно промоделировать io-метром.

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 29 окт 2007, 22:42

MasterDVDselect писал(а):во- первых ройте драйвера как контроллера, так и сетевух ...
Драйвера на контроллер из основной ветки ядра. Я думаю, если бы с ними были проблемы и надо было бы пересобирать какие-то другие, это было бы общеизвестно? На сетевуху драйвера как раз самосборные (в ядре почему-то застряла версия двухлетней давности), но что-то мне подсказывает, что не в ней дело... Копирование с массива на массив тоже не летает.
MasterDVDselect писал(а):во-вторых 40+ одновременных сессий это больше нагрузка,на
шпиндели - т.е. сами диски - но это можно промоделировать io-метром.
Это который http://www.iometer.org ? Попробую, напишу результаты.

Johanson
Advanced member
Сообщения: 63
Зарегистрирован: 05 апр 2007, 17:16
Откуда: Moscow

Re: 3ware 9550SX-8LP грузит систему

Сообщение Johanson » 29 окт 2007, 22:53

Alexander B. писал(а):300-350 Мбит/с
Быстрее, боюсь, не будет. Для 8 хардов на Тривари это, по моим наблюдениям, предел. Суппорт Тривари со мной соглашается, что должно быть быстрее - обещают что-то придумать, еще потестить. :gigi:

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Re: 3ware 9550SX-8LP грузит систему

Сообщение Alexander B. » 29 окт 2007, 22:59

Johanson писал(а):
Alexander B. писал(а):300-350 Мбит/с
Быстрее, боюсь, не будет. Для 8 хардов на Тривари это, по моим наблюдениям, предел. Суппорт Тривари со мной соглашается, что должно быть быстрее - обещают что-то придумать, еще потестить. :gigi:
Да ладно бы 300-350 Мбит/с, если бы они делились при этом на сотню сессий... Хотя и скорость я, конечно, ожидал побольше, чем на Promise.

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 00:52

Погонял iometer, ни черта не понял... поиск по форуму не сильно помог.

Как мне определить, какой access spefication годится для моего сервера? В зависимости от transfer request size результаты радикально разные, причем с маленькими значениями (4к-32к) - скорость нереально низкая (несколько Мбайт/с), а с большими (десятки мегабайт) - нереально высокая (до 350 Мбайт/с).
Сервер отдает по FTP в несколько десятков потоков большие (>500М) файлы.

И какие параметры. кроме скорости, помогут мне определить причину тормозов системы?

Аватара пользователя
Miron
Advanced member
Сообщения: 106
Зарегистрирован: 13 окт 2005, 01:09
Откуда: Харьков
Контактная информация:

Сообщение Miron » 30 окт 2007, 01:11

Господа, что то вы не то пишете "300-350 мбит/с" - может всё таки мбайт/с? 400мбайт/с - физический предел по чтению для 8 указанных дисков на этом контроллере, так что 350 мбайт/с  - честный показатель.
  Интересно мне понять куда вы столько отдаёте? онбордовая сетевуха на вашей маме больше 40 мбайт/с выдать в сетку не может (реально до 35, если у вас экранированый гигабит на 5е кабеле), даже если у вас несколько сетевых - все равно загрузка контроллера сетью до 350 мбайт/с - это из области фантастики. Ежеле всетаки 300-350 мбит/с - это показатель взятый с индикации фтп сервера - то все правильно - это максимальная пропускная способность вашей сетевой карты (имхо преувеличенно слегка).
 О разнице Промиса и Тривари: по чтению больших файлов на 8 шпинделях, что промис, что триварь покажут приблизительно одинаковые результаты (уперается в сами диски), разница в надежности хранения инфы, в возможностях восстановления.
Последний раз редактировалось Miron 30 окт 2007, 01:30, всего редактировалось 1 раз.

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 01:11

Описания проблем, очень похожих на мои, нашел тут - http://suseforums.net/index.php?showtopic=31915
Ни одного решения, увы.

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 01:14

Miron писал(а):Господа, что то вы не то пишете "300-350 мбит/с" - может всё таки мбайт/с? 400мбайт/с - физический предел по чтению для 8 указанных дисков на этом контроллере, так что 350 мбайт/с  - честный показатель, интересно мне понять куда вы столько отдаёте? онбордовая сетевуха на вашей маме больше 40 мбайт/с выдать в сетку не может (реально до 35, если у вас экранированый гигабит на 5е кабеле), даже если у вас несколько сетевых - все равно загрузка контроллера сетью до 350 мбайт/с - это из области фантастики. Ежеле всетаки 300-350 мбит/с - это показатель взятый с индикации фтп сервера - то все правильно - это максимальная пропускная способность вашей сетевой карты (имхо преувеличенно слегка), по чтению больших файлов на 8 шпинделях, что промис, что триварь покажут приблизительно одинаковые результаты (уперается в сами диски).
Именно Мбит/с. Но основная проблема не в этом, а в том, что одновременное чтение в 40 и более потоков загружает на 100% процессор.

Аватара пользователя
Miron
Advanced member
Сообщения: 106
Зарегистрирован: 13 окт 2005, 01:09
Откуда: Харьков
Контактная информация:

Сообщение Miron » 30 окт 2007, 01:39

Мне видится, что проблема ваша в вашем фтп - он собственно систему и грузит, контроллер к этому никакого отношения не имеет, как у вас организованы сетевые интерфейсы? сколько их, есть ли шифрование?
Есть ли линейная зависимость между кол-вом сессий и нагрузкой, или между объёмом передоваемых данных и нагрузкой? Что еще крутится на машине?
 Кроме того мамка вами используемая - не серверная - и сетевые интерфейсы (2шт) на ней установленные тоже, попробуйте поставить нормальный сетевой адаптер серверной серии - может полегчает.
 Вообщем ваша проблема не в дисковой подсистеме, вы это легко можете проверить подцепив на онбордовый ICH7R до четырех дисков в РЕЙД0 (исключительно для чистоты эксперемента, реально хватит и одного) и посмотреть на загрузку системы. Имхо изменений не будет, она также начнет затыкаться при более 30 пользователях ФТП.

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 07:21

Miron писал(а):Мне видится, что проблема ваша в вашем фтп - он собственно систему и грузит, контроллер к этому никакого отношения не имеет, как у вас организованы сетевые интерфейсы? сколько их, есть ли шифрование? Есть ли линейная зависимость между кол-вом сессий и нагрузкой, или между объёмом передоваемых данных и нагрузкой? Что еще крутится на машине?
Сетевой интерфейс физически один (одна встроенная сетевуха Marwell на шине PCI-E), пять VLAN-ов, которые разруливаются рядом стоящим свитчем 2 уровня, но основная нагрузка (процентов 90) идет по одному из них. Шифрования нет.
Нагрузка растет именно пропорционально сессиям, а не трафику, причем если до 35 все всегда ОК, то в интервале 35-45 сессий происходит резкий скачок.
Больше на машине ничего тяжелого (есть клиент DC, Samba, Apache, но их отключение картину не меняет, да и  нагрузка на них минимальная).
Miron писал(а):  Кроме того мамка вами используемая - не серверная - и сетевые интерфейсы (2шт) на ней установленные тоже, попробуйте поставить нормальный сетевой адаптер серверной серии - может полегчает.
 Вообщем ваша проблема не в дисковой подсистеме, вы это легко можете проверить подцепив на онбордовый ICH7R до четырех дисков в РЕЙД0 (исключительно для чистоты эксперемента, реально хватит и одного) и посмотреть на загрузку системы. Имхо изменений не будет, она также начнет затыкаться при более 30 пользователях ФТП.
За совет насчет сетевухи спасибо. Была где-то лишняя интеловская - попробую поменять. Если правда узкое место в этом - то устранить это просто и относительно дешево...

MasterDVDselect
Advanced member
Сообщения: 431
Зарегистрирован: 26 янв 2006, 09:15
Откуда: Moscow

Сообщение MasterDVDselect » 30 окт 2007, 09:30

Alexander B. писал(а): пять VLAN-ов
На компе эти пять VLAN разруливаются только процом,
чисто софтверно - на вашей сетевой карте ведь нет i960 или нечто подобного ? {ну нет - ибо такая сетевуха стоит как вся ваша mobo}.

В случае кривого драйвера, кривой реализации Vlan там такое может быть ...

Чтобы проверить сетевую пропускную способность есть
такая прога iperf ...

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 10:38

iperf показывает около 450 Мбит/с. Но это, естественно, для одного соединения. В любом случае, поменяю сетевуху на что-нибудь приличное и отпишусь о результатах после этого. Просто я как-то сразу думал на RAID, а не на нее.

Johanson
Advanced member
Сообщения: 63
Зарегистрирован: 05 апр 2007, 17:16
Откуда: Moscow

Сообщение Johanson » 30 окт 2007, 21:11

Упс. Я про мегабайты/сек имел в виду. Тогда тут проблема не в контроллере, как справедливо уже заметили. Хотя у Тривари были какие-то накладки с сетью - вроде пофиксили в последних прошивках/дровах.

Alexander B.
У Вас последние дрова/прошивки?

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Сообщение Alexander B. » 30 окт 2007, 22:20

Johanson писал(а):Alexander B.
У Вас последние дрова/прошивки?
Драйвера, как я уже писал, штатные из ядра 2.6.18 - версия модуля 2.26.02.007, на сайте 3ware последняя стабильная 2.26.02.008. Не думаю, что +1 в четвертой цифре стОит того, чтобы ради этого пересобирать ядро.


А вот firmware 3.04.00.005 при последней версии 3.08.02.007. Надо, пожалуй, перепрошить.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 33 гостя