3ware 9550SX-8LP грузит систему
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
3ware 9550SX-8LP грузит систему
Добрый вечер.
Имею любительский (личный некоммерческий) сервер-файлопомойку. Core2Duo E6420, 1 гиг памяти, мать ASUS P5WDG2-WS Pro (i975X). До настоящего времени стоял Promise SuperTrak EX8350. Начитавшись "добрых" слов об этом производителе тут на форуме, его тормоза принимал как должное.
Но тут настало время очередного апгрейда и вторым контроллером купил уже "правильный" 3ware 9550SX-8LP. К нему подцепил 8 винтов Seagate Barracuda 7200.10 по 500 Gb в RAID-5. И с удивлением обнаружил, что этот массив тормозит систему ровно так же, как предыдущий (который тоже остался, но речь не о нем).
Примерно при 40+ одновременных FTP-сессий загрузка процессора скачет до 100% за счет ожидания операций ввода-вывода (iowait), при этом общая скорость чтения, достигающая даже в наиболее благоприятных условиях (30-35 сессий) не более 300-350 Мбит/с, только падает.
На сервере Debian Linux 4.0, ядро 2.6.18, дрова контроллера штатные из ядра. Ровно такая же картина была и с Promise-овским контроллером. Файлы преимущественно большие (500M - 2G).
Есть идеи, как на эту ситуацию повлиять? Или это нормально? Неужели даже недешевый контроллер от 3ware не может обслужить больше полусотни FTP-сессий?
Имею любительский (личный некоммерческий) сервер-файлопомойку. Core2Duo E6420, 1 гиг памяти, мать ASUS P5WDG2-WS Pro (i975X). До настоящего времени стоял Promise SuperTrak EX8350. Начитавшись "добрых" слов об этом производителе тут на форуме, его тормоза принимал как должное.
Но тут настало время очередного апгрейда и вторым контроллером купил уже "правильный" 3ware 9550SX-8LP. К нему подцепил 8 винтов Seagate Barracuda 7200.10 по 500 Gb в RAID-5. И с удивлением обнаружил, что этот массив тормозит систему ровно так же, как предыдущий (который тоже остался, но речь не о нем).
Примерно при 40+ одновременных FTP-сессий загрузка процессора скачет до 100% за счет ожидания операций ввода-вывода (iowait), при этом общая скорость чтения, достигающая даже в наиболее благоприятных условиях (30-35 сессий) не более 300-350 Мбит/с, только падает.
На сервере Debian Linux 4.0, ядро 2.6.18, дрова контроллера штатные из ядра. Ровно такая же картина была и с Promise-овским контроллером. Файлы преимущественно большие (500M - 2G).
Есть идеи, как на эту ситуацию повлиять? Или это нормально? Неужели даже недешевый контроллер от 3ware не может обслужить больше полусотни FTP-сессий?
-
- Advanced member
- Сообщения: 431
- Зарегистрирован: 26 янв 2006, 09:15
- Откуда: Moscow
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Драйвера на контроллер из основной ветки ядра. Я думаю, если бы с ними были проблемы и надо было бы пересобирать какие-то другие, это было бы общеизвестно? На сетевуху драйвера как раз самосборные (в ядре почему-то застряла версия двухлетней давности), но что-то мне подсказывает, что не в ней дело... Копирование с массива на массив тоже не летает.MasterDVDselect писал(а):во- первых ройте драйвера как контроллера, так и сетевух ...
Это который http://www.iometer.org ? Попробую, напишу результаты.MasterDVDselect писал(а):во-вторых 40+ одновременных сессий это больше нагрузка,на
шпиндели - т.е. сами диски - но это можно промоделировать io-метром.
Re: 3ware 9550SX-8LP грузит систему
Быстрее, боюсь, не будет. Для 8 хардов на Тривари это, по моим наблюдениям, предел. Суппорт Тривари со мной соглашается, что должно быть быстрее - обещают что-то придумать, еще потестить.Alexander B. писал(а):300-350 Мбит/с
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Re: 3ware 9550SX-8LP грузит систему
Да ладно бы 300-350 Мбит/с, если бы они делились при этом на сотню сессий... Хотя и скорость я, конечно, ожидал побольше, чем на Promise.Johanson писал(а):Быстрее, боюсь, не будет. Для 8 хардов на Тривари это, по моим наблюдениям, предел. Суппорт Тривари со мной соглашается, что должно быть быстрее - обещают что-то придумать, еще потестить.Alexander B. писал(а):300-350 Мбит/с
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Погонял iometer, ни черта не понял... поиск по форуму не сильно помог.
Как мне определить, какой access spefication годится для моего сервера? В зависимости от transfer request size результаты радикально разные, причем с маленькими значениями (4к-32к) - скорость нереально низкая (несколько Мбайт/с), а с большими (десятки мегабайт) - нереально высокая (до 350 Мбайт/с).
Сервер отдает по FTP в несколько десятков потоков большие (>500М) файлы.
И какие параметры. кроме скорости, помогут мне определить причину тормозов системы?
Как мне определить, какой access spefication годится для моего сервера? В зависимости от transfer request size результаты радикально разные, причем с маленькими значениями (4к-32к) - скорость нереально низкая (несколько Мбайт/с), а с большими (десятки мегабайт) - нереально высокая (до 350 Мбайт/с).
Сервер отдает по FTP в несколько десятков потоков большие (>500М) файлы.
И какие параметры. кроме скорости, помогут мне определить причину тормозов системы?
- Miron
- Advanced member
- Сообщения: 106
- Зарегистрирован: 13 окт 2005, 01:09
- Откуда: Харьков
- Контактная информация:
Господа, что то вы не то пишете "300-350 мбит/с" - может всё таки мбайт/с? 400мбайт/с - физический предел по чтению для 8 указанных дисков на этом контроллере, так что 350 мбайт/с - честный показатель.
Интересно мне понять куда вы столько отдаёте? онбордовая сетевуха на вашей маме больше 40 мбайт/с выдать в сетку не может (реально до 35, если у вас экранированый гигабит на 5е кабеле), даже если у вас несколько сетевых - все равно загрузка контроллера сетью до 350 мбайт/с - это из области фантастики. Ежеле всетаки 300-350 мбит/с - это показатель взятый с индикации фтп сервера - то все правильно - это максимальная пропускная способность вашей сетевой карты (имхо преувеличенно слегка).
О разнице Промиса и Тривари: по чтению больших файлов на 8 шпинделях, что промис, что триварь покажут приблизительно одинаковые результаты (уперается в сами диски), разница в надежности хранения инфы, в возможностях восстановления.
Интересно мне понять куда вы столько отдаёте? онбордовая сетевуха на вашей маме больше 40 мбайт/с выдать в сетку не может (реально до 35, если у вас экранированый гигабит на 5е кабеле), даже если у вас несколько сетевых - все равно загрузка контроллера сетью до 350 мбайт/с - это из области фантастики. Ежеле всетаки 300-350 мбит/с - это показатель взятый с индикации фтп сервера - то все правильно - это максимальная пропускная способность вашей сетевой карты (имхо преувеличенно слегка).
О разнице Промиса и Тривари: по чтению больших файлов на 8 шпинделях, что промис, что триварь покажут приблизительно одинаковые результаты (уперается в сами диски), разница в надежности хранения инфы, в возможностях восстановления.
Последний раз редактировалось Miron 30 окт 2007, 01:30, всего редактировалось 1 раз.
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Описания проблем, очень похожих на мои, нашел тут - http://suseforums.net/index.php?showtopic=31915
Ни одного решения, увы.
Ни одного решения, увы.
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Именно Мбит/с. Но основная проблема не в этом, а в том, что одновременное чтение в 40 и более потоков загружает на 100% процессор.Miron писал(а):Господа, что то вы не то пишете "300-350 мбит/с" - может всё таки мбайт/с? 400мбайт/с - физический предел по чтению для 8 указанных дисков на этом контроллере, так что 350 мбайт/с - честный показатель, интересно мне понять куда вы столько отдаёте? онбордовая сетевуха на вашей маме больше 40 мбайт/с выдать в сетку не может (реально до 35, если у вас экранированый гигабит на 5е кабеле), даже если у вас несколько сетевых - все равно загрузка контроллера сетью до 350 мбайт/с - это из области фантастики. Ежеле всетаки 300-350 мбит/с - это показатель взятый с индикации фтп сервера - то все правильно - это максимальная пропускная способность вашей сетевой карты (имхо преувеличенно слегка), по чтению больших файлов на 8 шпинделях, что промис, что триварь покажут приблизительно одинаковые результаты (уперается в сами диски).
- Miron
- Advanced member
- Сообщения: 106
- Зарегистрирован: 13 окт 2005, 01:09
- Откуда: Харьков
- Контактная информация:
Мне видится, что проблема ваша в вашем фтп - он собственно систему и грузит, контроллер к этому никакого отношения не имеет, как у вас организованы сетевые интерфейсы? сколько их, есть ли шифрование?
Есть ли линейная зависимость между кол-вом сессий и нагрузкой, или между объёмом передоваемых данных и нагрузкой? Что еще крутится на машине?
Кроме того мамка вами используемая - не серверная - и сетевые интерфейсы (2шт) на ней установленные тоже, попробуйте поставить нормальный сетевой адаптер серверной серии - может полегчает.
Вообщем ваша проблема не в дисковой подсистеме, вы это легко можете проверить подцепив на онбордовый ICH7R до четырех дисков в РЕЙД0 (исключительно для чистоты эксперемента, реально хватит и одного) и посмотреть на загрузку системы. Имхо изменений не будет, она также начнет затыкаться при более 30 пользователях ФТП.
Есть ли линейная зависимость между кол-вом сессий и нагрузкой, или между объёмом передоваемых данных и нагрузкой? Что еще крутится на машине?
Кроме того мамка вами используемая - не серверная - и сетевые интерфейсы (2шт) на ней установленные тоже, попробуйте поставить нормальный сетевой адаптер серверной серии - может полегчает.
Вообщем ваша проблема не в дисковой подсистеме, вы это легко можете проверить подцепив на онбордовый ICH7R до четырех дисков в РЕЙД0 (исключительно для чистоты эксперемента, реально хватит и одного) и посмотреть на загрузку системы. Имхо изменений не будет, она также начнет затыкаться при более 30 пользователях ФТП.
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Сетевой интерфейс физически один (одна встроенная сетевуха Marwell на шине PCI-E), пять VLAN-ов, которые разруливаются рядом стоящим свитчем 2 уровня, но основная нагрузка (процентов 90) идет по одному из них. Шифрования нет.Miron писал(а):Мне видится, что проблема ваша в вашем фтп - он собственно систему и грузит, контроллер к этому никакого отношения не имеет, как у вас организованы сетевые интерфейсы? сколько их, есть ли шифрование? Есть ли линейная зависимость между кол-вом сессий и нагрузкой, или между объёмом передоваемых данных и нагрузкой? Что еще крутится на машине?
Нагрузка растет именно пропорционально сессиям, а не трафику, причем если до 35 все всегда ОК, то в интервале 35-45 сессий происходит резкий скачок.
Больше на машине ничего тяжелого (есть клиент DC, Samba, Apache, но их отключение картину не меняет, да и нагрузка на них минимальная).
За совет насчет сетевухи спасибо. Была где-то лишняя интеловская - попробую поменять. Если правда узкое место в этом - то устранить это просто и относительно дешево...Miron писал(а): Кроме того мамка вами используемая - не серверная - и сетевые интерфейсы (2шт) на ней установленные тоже, попробуйте поставить нормальный сетевой адаптер серверной серии - может полегчает.
Вообщем ваша проблема не в дисковой подсистеме, вы это легко можете проверить подцепив на онбордовый ICH7R до четырех дисков в РЕЙД0 (исключительно для чистоты эксперемента, реально хватит и одного) и посмотреть на загрузку системы. Имхо изменений не будет, она также начнет затыкаться при более 30 пользователях ФТП.
-
- Advanced member
- Сообщения: 431
- Зарегистрирован: 26 янв 2006, 09:15
- Откуда: Moscow
На компе эти пять VLAN разруливаются только процом,Alexander B. писал(а): пять VLAN-ов
чисто софтверно - на вашей сетевой карте ведь нет i960 или нечто подобного ? {ну нет - ибо такая сетевуха стоит как вся ваша mobo}.
В случае кривого драйвера, кривой реализации Vlan там такое может быть ...
Чтобы проверить сетевую пропускную способность есть
такая прога iperf ...
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
-
- Power member
- Сообщения: 35
- Зарегистрирован: 29 окт 2007, 21:21
- Откуда: Ростов-на-Дону
Драйвера, как я уже писал, штатные из ядра 2.6.18 - версия модуля 2.26.02.007, на сайте 3ware последняя стабильная 2.26.02.008. Не думаю, что +1 в четвертой цифре стОит того, чтобы ради этого пересобирать ядро.Johanson писал(а):Alexander B.
У Вас последние дрова/прошивки?
А вот firmware 3.04.00.005 при последней версии 3.08.02.007. Надо, пожалуй, перепрошить.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 33 гостя