Низкая скорость отдачи по сети
Модераторы: Trinity admin`s, Free-lance moderator`s
Низкая скорость отдачи по сети
Добрый день.
Нужны советы куда копать в следующей ситуации.
Есть пара серверов.
На обоих Debian Lenny, 2.6.26-2-amd64.
На отдачу работает lighttpd, настройки и софт для обоих серверов одинаковые.
Сервер 1:
MB: Intel® Server Board S3200SH
CPU: Intel C2Q Q9400
RAM: 8 Gb DDR-2 800 MHz
RAID: Adaptec 52445
Системный диск:
2 HDD
Logical device number 0
Logical device name : Volume0
RAID level : 1
Status of logical device : Optimal
Size : 140090 MB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Данные:
22 HDD
Logical device number 1
Logical device name : DATA
RAID level : 5
Status of logical device : Optimal
Size : 20020214 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Сервер 2:
MB: SM X8ST3
CPU: Intel Xeon E5506
RAM: 8 Gb DDR-3 1333 MHz
RAID: Adaptec 5805
Один RAID-50, 24 HDD
Системный LUN:
Logical device number 0
Logical device name : a1
RAID level : 50
Status of logical device : Optimal
Size : 1048554 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Данные LUN:
Logical device number 1
Logical device name : a2
RAID level : 50
Status of logical device : Optimal
Size : 19924972 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Суть проблемы:
Оба сервера активно отдают большие объемы данных большому количеству пользователей. 3000-4000 одновременных подключений - норма.
На каждом 4 Гбитных линка.
Суть в том, что в пиковые часы максимальная отдача сервера 1 превышает 2 на 10-30%, что существенно.
Сервер 1 отдает в пиковые часы 263/311 (срдн/макс) мбайт/с
Сервер 2 отдает в пиковые часы 216/236 (срдн/макс) мбайт/с
Собсно вот и думаю куда копать. При том, что сервер 2 новый
Больше всего конечно напрягает высокий IOwait на сервере 2. Не знаю с чем
его связать. Толи с 50-ым рэйдом с лунам против зеркала+пятерка, то ли
какой-то сбойный узел.
По запросу - предоставлю любые данные диагностических утилит, чтобы изначально не перегружать пост.
Заранее спасибо.
Нужны советы куда копать в следующей ситуации.
Есть пара серверов.
На обоих Debian Lenny, 2.6.26-2-amd64.
На отдачу работает lighttpd, настройки и софт для обоих серверов одинаковые.
Сервер 1:
MB: Intel® Server Board S3200SH
CPU: Intel C2Q Q9400
RAM: 8 Gb DDR-2 800 MHz
RAID: Adaptec 52445
Системный диск:
2 HDD
Logical device number 0
Logical device name : Volume0
RAID level : 1
Status of logical device : Optimal
Size : 140090 MB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Данные:
22 HDD
Logical device number 1
Logical device name : DATA
RAID level : 5
Status of logical device : Optimal
Size : 20020214 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Сервер 2:
MB: SM X8ST3
CPU: Intel Xeon E5506
RAM: 8 Gb DDR-3 1333 MHz
RAID: Adaptec 5805
Один RAID-50, 24 HDD
Системный LUN:
Logical device number 0
Logical device name : a1
RAID level : 50
Status of logical device : Optimal
Size : 1048554 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Данные LUN:
Logical device number 1
Logical device name : a2
RAID level : 50
Status of logical device : Optimal
Size : 19924972 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Суть проблемы:
Оба сервера активно отдают большие объемы данных большому количеству пользователей. 3000-4000 одновременных подключений - норма.
На каждом 4 Гбитных линка.
Суть в том, что в пиковые часы максимальная отдача сервера 1 превышает 2 на 10-30%, что существенно.
Сервер 1 отдает в пиковые часы 263/311 (срдн/макс) мбайт/с
Сервер 2 отдает в пиковые часы 216/236 (срдн/макс) мбайт/с
Собсно вот и думаю куда копать. При том, что сервер 2 новый
Больше всего конечно напрягает высокий IOwait на сервере 2. Не знаю с чем
его связать. Толи с 50-ым рэйдом с лунам против зеркала+пятерка, то ли
какой-то сбойный узел.
По запросу - предоставлю любые данные диагностических утилит, чтобы изначально не перегружать пост.
Заранее спасибо.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость отдачи по сети
Конфигурацию контроллера второго выложите.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая скорость отдачи по сети
exLH писал(а):Конфигурацию контроллера второго выложите.
Код: Выделить всё
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
Controller Status : Optimal
Channel description : SAS/SATA
Controller Model : Adaptec 5805
Physical Slot : 5
Temperature : 70 C/ 158 F (Normal)
Installed memory : 512 MB
Copyback : Disabled
Background consistency check : Enabled
Automatic Failover : Enabled
Global task priority : High
Performance Mode : Default/Dynamic
Stayawake period : Disabled
Spinup limit internal drives : 0
Spinup limit external drives : 0
Defunct disk drive count : 0
Logical devices/Failed/Degraded : 2/0/0
SSDs assigned to MaxIQ Cache pool : 0
Maximum SSDs allowed in MaxIQ Cache pool : 8
NCQ status : Enabled
--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (17899)
Firmware : 5.2-0 (17899)
Driver : 1.1-5 (2461)
Boot Flash : 5.2-0 (17899)
--------------------------------------------------------
Controller Battery Information
--------------------------------------------------------
Status : Optimal
Over temperature : No
Capacity remaining : 99 percent
Time remaining (at current draw) : 1 days, 19 hours, 55 minutes
Re: Низкая скорость отдачи по сети
А запись идет на диски? Если идет, то вероятно поэтому RAID-50 сливает RAID-1. У него дисковых операций больше.
Re: Низкая скорость отдачи по сети
Запись идет, но ее объем по сравнению с отдача минимальна. И не РЭЙД-1, а РЭЙД-5 я сравниваю с 50-кой. Какой адекватный тест запись/чтения посоветуете попробовать? Прогоню под нагрузкой и без.and3008 писал(а):А запись идет на диски? Если идет, то вероятно поэтому RAID-50 сливает RAID-1. У него дисковых операций больше.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость отдачи по сети
Нет. Не это.reed писал(а):Это?
Выложите всю конфигурацию контроллера.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая скорость отдачи по сети
Можно уточнить какую именно конфигурацию? Лучше команду. Я так понял из arcconf.exLH писал(а):Нет. Не это.reed писал(а):Это?
Выложите всю конфигурацию контроллера.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость отдачи по сети
Из суппорт-архива.reed писал(а):Можно уточнить какую именно конфигурацию
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая скорость отдачи по сети
Очень точное уточнение, спасибо Гуглу. Я и так оттуда пришел.exLH писал(а):Из суппорт-архива.reed писал(а):Можно уточнить какую именно конфигурацию
- Вложения
-
- Support.zip
- (1.11 МБ) 378 скачиваний
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость отдачи по сети
Это какой-то неправильный support-архив.reed писал(а):Очень точное уточнение
Что у вас за система и что за драйверы?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая скорость отдачи по сети
Может я не так его сделал, напишите точную команду, я использовалexLH писал(а):Это какой-то неправильный support-архив.reed писал(а):Очень точное уточнение
Что у вас за система и что за драйверы?
#arcconf SAVESUPPORTARCHIVE
Потом взял
:/var/log/Support/ # ll
total 5644K
-rw-r--r-- 1 root 601574 2010-10-22 11:15 arcconfig.xml
-rw-r--r-- 1 root 856 2010-10-22 11:11 arcerror.txt
-rw-r--r-- 1 root 1801 2010-10-22 11:10 Controller 1 Deaddrives.txt
-rw-r--r-- 1 root 1364 2010-10-22 11:10 Controller 1 Device_log.txt
-rw-r--r-- 1 root 5148 2010-10-22 11:10 Controller 1 Event_log.txt
-rw-r--r-- 1 root 4767609 2010-10-22 11:10 Controller 1 Logs.txt
-rw-r--r-- 1 root 305 2010-10-22 11:11 Controller 1 Monitor_log.txt
-rw-r--r-- 1 root 43570 2010-10-22 11:11 Controller 1 SmartStats.xml
-rw-r--r-- 1 root 41789 2010-10-22 11:11 Controller 1 Stats.txt
-rw-r--r-- 1 root 1618 2010-10-22 11:11 RaidAgnt.pps
-rw-r--r-- 1 root 190 2010-10-22 11:11 RaidErrA.log
-rw-r--r-- 1 root 0 2010-10-22 11:11 RaidErr.log
-rw-r--r-- 1 root 138529 2010-10-22 11:11 RaidEvtA.log
-rw-r--r-- 1 root 207 2010-10-22 11:11 UcliErr.log
-rw-r--r-- 1 root 140894 2010-10-22 11:11 UcliEvt.log
все эти файлы, зазиповал и выложил сюда.
Система Debian Lenny 2.6.26-2-amd64
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (17899)
Firmware : 5.2-0 (17899)
Driver : 1.1-5 (2461)
Boot Flash : 5.2-0 (17899)
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость отдачи по сети
Вызывает вопросы и подозрения.reed писал(а):Driver : 1.1-5 (2461)
А машины с графическим интерфейсом совсем нет ни одной? Чтобы вот запустить ASM и сказать Save support archive там. Чтобы там был файл "Controller 1 Config.txt"
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая скорость отдачи по сети
К сожалению нет. Более того, физический доступ к серверам только через инженеров ЦОДа где они стоят, из-за сильной географической удаленности.exLH писал(а):Вызывает вопросы и подозрения.reed писал(а):Driver : 1.1-5 (2461)
А машины с графическим интерфейсом совсем нет ни одной? Чтобы вот запустить ASM и сказать Save support archive там. Чтобы там был файл "Controller 1 Config.txt"
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Низкая скорость отдачи по сети
"reed"
Можно пробросить порт для ASM наружу и прицепиться к нему из дома с любой станции.
Можно пробросить порт для ASM наружу и прицепиться к нему из дома с любой станции.
Re: Низкая скорость отдачи по сети
я бы последил за работой дисковой подсистемы
сначала линейная скорость записи и чтения на обоих серверах
dd if=/dev/zero of=/datapool/testfile bs=1M count=4096
dd if=/datapool/testfile of=/dev/null bs=1M count=4096
затем при пиковой нагрузке глазами понаблюдал за статистикой iostat -x 5
сначала линейная скорость записи и чтения на обоих серверах
dd if=/dev/zero of=/datapool/testfile bs=1M count=4096
dd if=/datapool/testfile of=/dev/null bs=1M count=4096
затем при пиковой нагрузке глазами понаблюдал за статистикой iostat -x 5
t.me: @RoboforumSetar ; st@3nt.ru
Кто сейчас на конференции
Сейчас этот форум просматривают: Google [Bot] и 52 гостя