Низкая скорость отдачи по сети

У вас сложности? Наши специалисты постараются помочь вам. Если вы сами сталкивались с похожими проблемами - поделитесь опытом.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Низкая скорость отдачи по сети

Сообщение reed » 22 окт 2010, 12:30

Добрый день.

Нужны советы куда копать в следующей ситуации.

Есть пара серверов.

На обоих Debian Lenny, 2.6.26-2-amd64.

На отдачу работает lighttpd, настройки и софт для обоих серверов одинаковые.

Сервер 1:

MB: Intel® Server Board S3200SH
CPU: Intel C2Q Q9400
RAM: 8 Gb DDR-2 800 MHz
RAID: Adaptec 52445

Системный диск:

2 HDD

Logical device number 0
Logical device name : Volume0
RAID level : 1
Status of logical device : Optimal
Size : 140090 MB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM

Данные:

22 HDD

Logical device number 1
Logical device name : DATA
RAID level : 5
Status of logical device : Optimal
Size : 20020214 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM

Сервер 2:

MB: SM X8ST3
CPU: Intel Xeon E5506
RAM: 8 Gb DDR-3 1333 MHz
RAID: Adaptec 5805

Один RAID-50, 24 HDD

Системный LUN:

Logical device number 0
Logical device name : a1
RAID level : 50
Status of logical device : Optimal
Size : 1048554 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM

Данные LUN:

Logical device number 1
Logical device name : a2
RAID level : 50
Status of logical device : Optimal
Size : 19924972 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxIQ preferred cache setting : Disabled
MaxIQ cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM

Суть проблемы:

Оба сервера активно отдают большие объемы данных большому количеству пользователей. 3000-4000 одновременных подключений - норма.
На каждом 4 Гбитных линка.

Суть в том, что в пиковые часы максимальная отдача сервера 1 превышает 2 на 10-30%, что существенно.

Сервер 1 отдает в пиковые часы 263/311 (срдн/макс) мбайт/с
Сервер 2 отдает в пиковые часы 216/236 (срдн/макс) мбайт/с

Собсно вот и думаю куда копать. При том, что сервер 2 новый :roll:

Больше всего конечно напрягает высокий IOwait на сервере 2. Не знаю с чем
его связать. Толи с 50-ым рэйдом с лунам против зеркала+пятерка, то ли
какой-то сбойный узел.

По запросу - предоставлю любые данные диагностических утилит, чтобы изначально не перегружать пост.

Заранее спасибо.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение exLH » 22 окт 2010, 18:57

Конфигурацию контроллера второго выложите.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 22 окт 2010, 19:26

exLH писал(а):Конфигурацию контроллера второго выложите.

Код: Выделить всё

----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
   Controller Status                        : Optimal
   Channel description                      : SAS/SATA
   Controller Model                         : Adaptec 5805
   Physical Slot                            : 5
   Temperature                              : 70 C/ 158 F (Normal)
   Installed memory                         : 512 MB
   Copyback                                 : Disabled
   Background consistency check             : Enabled
   Automatic Failover                       : Enabled
   Global task priority                     : High
   Performance Mode                         : Default/Dynamic
   Stayawake period                         : Disabled
   Spinup limit internal drives             : 0
   Spinup limit external drives             : 0
   Defunct disk drive count                 : 0
   Logical devices/Failed/Degraded          : 2/0/0
   SSDs assigned to MaxIQ Cache pool        : 0
   Maximum SSDs allowed in MaxIQ Cache pool : 8
   NCQ status                               : Enabled
   --------------------------------------------------------
   Controller Version Information
   --------------------------------------------------------
   BIOS                                     : 5.2-0 (17899)
   Firmware                                 : 5.2-0 (17899)
   Driver                                   : 1.1-5 (2461)
   Boot Flash                               : 5.2-0 (17899)
   --------------------------------------------------------
   Controller Battery Information
   --------------------------------------------------------
   Status                                   : Optimal
   Over temperature                         : No
   Capacity remaining                       : 99 percent
   Time remaining (at current draw)         : 1 days, 19 hours, 55 minutes
Это?

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: Низкая скорость отдачи по сети

Сообщение and3008 » 22 окт 2010, 19:37

А запись идет на диски? Если идет, то вероятно поэтому RAID-50 сливает RAID-1. У него дисковых операций больше.

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 22 окт 2010, 19:45

and3008 писал(а):А запись идет на диски? Если идет, то вероятно поэтому RAID-50 сливает RAID-1. У него дисковых операций больше.
Запись идет, но ее объем по сравнению с отдача минимальна. И не РЭЙД-1, а РЭЙД-5 я сравниваю с 50-кой. Какой адекватный тест запись/чтения посоветуете попробовать? Прогоню под нагрузкой и без.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение exLH » 22 окт 2010, 21:08

reed писал(а):Это?
Нет. Не это.
Выложите всю конфигурацию контроллера.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 22 окт 2010, 21:37

exLH писал(а):
reed писал(а):Это?
Нет. Не это.
Выложите всю конфигурацию контроллера.
Можно уточнить какую именно конфигурацию? Лучше команду. Я так понял из arcconf.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение exLH » 22 окт 2010, 23:41

reed писал(а):Можно уточнить какую именно конфигурацию
Из суппорт-архива.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 23 окт 2010, 02:19

exLH писал(а):
reed писал(а):Можно уточнить какую именно конфигурацию
Из суппорт-архива.
Очень точное уточнение, спасибо Гуглу. Я и так оттуда пришел. :D
Вложения
Support.zip
(1.11 МБ) 378 скачиваний

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение exLH » 25 окт 2010, 09:57

reed писал(а):Очень точное уточнение
Это какой-то неправильный support-архив.
Что у вас за система и что за драйверы?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 25 окт 2010, 10:38

exLH писал(а):
reed писал(а):Очень точное уточнение
Это какой-то неправильный support-архив.
Что у вас за система и что за драйверы?
Может я не так его сделал, напишите точную команду, я использовал

#arcconf SAVESUPPORTARCHIVE

Потом взял

:/var/log/Support/ # ll
total 5644K
-rw-r--r-- 1 root 601574 2010-10-22 11:15 arcconfig.xml
-rw-r--r-- 1 root 856 2010-10-22 11:11 arcerror.txt
-rw-r--r-- 1 root 1801 2010-10-22 11:10 Controller 1 Deaddrives.txt
-rw-r--r-- 1 root 1364 2010-10-22 11:10 Controller 1 Device_log.txt
-rw-r--r-- 1 root 5148 2010-10-22 11:10 Controller 1 Event_log.txt
-rw-r--r-- 1 root 4767609 2010-10-22 11:10 Controller 1 Logs.txt
-rw-r--r-- 1 root 305 2010-10-22 11:11 Controller 1 Monitor_log.txt
-rw-r--r-- 1 root 43570 2010-10-22 11:11 Controller 1 SmartStats.xml
-rw-r--r-- 1 root 41789 2010-10-22 11:11 Controller 1 Stats.txt
-rw-r--r-- 1 root 1618 2010-10-22 11:11 RaidAgnt.pps
-rw-r--r-- 1 root 190 2010-10-22 11:11 RaidErrA.log
-rw-r--r-- 1 root 0 2010-10-22 11:11 RaidErr.log
-rw-r--r-- 1 root 138529 2010-10-22 11:11 RaidEvtA.log
-rw-r--r-- 1 root 207 2010-10-22 11:11 UcliErr.log
-rw-r--r-- 1 root 140894 2010-10-22 11:11 UcliEvt.log

все эти файлы, зазиповал и выложил сюда.

Система Debian Lenny 2.6.26-2-amd64

Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (17899)
Firmware : 5.2-0 (17899)
Driver : 1.1-5 (2461)
Boot Flash : 5.2-0 (17899)

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение exLH » 25 окт 2010, 11:50

reed писал(а):Driver : 1.1-5 (2461)
Вызывает вопросы и подозрения.

А машины с графическим интерфейсом совсем нет ни одной? Чтобы вот запустить ASM и сказать Save support archive там. Чтобы там был файл "Controller 1 Config.txt"
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

reed
Junior member
Сообщения: 7
Зарегистрирован: 12 окт 2010, 10:12
Откуда: Санкт-Петербург

Re: Низкая скорость отдачи по сети

Сообщение reed » 25 окт 2010, 12:07

exLH писал(а):
reed писал(а):Driver : 1.1-5 (2461)
Вызывает вопросы и подозрения.

А машины с графическим интерфейсом совсем нет ни одной? Чтобы вот запустить ASM и сказать Save support archive там. Чтобы там был файл "Controller 1 Config.txt"
К сожалению нет. Более того, физический доступ к серверам только через инженеров ЦОДа где они стоят, из-за сильной географической удаленности.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Низкая скорость отдачи по сети

Сообщение Stranger03 » 27 окт 2010, 16:01

"reed"
Можно пробросить порт для ASM наружу и прицепиться к нему из дома с любой станции.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Низкая скорость отдачи по сети

Сообщение setar » 27 окт 2010, 16:21

я бы последил за работой дисковой подсистемы
сначала линейная скорость записи и чтения на обоих серверах
dd if=/dev/zero of=/datapool/testfile bs=1M count=4096
dd if=/datapool/testfile of=/dev/null bs=1M count=4096

затем при пиковой нагрузке глазами понаблюдал за статистикой iostat -x 5
t.me: @RoboforumSetar ; st@3nt.ru

Ответить

Вернуться в «Серверы - Решение проблем»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 11 гостей