Нагруженный файловый сервер

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Sergey AB
Junior member
Сообщения: 4
Зарегистрирован: 25 сен 2012, 08:03
Откуда: Петропавловск-Камчатский

Нагруженный файловый сервер

Сообщение Sergey AB » 25 мар 2013, 08:44

Добрый день!

Есть 2 сервера. На каждом собран raid5 из 16 дисков по 1 ТБ, raid-контроллеры Adaptec.
На серверах хранится преимущественно большое и тяжёлое медиа-содержимое (игры, видео).
Режим работы - на чтение, периодически закидывается свеженькое, а старенькое удаляется.
Пользователи имеют доступ по протоколу FTP, скорости клиентов до 100 Мбит/сек.
Сейчас стоят ограничения на количество подключений и скорость (1 Мбит/сек).
Задача:
- обеспечить одновременный доступ 600-1000 подключений
- дисковый массив не менее 10 ТБ
- скорость для 1 подключения 5 Мбит/сек
- сеть не менее 4-ёх портов по 1 Гбиту
- примерный бюджет 300-500 тыс. руб., возможно до 700 тыс. руб.

В среднем раз в 2 года из-за роста клиентской базы встаёт вопрос о расширении количества подключений.
Скажем 4 года назад было 300 подключений и скорости у пользователей были до 10 Мбит.
2 года назад добавили сервер, всё было хорошо при 600 подключениях и таких же скоростях, но.
Сеть модернизируется и пользователи начали получать скорости до 100 Мбит и тут начали не справляться массивы.
Сейчас с помощью DFS и ограничений удалось добиться более менее комфортной работы.

В общем извечные вопросы "Что делать?", "Что посоветуете?", "Что предложите?".

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение Stranger03 » 25 мар 2013, 09:38

"Sergey AB"
Сергей, поправьте пож-та город в профиле.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение gs » 01 апр 2013, 14:10

Логичнее и дешевле разнести нагрузку на несколько серверов.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение Stranger03 » 01 апр 2013, 15:08

Sergey AB писал(а):В общем извечные вопросы "Что делать?", "Что посоветуете?", "Что предложите?".
Ну вариантов не много, либо много денег и расти вертикально, либо в связку добавлять сервера и перекладывать ресурсы на несколько серверов. Причем для обычного ftp доступа каких-то особых вычислительных ресурсов не требуется. Но, если у вас уже есть 2-а сервера, они не справляются? Надо еще?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение gs » 01 апр 2013, 15:15

Вариантов роста "вверх" несколько:
1. Более быстрые накопители (сас 15к) и соответствующей мощи контроллер.
2. SSD кэширование, если есть ярко выраженные горячие данные.
3. Ручное балансирование нагрузки между быстрыми и медленными носителями.

Но горизонтальное масштабирование для такой задачи будет наверняка дешевле (разве что вариант 2 может оказаться относительно недорогим - если задача позволяет) и вообще общепринято для таких задач.

Sergey AB
Junior member
Сообщения: 4
Зарегистрирован: 25 сен 2012, 08:03
Откуда: Петропавловск-Камчатский

Re: Нагруженный файловый сервер

Сообщение Sergey AB » 15 апр 2013, 15:03

Логичнее и дешевле разнести нагрузку на несколько серверов.
Я с Вами согласен, но для этого приходится использовать специальное ПО, которое будет реплицировать данные на все сервера. Сейчас уже используется одно такое ПО, но иногда возникают проблемы, благо пока без потерь данных.

Как в этом случае будет себя вести DRDB/Heratbeat - я не тестировал. Пока сам не попробуешь и не узнаешь, подойдёт оно или нет. Поэтому отзывы в интернет - это хорошо, но...

Плюс есть ещё интересная статья от RedHat по построению подобных сервисов. Видимо придётся ещё раз её перечитать.
Ну вариантов не много, либо много денег и расти вертикально, либо в связку добавлять сервера и перекладывать ресурсы на несколько серверов. Причем для обычного ftp доступа каких-то особых вычислительных ресурсов не требуется. Но, если у вас уже есть 2-а сервера, они не справляются? Надо еще?
Не справляются. Пока что удалось увеличить кол-во пользователей, получающих доступ к услуге, но скорость зажата.
Идея о 3-ем сервере витает, но описанные выше проблемы совместного доступа на чтение/запись пока меня не отпускают.
Вариантов роста "вверх" несколько:
1. Более быстрые накопители (сас 15к) и соответствующей мощи контроллер.
2. SSD кэширование, если есть ярко выраженные горячие данные.
3. Ручное балансирование нагрузки между быстрыми и медленными носителями.
По 1-ому способу возникает вопрос, насколько это будет экономически выгоднее, чем пункт 2.
По 2-ому способу - сейчас тестируем, вроде есть даже заметные на глаз успехи, но пока есть опасения о сроке службы таких носителей. Иначе они рискуют перейти в разряд "расходного материала", что не хотелось бы. Скажем если они в таком режиме протянут 3 года, а то и 5, то это очень хорошо.
3-ий вариант частично используется. Есть 3-ий сервер, на котором находятся данные не пользующиеся такой популярностью.

Пока в общем-то вы подтвердили, что горизонтально ещё есть куда и зачем. Вертикально с небольшими затратами тоже можно попробовать.
Осталось ещё пособирать информацию по программному обеспечению и потестировать.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение gs » 15 апр 2013, 15:06

Скорее всего ССД у Вас работают практически полностью на чтение и проблема ресурса не стоит.
Ну и есть корпоративные ССД, где этой проблемы вообще нет.

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение kim_aa » 15 апр 2013, 15:15

Sergey AB писал(а): ...
Осталось ещё пособирать информацию по программному обеспечению и потестировать.
Смотрите:
- Symantec FileStore (до 32х узлов, RHEL + StorageFoundation + VCS);
- IBM SONAS.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Нагруженный файловый сервер

Сообщение Stranger03 » 15 апр 2013, 15:29

Sergey AB писал(а):Пока в общем-то вы подтвердили, что горизонтально ещё есть куда и зачем. Вертикально с небольшими затратами тоже можно попробовать.
Осталось ещё пособирать информацию по программному обеспечению и потестировать.
У Делла есть неплохие массивчики, доступ к ним только по иСкази. Их плюс в том, что можно расти горизонтально. Поставили одну штуку, поняли, что не хватает, ставим рядом другую, вводим в кластер (наружу один Айпи), они сами будут балансировать нагрузку между железками, контроллерами и внешними линками. Сонас все-таки очень недешовое решение.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 10 гостей