Сервер для Http (либо Ftp) файлообменника

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Jameses
Junior member
Сообщения: 1
Зарегистрирован: 04 июл 2008, 01:17
Откуда: Беларусь

Сервер для Http (либо Ftp) файлообменника

Сообщение Jameses » 04 июл 2008, 01:47

Здравствуйте!

Есть задача: сделать онлайн-файлообменник по HTTP либо FTP протоколу (смотря какой окажется производительнее и оптимальнее по использованию памяти, я ещё не определился). Юзеров предполагается минимум 50 одновременно (пиковое примерно 500 юзеров одновременно), каждый что-либо сливает (3 Mbit/s) или заливает (512 Kbit/s) с сервера/на сервер. Дополнительно на сервере будет стоять форум (ipb) для общения, но это наверно мелочь. Надёжность высокую не обязательно, т.к. храниться будет всякая музыка, клипы и т.п. Ёмкость диска 500Гб (с возможностью расширения до 1Тб на будущее). Пропускная способность - на первое время 1Gbit/s, с возможностью расширения, если минимальное количество пользователей будет расти.

Сервер будет заказываться у хостера в аренду, скорее всего из стандартных решений. Бюджет - ессна, чем меньше - тем лучше. Вот и интересует минимально необходимое для такой задачи решение. Заранее спасибо за советы.

Я ещё не определился, какую программу файлораздачи применять... если кто что посоветует - спасибо вам большое!

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Сервер для Http (либо Ftp) файлообменника

Сообщение Stranger03 » 09 июл 2008, 08:49

Supermicro 5015, E4600, 2GB, Adaptec, 4x500GB SATA вполне должно хватить. Полезное пространство при РАИД5 = 1.5ТБ

RomanR
Junior member
Сообщения: 4
Зарегистрирован: 03 июл 2008, 13:59
Откуда: СНГ

Сообщение RomanR » 10 июл 2008, 02:56

Stranger03
Прошу прощения если не по теме.

У меня похожая задача, правда чуть меньших масштабов (200х64кбайт/с). Перерыл весь форум "Конфигурирование" по аналогичным запросам (кстати, спасибо сотрудникам Тринити, очень много полезной информации и ссылок) и вот что нашел - http://www.3nity.ru/viewtopic.htm?t=9903.

Там интересуются какая дисковая система необходима на 300 юзеров по 300 кбайт в секунду, то есть ~90 рандомных Мб/с. Был предложен внешний массив с минимум 12-ю SAS дисками, как я понимаю за >20k$.

Здесь же задача максимум - 500 x ( 3Mbit-s/8 )=180Мб/с рандомного чтения, а решение укладывается в 2k$.

В любом случае у меня не укладывается в голове разница в цене, учитывая возможно даже большую нагрузку у Jameses чем у автора почти годовалой темы. Ведь в теории SATA диск дает 50-100 IOPS на случайном доступе и в результате, даже если 4 диска в RAID-5 дадут 300 IOPS, а блок данных будет точно 375k, либо 200 юзеров либо в пролете, либо все получат не 3, а <1,8Мбит/с.

Пожалуйста проясните, возможно я чего-то не учитываю или недоглядываю. Уже 3 ночи не сплю из-за чертовых дисковых систем. Где-то говорят 4 мегабайта в секунду - это максимум, что можно выжать с одного SATA диска при рандоме >64 запросов, а здесь получается 45.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 10 июл 2008, 07:56

RomanR писал(а):Stranger03
Прошу прощения если не по теме.
Опять, коллега, поправьте город к профиле. Уважайте тех, кто вам отвечает на форуме, :twisted:
Чтокасается вашего вопроса, то смысл в чем, САТА диски хороши тогда, когда у вас 1-2 пользователя (например видеопоток). Тогда при оптимальном быстродействии вы получаете еще и большой объем. Если у вас множественный доступ к данным, чтение и запись мелких случайных данных, то при прочих равных условиях в производительности вам надо САТА дисков ровно в 4-е раза больше чем САС. Что делает стоимость системы на САТА дисках дороже.
Что касается внешнего массива на 12-ть дисков, к примеру Заратекс 5412, то его преимущество в:
1. масштабируемости
2. надежности
Если сравнивать внутренний контроллера САС с 12-ю дисками САС 15К и тот же заратекс в аналогичной конфигурации, разница будет не существенна в производительности.
Вот как-то так.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 июл 2008, 13:40

Не патуйте видеостриминг и фтп-помойку. Риалтаймовые потоки на порядок чувствительнее в этом плане.

RomanR
Junior member
Сообщения: 4
Зарегистрирован: 03 июл 2008, 13:59
Откуда: СНГ

Сообщение RomanR » 10 июл 2008, 16:06

Что вы имеете ввиду под разницей стриминга и файлопомойки? Если отбросить всё что не касается скорости (масштабирование, надежность, софт и т.д.), то остается только то что при стриминге видео крайне нежелательно опускать скорость отдачи файла юзеру ниже 512-1024кбит/с. Ну так и автор темы написал, что ему нужно 3Мбит/с.

Так всё же, какой поток чтения в реальных условиях обеспечит к примеру следующая связка при 200 одновременных запросах:
- 4 современных 7200rpm SATA с NCQ вроде Seagate ES.2 объемом 750-1000GB
- RAID 5
- контроллер Adaptec 5405
- размер блока 64K
- средний размер файла 10Мб
или та же связка, но с другой неизвестной - сколько юзеров смогут скачивать файлы со скоростью 512 кбит/с?

--

Есть ли у вас представители в моем городе? Если нет, то каковы сроки сборки сервера в Москве? Допустим доставку я организую сам. Просьба ответить на e-mail, и если не затруднит, то вместе с ценой на следующий конфиг (планируется вторым сервером через 2-3 месяца):
Платформа: SuperMicro 2U, 2xPSU, 2xGbEthernet. Корпус из серии SC826
Процессор: 1xIntel Xeon E5420, max 2xXeon 5xxx
Память: 4x2Gb, max 16Gb
RAID: SAS/SATA RAID-6 Adaptec 51245
HDD: 12xSATA, 750-1000Gb, Seagate ES, 7200rpm

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 10 июл 2008, 16:37

RomanR писал(а):Есть ли у вас представители в моем городе? Если нет, то каковы сроки сборки сервера в Москве? Допустим доставку я организую сам.
Питер, Москва, Е-бург.
2-3 недели. Если есть все на складе, то неделька на сборку, тесты.

Dmitriy F.
Advanced member
Сообщения: 442
Зарегистрирован: 26 июл 2005, 14:28
Откуда: Москва
Контактная информация:

Сообщение Dmitriy F. » 10 июл 2008, 16:45

Stranger03 писал(а):2-3 недели...
Уложимся.
Чуть позже отправлю на почту конфигурацию с коментариями.

RomanR
Junior member
Сообщения: 4
Зарегистрирован: 03 июл 2008, 13:59
Откуда: СНГ

Сообщение RomanR » 10 июл 2008, 18:02

Спасибо за предложения. Только один вопрос - 750GB лучше 1TB по какой-либо причине кроме меньшей цены или так получилось?

И что насчет вопроса по 4хSATA? Вроде исходные данные все есть (ОС конечно же nix-based), осталось только добавить к ним немного опыта и знаний и вывести хотя бы примерный вариант. Помогите пожалуйста.

Dmitriy F.
Advanced member
Сообщения: 442
Зарегистрирован: 26 июл 2005, 14:28
Откуда: Москва
Контактная информация:

Сообщение Dmitriy F. » 10 июл 2008, 18:19

RomanR писал(а):...Только один вопрос - 750GB лучше 1TB по какой-либо причине кроме меньшей цены или так получилось?
Так получилось.
RomanR писал(а):И что насчет вопроса по 4хSATA?
Не совсем понял вопроса. :oops:

RomanR
Junior member
Сообщения: 4
Зарегистрирован: 03 июл 2008, 13:59
Откуда: СНГ

Сообщение RomanR » 10 июл 2008, 18:26

Dmitriy F. писал(а):Не совсем понял вопроса. :oops:
RomanR писал(а):Что вы имеете ввиду под разницей стриминга и файлопомойки? Если отбросить всё что не касается скорости (масштабирование, надежность, софт и т.д.), то остается только то что при стриминге видео крайне нежелательно опускать скорость отдачи файла юзеру ниже 512-1024кбит/с. Ну так и автор темы написал, что ему нужно 3Мбит/с.

Так всё же, какой поток чтения в реальных условиях обеспечит к примеру следующая связка при 200 одновременных запросах:
- 4 современных 7200rpm SATA с NCQ вроде Seagate ES.2 объемом 750-1000GB
- RAID 5
- контроллер Adaptec 5405
- размер блока 64K
- средний размер файла 10Мб
или та же связка, но с другой неизвестной - сколько юзеров смогут скачивать файлы со скоростью 512 кбит/с?

Dmitriy F.
Advanced member
Сообщения: 442
Зарегистрирован: 26 июл 2005, 14:28
Откуда: Москва
Контактная информация:

Сообщение Dmitriy F. » 11 июл 2008, 11:21

В теоретических расчетах связка из 4 сата дисков на контроллере при одновременном обращении 200 человек способна выдать скорость в 64Кб/с, что есть 512 кбит/с, но это максимум что получится и соответственно при росте числа запросов скорость будет падать.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость