Железка на вырост.

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 18:03

Здравствуйте.

Есть задача. Хранить много данных, умеренно гоняемых по сети.
Нагрузки там получается, ориентировочно, 400-500 мегабит in+out на каждые 5 тер данных, 60/40 чтение/запись.
Для ориентира, присматриваемся к чему-то подобному: http://www.supermicro.nl/products/syste ... E1R36L.cfm
Есть желание стартовать с 12 дисков, добавляя ёмкость в дальнейшем такими же кусками.

Вопрос:
Вопрос проца не стоит, в данный момент 12т уверенно пережёвываются core2 quad 9650.
Во что ещё мы можем упререться в максимальной набивке (36*4Т)?
Оно умеет разносить диски по нескольким контроллерам?
Или вопрос производительности контроллера (какого?) даже в максимуме неактуален для таких нагрузок (порядка 10 гигабит)?
Или не выпендриваться, и брать 24 дисковые машинки, размазывая нагрузку между ними?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 18:19

Запись поточная или рандомная? Какой уровень рэйд?
При скоростях порядка 1ГБ/с проблемой может стать скорость записи, особенно если это рэйд6.
Бэкплейнов там два (24+12) - так что равномерной "развесовки" по контроллерам не получится.

В общем, если есть сомнения, я бы масштабировался ящиками по 24 винта.

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 18:28

Скорее рандомная. Среднестатистически, там порядка 1-2к клиентов на каждые 10т, пишут-читают файлики разного размера, от сотен килобайт до десятков гигабайт.

И да, предполагается 3*raid6.
24 дисковая ведь тоже с одним бакплейном? А от одного контроллера на бакплейн можно пустить более одного линка?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 18:31

Проблема не линк (это 24Гбит/с), а производительность контроллера.
И дисков, кстати - жесткий рандом на гигабайтной скорости - это фантастиш.
На чем-то тестили?

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 18:38

Нет, пока прикидываем.
В бою стоят более мелкие машинки, на старых 3ware 9650+16*1T WDRE. Справляются.

Ещё, до кучи:
http://www.supermicro.nl/products/syste ... E1R24N.cfm
http://www.supermicro.nl/products/syste ... E1R24L.cfm

Отличаются они "SAS2 via LSI 2308; IT Mode/Pass-through" и "LSI 2108 SAS2 RAID".
Что из себя представляет первое, и насколько второе подходит для этой задачи?

И про жёсткий рандом. Вариант с контроллерами умеющими кеш на SSD нас не спасёт, если-таки поставить такую задачу?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 18:44

JBOD - сас контроллер намертво в режиме HBA, рэйд только софтом. Лучше вообще не привязываться к набортным контроллерам, будет больше маневра.


SATA 7200 HDD - 50-100 IOps
SAS 15k HDD - 150-200 IOps
Вот и считайте сколько нужно дисков для рандомной нагрузки.

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 18:57

Т.е. что-то такое: http://www.lsi.com/products/raid-contro ... tware.aspx
нас в принципе не спасёт?

Абстрагируясь от гигабайта в секунду, насколько оно вообще имеет смысл?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 18:59

Кэширование помогает тогда, когда есть четко выраженные "горячие" данные, которые помещаются в кэш.

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 19:03

Т.е. в ситуации полного рандома, оно нам не поможет сгладить пики, когда основная часть массива не справляется?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 19:06

Данные в конечном итоге все равно должны попасть на винты, так что если долбежка по дисковому пространству равномерна, толку никакого - кэш моментально наполнится и упретесь в винты.

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 19:15

Ну, если считать из пресловутого гигабайта в секунду, мы получим запас по эластичности, грубо, 250 секунд, исходя из максимальной ёмкости в 512Г упомянутой выше по ссылке.
Прилично, на мой взгляд.

Или я излишне оптимистичен?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение gs » 11 окт 2013, 19:23

Если у Вас бывают именно короткие пики, то может помочь. Но среднюю пропускную способность не увеличит.

atdp03
member
Сообщения: 20
Зарегистрирован: 14 апр 2011, 09:51
Откуда: Мск

Re: Железка на вырост.

Сообщение atdp03 » 11 окт 2013, 19:31

Да, разумеется, разговор идёт именно о коротких пиках, до тех самых 250 секунд.

Спасибо.

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Железка на вырост.

Сообщение Tert » 11 окт 2013, 21:53

atdp03
CacheCade не спасает.
Контроллер, в котором работает эта функция вначале набирает статистику по использованию данных.
И только потом на основе неких внутренних критериев помещает данные на SSD. Если статистики нет (а при равномерной загрузке по всему объему ей неоткуда взяться), то этот кеш только замедлит работу.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость