Железка на вырост.
Модераторы: Trinity admin`s, Free-lance moderator`s
Железка на вырост.
Здравствуйте.
Есть задача. Хранить много данных, умеренно гоняемых по сети.
Нагрузки там получается, ориентировочно, 400-500 мегабит in+out на каждые 5 тер данных, 60/40 чтение/запись.
Для ориентира, присматриваемся к чему-то подобному: http://www.supermicro.nl/products/syste ... E1R36L.cfm
Есть желание стартовать с 12 дисков, добавляя ёмкость в дальнейшем такими же кусками.
Вопрос:
Вопрос проца не стоит, в данный момент 12т уверенно пережёвываются core2 quad 9650.
Во что ещё мы можем упререться в максимальной набивке (36*4Т)?
Оно умеет разносить диски по нескольким контроллерам?
Или вопрос производительности контроллера (какого?) даже в максимуме неактуален для таких нагрузок (порядка 10 гигабит)?
Или не выпендриваться, и брать 24 дисковые машинки, размазывая нагрузку между ними?
Есть задача. Хранить много данных, умеренно гоняемых по сети.
Нагрузки там получается, ориентировочно, 400-500 мегабит in+out на каждые 5 тер данных, 60/40 чтение/запись.
Для ориентира, присматриваемся к чему-то подобному: http://www.supermicro.nl/products/syste ... E1R36L.cfm
Есть желание стартовать с 12 дисков, добавляя ёмкость в дальнейшем такими же кусками.
Вопрос:
Вопрос проца не стоит, в данный момент 12т уверенно пережёвываются core2 quad 9650.
Во что ещё мы можем упререться в максимальной набивке (36*4Т)?
Оно умеет разносить диски по нескольким контроллерам?
Или вопрос производительности контроллера (какого?) даже в максимуме неактуален для таких нагрузок (порядка 10 гигабит)?
Или не выпендриваться, и брать 24 дисковые машинки, размазывая нагрузку между ними?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
Запись поточная или рандомная? Какой уровень рэйд?
При скоростях порядка 1ГБ/с проблемой может стать скорость записи, особенно если это рэйд6.
Бэкплейнов там два (24+12) - так что равномерной "развесовки" по контроллерам не получится.
В общем, если есть сомнения, я бы масштабировался ящиками по 24 винта.
При скоростях порядка 1ГБ/с проблемой может стать скорость записи, особенно если это рэйд6.
Бэкплейнов там два (24+12) - так что равномерной "развесовки" по контроллерам не получится.
В общем, если есть сомнения, я бы масштабировался ящиками по 24 винта.
Re: Железка на вырост.
Скорее рандомная. Среднестатистически, там порядка 1-2к клиентов на каждые 10т, пишут-читают файлики разного размера, от сотен килобайт до десятков гигабайт.
И да, предполагается 3*raid6.
24 дисковая ведь тоже с одним бакплейном? А от одного контроллера на бакплейн можно пустить более одного линка?
И да, предполагается 3*raid6.
24 дисковая ведь тоже с одним бакплейном? А от одного контроллера на бакплейн можно пустить более одного линка?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
Проблема не линк (это 24Гбит/с), а производительность контроллера.
И дисков, кстати - жесткий рандом на гигабайтной скорости - это фантастиш.
На чем-то тестили?
И дисков, кстати - жесткий рандом на гигабайтной скорости - это фантастиш.
На чем-то тестили?
Re: Железка на вырост.
Нет, пока прикидываем.
В бою стоят более мелкие машинки, на старых 3ware 9650+16*1T WDRE. Справляются.
Ещё, до кучи:
http://www.supermicro.nl/products/syste ... E1R24N.cfm
http://www.supermicro.nl/products/syste ... E1R24L.cfm
Отличаются они "SAS2 via LSI 2308; IT Mode/Pass-through" и "LSI 2108 SAS2 RAID".
Что из себя представляет первое, и насколько второе подходит для этой задачи?
И про жёсткий рандом. Вариант с контроллерами умеющими кеш на SSD нас не спасёт, если-таки поставить такую задачу?
В бою стоят более мелкие машинки, на старых 3ware 9650+16*1T WDRE. Справляются.
Ещё, до кучи:
http://www.supermicro.nl/products/syste ... E1R24N.cfm
http://www.supermicro.nl/products/syste ... E1R24L.cfm
Отличаются они "SAS2 via LSI 2308; IT Mode/Pass-through" и "LSI 2108 SAS2 RAID".
Что из себя представляет первое, и насколько второе подходит для этой задачи?
И про жёсткий рандом. Вариант с контроллерами умеющими кеш на SSD нас не спасёт, если-таки поставить такую задачу?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
JBOD - сас контроллер намертво в режиме HBA, рэйд только софтом. Лучше вообще не привязываться к набортным контроллерам, будет больше маневра.
SATA 7200 HDD - 50-100 IOps
SAS 15k HDD - 150-200 IOps
Вот и считайте сколько нужно дисков для рандомной нагрузки.
SATA 7200 HDD - 50-100 IOps
SAS 15k HDD - 150-200 IOps
Вот и считайте сколько нужно дисков для рандомной нагрузки.
Re: Железка на вырост.
Т.е. что-то такое: http://www.lsi.com/products/raid-contro ... tware.aspx
нас в принципе не спасёт?
Абстрагируясь от гигабайта в секунду, насколько оно вообще имеет смысл?
нас в принципе не спасёт?
Абстрагируясь от гигабайта в секунду, насколько оно вообще имеет смысл?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
Кэширование помогает тогда, когда есть четко выраженные "горячие" данные, которые помещаются в кэш.
Re: Железка на вырост.
Т.е. в ситуации полного рандома, оно нам не поможет сгладить пики, когда основная часть массива не справляется?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
Данные в конечном итоге все равно должны попасть на винты, так что если долбежка по дисковому пространству равномерна, толку никакого - кэш моментально наполнится и упретесь в винты.
Re: Железка на вырост.
Ну, если считать из пресловутого гигабайта в секунду, мы получим запас по эластичности, грубо, 250 секунд, исходя из максимальной ёмкости в 512Г упомянутой выше по ссылке.
Прилично, на мой взгляд.
Или я излишне оптимистичен?
Прилично, на мой взгляд.
Или я излишне оптимистичен?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
Если у Вас бывают именно короткие пики, то может помочь. Но среднюю пропускную способность не увеличит.
Re: Железка на вырост.
Да, разумеется, разговор идёт именно о коротких пиках, до тех самых 250 секунд.
Спасибо.
Спасибо.
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Железка на вырост.
atdp03
CacheCade не спасает.
Контроллер, в котором работает эта функция вначале набирает статистику по использованию данных.
И только потом на основе неких внутренних критериев помещает данные на SSD. Если статистики нет (а при равномерной загрузке по всему объему ей неоткуда взяться), то этот кеш только замедлит работу.
CacheCade не спасает.
Контроллер, в котором работает эта функция вначале набирает статистику по использованию данных.
И только потом на основе неких внутренних критериев помещает данные на SSD. Если статистики нет (а при равномерной загрузке по всему объему ей неоткуда взяться), то этот кеш только замедлит работу.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 43 гостя