Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Модераторы: Trinity admin`s, Free-lance moderator`s
Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Добрый день.
Планируется бюджет на закупку серверов, я рассчитал следующую конфигурацию:
Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Intel® Xeon® Processor E5-2695 v4 (45M Cache, 2.10 GHz) 2шт
Supermicro Certified MEM-DR432L-SL02-LR24 Samsung 32GB DDR4-2400 LP ECC LRDIMM 18шт
Intel DC P3700 400GB, NVMe PCIe 3.0 HET MLC 2.5" 20nm SSD 18шт
Intel DC P3700 800GB, NVMe PCIe 3.0 HET MLC 2.5" 20nm SSD 6шт
Supermicro SATA 128GB SATADOM SSD-DM128-SMCMVN1 SATA3 DOM MLC 2шт
Но, возникает следующий вопрос, каким образом возможно обеспечить отказоустойчивость(RAID1), собрать рэйд массив из P3700 кроме как на софтверном уровне?
Планируется бюджет на закупку серверов, я рассчитал следующую конфигурацию:
Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Intel® Xeon® Processor E5-2695 v4 (45M Cache, 2.10 GHz) 2шт
Supermicro Certified MEM-DR432L-SL02-LR24 Samsung 32GB DDR4-2400 LP ECC LRDIMM 18шт
Intel DC P3700 400GB, NVMe PCIe 3.0 HET MLC 2.5" 20nm SSD 18шт
Intel DC P3700 800GB, NVMe PCIe 3.0 HET MLC 2.5" 20nm SSD 6шт
Supermicro SATA 128GB SATADOM SSD-DM128-SMCMVN1 SATA3 DOM MLC 2шт
Но, возникает следующий вопрос, каким образом возможно обеспечить отказоустойчивость(RAID1), собрать рэйд массив из P3700 кроме как на софтверном уровне?
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Aleks3000
Объединение NVME дисков в массивы пока возможно только средствами файловых систем.
Не проще ли взять обычные SATA SSD и подключить их к стандартному RAID контроллеру? Работать будет точно стабильнее, чем работа NVME дисков через мосты PCI-Express.
Поправьте город в профиле.
Объединение NVME дисков в массивы пока возможно только средствами файловых систем.
Не проще ли взять обычные SATA SSD и подключить их к стандартному RAID контроллеру? Работать будет точно стабильнее, чем работа NVME дисков через мосты PCI-Express.
Поправьте город в профиле.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
PCI E SSD собираются в рейд только на софтовом уровне. По другому никак.Aleks3000 писал(а):собрать рэйд массив из P3700 кроме как на софтверном уровне?
И еще момент, вы каким образом собрались ставить 24-е PCI E карты, если в платформе всего то навсего 3-и слота?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Слотов-то там нормально, другое дело что микра грузит эти платформы только в собранном виде.
Это абстрагируясь от вопроса - нахрена нужна такой мощи дисковая...
Это абстрагируясь от вопроса - нахрена нужна такой мощи дисковая...
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Это она?gs писал(а):Слотов-то там нормально, другое дело что микра грузит эти платформы только в собранном виде.
http://www.supermicro.nl/products/syste ... 24R4T_.cfm
Я насчитал только 3-и. Возможно какой-то рейзер поставить, ну допустим даже если 6-ть в 2-а юнита. И то, карточки Flash PCI-E полнопрофильные, не факт, что они все 6-ть встанут в 2-а юнита. А в запросе аж 24-е. Я конечно понимаю, у ИБМ-а у старшей пСерии есть (или были, надо смотреть) специальные джибоды для PCI карт. Но там ценник улетный. Такая конструкция за лям баксов улетит.
Ну и еще момент, 2-а проца со 100% вероятностью не пережуют столько иопсов, сколько отдадут 24-е карты.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Ген, там 2,5" NVMe диски.
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Сервера рассчитываются под высоконагруженную субд mssql, в кластере alwayson AG.gs писал(а):Слотов-то там нормально, другое дело что микра грузит эти платформы только в собранном виде.
Это абстрагируясь от вопроса - нахрена нужна такой мощи дисковая...
В данный момент используется 10 SSD intel DC S3700 на каждом сервере, в кластере alwayson AG, производительности недостаточно, на tempdb время отклика достигает 100мс, что неприемлемо.
Относительно tempdb - пара накопителей собраны в RAID1, контроллер adaptec 71605, ресурс-записано более 600террабайт.
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Кэш записи на 71605 выключен?
На 3700х кэш включен?
Контроллер можно взять и пошустрее - LSI 9361.
SSD - сделайте им secure erase, и не создавайте массив на весь объем, процентов 25 оставьте свободными, должны заработать быстрее.
Насчет NVMe правильно сказали - RAID только средствами софта. Драйвера от Интел позволяют делать RAID для PCI NVMe, 2.5" дисков под рукой проверить не было, но думаю, все то же самое.
И задержки на таком массиве получаются примерно как на RAID контроллере (~50 мкс на команду записи), так что большого смысла пока в RAID NVMe нет.
На 3700х кэш включен?
Контроллер можно взять и пошустрее - LSI 9361.
SSD - сделайте им secure erase, и не создавайте массив на весь объем, процентов 25 оставьте свободными, должны заработать быстрее.
Насчет NVMe правильно сказали - RAID только средствами софта. Драйвера от Интел позволяют делать RAID для PCI NVMe, 2.5" дисков под рукой проверить не было, но думаю, все то же самое.
И задержки на таком массиве получаются примерно как на RAID контроллере (~50 мкс на команду записи), так что большого смысла пока в RAID NVMe нет.
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Кэш записи на 71605 выключен.hitower писал(а):Кэш записи на 71605 выключен?
На 3700х кэш включен?
Контроллер можно взять и пошустрее - LSI 9361.
SSD - сделайте им secure erase, и не создавайте массив на весь объем, процентов 25 оставьте свободными, должны заработать быстрее.
Насчет NVMe правильно сказали - RAID только средствами софта. Драйвера от Интел позволяют делать RAID для PCI NVMe, 2.5" дисков под рукой проверить не было, но думаю, все то же самое.
И задержки на таком массиве получаются примерно как на RAID контроллере (~50 мкс на команду записи), так что большого смысла пока в RAID NVMe нет.
На 3700х кэш включен.
>SSD - сделайте им secure erase, и не создавайте массив на весь объем, процентов 25 оставьте свободными, должны заработать быстрее.
А вот это любопытно.
А что вы думаете по поводу контроллера 81605z ?
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
LSI шустрее, как правило. Но можете попробовать 8ю серию Adaptec, если они нравятся.
Еще, можете разделить SSD между 2-3 контроллерами, это тоже даст прирост в iops.
Еще, можете разделить SSD между 2-3 контроллерами, это тоже даст прирост в iops.
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Дело в том что у нас используется lsi 9361, на другом сервере, проблема в том что в гуе контроллера не отображается СМАРТ накопителей, а это не гуд.hitower писал(а):LSI шустрее, как правило. Но можете попробовать 8ю серию Adaptec, если они нравятся.
Еще, можете разделить SSD между 2-3 контроллерами, это тоже даст прирост в iops.
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
А что там критичного надо смотреть?Aleks3000 писал(а):Дело в том что у нас используется lsi 9361, на другом сервере, проблема в том что в гуе контроллера не отображается СМАРТ накопителей, а это не гуд.hitower писал(а):LSI шустрее, как правило. Но можете попробовать 8ю серию Adaptec, если они нравятся.
Еще, можете разделить SSD между 2-3 контроллерами, это тоже даст прирост в iops.
По производительности 9361 шустрее, по моему, это более важный критерий.
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Ресурс, т.к. на накопителях критичные БД.hitower писал(а):А что там критичного надо смотреть?Aleks3000 писал(а):Дело в том что у нас используется lsi 9361, на другом сервере, проблема в том что в гуе контроллера не отображается СМАРТ накопителей, а это не гуд.hitower писал(а):LSI шустрее, как правило. Но можете попробовать 8ю серию Adaptec, если они нравятся.
Еще, можете разделить SSD между 2-3 контроллерами, это тоже даст прирост в iops.
По производительности 9361 шустрее, по моему, это более важный критерий.
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Aleks3000
Контроллер вам задолго до реального исчерпания ресурсов на SSD сообщит об этом.
А при исчерпании ресурсов SSD и массив просто перейдут в режим READ only. Данные не пропадут.
Гарантированный ресурс на запись на S3700 - 10 объемов диска ежедневно в течение 5 лет.
Кто у вас генерирует столько информации в день, что слежение за ресурсом на таких дисках становится актуальным?
Контроллер вам задолго до реального исчерпания ресурсов на SSD сообщит об этом.
А при исчерпании ресурсов SSD и массив просто перейдут в режим READ only. Данные не пропадут.
Гарантированный ресурс на запись на S3700 - 10 объемов диска ежедневно в течение 5 лет.
Кто у вас генерирует столько информации в день, что слежение за ресурсом на таких дисках становится актуальным?
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: Платформа Supermico Ultra SuperServer 2028U-TN24R4T+
Поддерживаю, лучше поставьте 1-2 SSD в hot spare, и не смотрите в SMART.
И, если хотите, можно на более производительные SAS SSD от HGST посмотреть. Ценник вполне разумный, раза в 1.5-2 дороже S3700.
RAID на SSD дисках не 5 или 6 случайно? Что-то уж очень большое время выполнения команд.
И, если хотите, можно на более производительные SAS SSD от HGST посмотреть. Ценник вполне разумный, раза в 1.5-2 дороже S3700.
RAID на SSD дисках не 5 или 6 случайно? Что-то уж очень большое время выполнения команд.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 22 гостя