Необходима помощь в реализации проекта СХД

[orfeus2006]

День добрый,
Не смотря на усилия по оптимизации, дисковая нагрузка на наших MS SQL таки растет в геометрической прогрессии (особенности бизнеса).
Сейчас встал вопрос необходимости 2 решений: SAN на базе IB и внешнего СХД - не хватает не только и не столько места, сколько IOPS.
Собственно в связи с этим планируется закупка IB-рутера Mellanox 5030 плюс двухпортовых карт во все боевые сервера.
Что касаемо СХД - есть предложение по внедрению Clarion, но потестировав его и увидев результирующий счет, стало понятно - не наш случай.

Собственно сам вопрос - есть бюджет в ~$90к. Необходимо создать отказоустойчивое СХД. Скорее всего, своими силами (бюджет не слишком высок) - люди, готовые поднимать кластер на системах управления СХД под Debian тоже вроде есть. Вопрос в железе (базируюсь на обозначениях Supermicro - уже есть опыт успешных внедрений решений на их базе):
1. Оптимальные платформы для 2 управляющих блоков - хотелось бы под Xeon 5500/5600 (скорее всего, на их базе будет развернут отказоустойчивый RAM-диск - если это вообще будет возможно с учетом DDR3) c минимум 4 разъемами расширения - по 1 двухпортовой карте IB и до 3 контроллеров RAID - скорость имеет значение, т.е. один контроллер - одна полка дисков. Очень хотелось бы собрать сразу с контроллерами SAS 2.0, но не уверен что удастся все это совместить.
2. Оптимальная платформа дисковой полки (смотрим либо на 216, либо на 936 с двойным сас-экспандером на бэкплейне) - так же хотелось бы на SAS 2.0, но там уж как получится. Тут вопрос стоит скорее "что лучше" - 16 дисков SAS 3.5 15к 600гб (Сиги 15к7 видимо) или 24 диска SAS 2.5 10к 300гб (сиги 10к3 или к2 - уже точно не помню). Почему стоит вопрос - нужны в первую очередь минимальное время отклика на последовательную запись 8кб блоком и IOPS-ы на рандомных чтениях/записях 8/64кб блоком, но практически следом нужен и объем. Или 2 полки - 1 под SSD (тут пресловутое ограничение в связи с невозможностью их задублировать - Intel X25E к сожалению не SAS) и вторую под SAS HDD. На полках будут массивы RAID 10.

Плотность монтажа имеет значение, но в целом - не на первом месте. Важнее цена единицы производительности и собственно совокупная производительность.
Собственно для чего все это - для обслуживания экспоненциально растущей нагрузки 2-х кластеров MS SQL серверов. Профиль нагрузки различен, но OLTP приоритетно.

Если есть готовые решения в этом бюджете - так же буду рад выслушать, хотя практика показывает, что у нас слишком специфический профиль.

[gs]

Может быть Вы опишете нагрузку и приведете данные перфмона?
В какой конфигурации кларион не потянул? Может тупо дисков было мало? Про инфинибанд слышать довольно странно - банальный файбер может выжать десятки-сотни тысяч иопс, если способны винты.

[Stranger03]

Сейчас встал вопрос необходимости 2 решений: SAN на базе IB и внешнего СХД - не хватает не только и не столько места, сколько IOPS.

И сколько иопсов вам надо для счастья?

[orfeus2006]

В кларионе напрягают 2 вещи - цена единицы перфоманса и не дает покоя понимание архитектуры - софтрейд контроллеров по сути, а значит ограничения по производительности.
Файбер может тянуть иопсы, но есть 1 момент: на управляющем кластере надо будет развернуть RAM-диск под логи - при синхронизации файбер не вытянет тупо по лейтенси, т.е. при МНОГО поточной нагрузке (в том числе рабочей) он вытянет много иопсов, но при этом его экспоненциальный рост задержек начнется существенно раньше IB. Да и просто потоковая скорость с запасом не повредит - проще 1 раз сразу сделать на QSFP 40Gbit - у нас очень интенсивный обмен между SQL-серверами.
А что описывать нагрузку: огромные очереди на сетевом уровне, в логировании, прогрессивный рост времени отклика практически всего функционала плюс тупая нехватка места (по сути через 3 месяца кончится место на локальных массивах серверов - секционирование уже не спасет).
Если по существу - какие конкретно показатели интересуют? У нас сейчас одна простая задача - обеспечить максимум перфоманса и места за указанные деньги, ибо вся эта нагрузка очень быстро будет утилизирована стоящими к решению серьезными задачами (из-за нехватки которой они сейчас стоят) и ростом рынка.

[orfeus2006]

Сейчас встал вопрос необходимости 2 решений: SAN на базе IB и внешнего СХД - не хватает не только и не столько места, сколько IOPS.

И сколько иопсов вам надо для счастья?

IOPS-ов много не бывает Если по существу - больше 20к IOPS не способен переварить MS SQL (доказано тестами с RAMDISK). У нас их 3 - так что верхняя планка - 60к рандомных IOPS с 20% записи, 80% чтения
Если в конкретике - до последнего времени скули благодаря постоянной оптимизации выкручивались на RAID10 из 4 дисков SAS 10k 2.5 под данные и RAID10 из 4 SAS 15к 2.5 под логи на хьюлетовом рейде. Но возможности оптимизации - не безграничны. Встал вопрос качественного скачка средствами "железа" и как видно по посту, с необходимостью отказоустойчивости - думаю раз в 10-15 точно надо бы увеличивать. Полки в случае успешности реализации точно будут добавляться - это к гадалке не ходи.

[hitower]

Почему тормозят логи, неужели не хватает скорости линейной записи современных дисков? Сколько мб/с пишется логов?

Бюджет небольшой, я бы подумал о сервере с flash дисками от того же ramsan или куча intel x-25e + мирроринг базы.
60 тыс iops от одного контроллера типа Adaptec ASR-5805 с flash дисками вы, скорее всего, не получите. Как вариант - 3 контроллера, 24 диска, все это в 2U.

[orfeus2006]

Почему тормозят логи, неужели не хватает скорости линейной записи современных дисков? Сколько мб/с пишется логов?

Бюджет небольшой, я бы подумал о сервере с flash дисками от того же ramsan или куча intel x-25e + мирроринг базы.
60 тыс iops от одного контроллера типа Adaptec ASR-5805 с flash дисками вы, скорее всего, не получите. Как вариант - 3 контроллера, 24 диска, все это в 2U.

Логи тормозят потому что огромное количество коротких транзакций, модель работы - Simple.
Бюджет, действительно небольшой - потому и нужна помощь. В бюджете в $250к - 1мио я бы без проблем развернулся даже не пытаясь шевелить мозгами
И относительно 60к иопс - нет стремления получить именно их. Хочется минимизировать цену единицы IOPS в данном бюджете.
RAMSAN решения - да, видели, все круто, кроме цены. Мирроринг базы тоже не устроит - уже налетали на эти грабли.
Будут полноценные отказоустойчивые кластера MS SQL Ent, под них и нужно отказоустойчивое СХД (т.к. после всего этого высок шанс выезда в удаленный дата-центр), поэтому решение с 3-мя контроллерами в одной полке не катит, и именно поэтому и хочется сразу SAS 2.0 и предполагается что в блоках управления даже при этом должно быть 3 и более дырок под "железные" контроллеры. Смотрю на LSI 9210 - вроде рейд 10 есть, но кэша набортного нет...чешу репу...

[Stranger03]

У нас сейчас одна простая задача - обеспечить максимум перфоманса и места за указанные деньги, ибо вся эта нагрузка очень быстро будет утилизирована стоящими к решению серьезными задачами (из-за нехватки которой они сейчас стоят) и ростом рынка.

Если не отталкиваться от задачи построения кластера, то кузов на 24-е Х25-ми диска. Если так или иначе стоит задача помимо перфоманса обеспечить отказоустойчивость на случае падения, то без СХД вам не обойтись. И при таком бюджете требуемые иопсы вам не получить.

[hitower]

Почему тормозят логи, неужели не хватает скорости линейной записи современных дисков? Сколько мб/с пишется логов?

Бюджет небольшой, я бы подумал о сервере с flash дисками от того же ramsan или куча intel x-25e + мирроринг базы.
60 тыс iops от одного контроллера типа Adaptec ASR-5805 с flash дисками вы, скорее всего, не получите. Как вариант - 3 контроллера, 24 диска, все это в 2U.

Логи тормозят потому что огромное количество коротких транзакций, модель работы - Simple.
Бюджет, действительно небольшой - потому и нужна помощь. В бюджете в $250к - 1мио я бы без проблем развернулся даже не пытаясь шевелить мозгами
И относительно 60к иопс - нет стремления получить именно их. Хочется минимизировать цену единицы IOPS в данном бюджете.
RAMSAN решения - да, видели, все круто, кроме цены. Мирроринг базы тоже не устроит - уже налетали на эти грабли.
Будут полноценные отказоустойчивые кластера MS SQL Ent, под них и нужно отказоустойчивое СХД (т.к. после всего этого высок шанс выезда в удаленный дата-центр), поэтому решение с 3-мя контроллерами в одной полке не катит, и именно поэтому и хочется сразу SAS 2.0 и предполагается что в блоках управления даже при этом должно быть 3 и более дырок под "железные" контроллеры. Смотрю на LSI 9210 - вроде рейд 10 есть, но кэша набортного нет...чешу репу...

Задал еще вопросы в почте.

[orfeus2006]

У нас сейчас одна простая задача - обеспечить максимум перфоманса и места за указанные деньги, ибо вся эта нагрузка очень быстро будет утилизирована стоящими к решению серьезными задачами (из-за нехватки которой они сейчас стоят) и ростом рынка.

Если не отталкиваться от задачи построения кластера, то кузов на 24-е Х25-ми диска. Если так или иначе стоит задача помимо перфоманса обеспечить отказоустойчивость на случае падения, то без СХД вам не обойтись. И при таком бюджете требуемые иопсы вам не получить.

Послушайте, вопроса построить не отказоустойчивую систему хранения данных в данном бюджете у меня не стоит - предложенное решение мне было и так понятно и логично. НО повторюсь еще раз - давайте не клиниться на иопсах. Просто попытаемся понять - что будет работать лучше на нашем профиле нагрузки - полка RAID10 из 16 3.5 сас 15к или полка из 24 2.5 сас 10к (может даже 15к, но объем упадет вдвое). Вроде бы ответ очевиден, ан нет, не думаю - тут все зависит скорее от количества шпинделей...А вот насколько сильно зависит от скорости вращения - предсказать не могу. По нашим тестам - вроде весьма слабо, но жду вашего профессионального мнения.

SSD все хорошо, но мы подождем и пусть это будет следующая полка - когда Intel таки родит обещанные Intel X25E в SAS (т.е. я уже убедился, что отказоустойчивого решения кроме как за 2-ю цену SSD не получить - т.е. только дублировать полки). А максимальные иопсы для логов обеспечим размещением выносом оных в RAMDISK чуть позже и отдельным бюджетом.
Давайте все же подумаем над главным вопросом - максимальные иопсы на рандомные чтение/запись 80/20% 8/64 кб блоком на чем лучше обеспечить. И кластер управления этими полками на каких платформах лучше собрать.

[Serge10]

Тут на соседнем форуме несколько дней назад обсуждали железку прямо под Ваши задачи . Если ее набить SSD, поставить OpenSolaris/ZFS, или WSS, то получится вполне себе отказоустойчивое и производительное решение...

[orfeus2006]

Тут на соседнем форуме несколько дней назад обсуждали железку прямо под Ваши задачи . Если ее набить SSD, поставить OpenSolaris/ZFS, или WSS, то получится вполне себе отказоустойчивое и производительное решение...

Да, видел эту железку. Хороша. SSD туда конечно не засунешь (те, что SAS 3.5 дюйма стоят как чугунный мост, при всем при этом я видел тесты их производительности - не стоит оно пока того). Но с Сигами 15к7 по 600 гиг было бы вполне прилично. НО как всегда есть одно но - ее только недавно анонсировали - я так и не нашел ни одного реального предложения с ценником в продаже. Если кто озвучит ценник и сроки - буду признателен. Хотя и в этом случае останется вопрос слабой масштабируемости (контроллеров туда мало влезет)...
Но в нашем случае я уже готов мириться и с этим - т.е. достаточно будет наращивать полки в размер и иопсы без роста пропускной способности, ибо собственно она не так важна...считалка контроллеров должна в теории справится - не будет у нас RAID5/6/50/60
Опа, вот тут http://www.pcsuperstore.com/products/11 ... ST6LR.html нарисовался офер. Ценник ~$3400 и 2-3 недели за бугром. Ваши предложения сколько это будет здесь?

[Stranger03]

НО повторюсь еще раз - давайте не клиниться на иопсах. Просто попытаемся понять - что будет работать лучше на нашем профиле нагрузки - полка RAID10 из 16 3.5 сас 15к или полка из 24 2.5 сас 10к (может даже 15к, но объем упадет вдвое).

Чего-то я не понимаю. Это весеннее обострение что ли? То вам нужен кластер, то не нужен. То надо обеспечить 60К иопсов, то не надо на них зацикливаться. Вы уж определились бы с тем, что конкретно вы хотите. Или объяснили нам убогим простым человеческим языком. А то мы тут сами не местные, не разбираемся.
К слову, один САС 3.5" 15К диск выдает в среднем по помойке 300 иопсов. Примерно столько же выдает САС 10К 2.5". Остальное зависит от кучи параметров. Некоторые тесты можно найти на нашем блоге http://blog.trinitygroup.ru/

Давайте все же подумаем над главным вопросом - максимальные иопсы на рандомные чтение/запись 80/20% 8/64 кб блоком на чем лучше обеспечить.

RAID5 на х25 дисках на адаптеке.

И кластер управления этими полками на каких платформах лучше собрать.

э, кластер управления полками? это вы о чем? хотите своими силами собрать ЕМС Кларион?

[Serge10]

SSD туда конечно не засунешь (те, что SAS 3.5 дюйма стоят как чугунный мост, при всем при этом я видел тесты их производительности - не стоит оно пока того).

Что-то я понял. По-моему, туда спокойно встанут обычные Intel X25-E.

. Хотя и в этом случае останется вопрос слабой масштабируемости (контроллеров туда мало влезет)...

IMHO, контроллеры там не нужны. Ставите OpenSolaris/ZFS в кластерной конфигурации, или WSS. Если влом самому разбираться, обратите внимание на примечание на сайте Supermicro, о доступности соответствующего ПО у их партнеров. Но это, скорее всего, будет не дешево...

[orfeus2006]

Объясняю простым языком:

Нужен СХД. До сих пор мучаемся с HP EVA - гуано (готов обсудить отдельно, если у кого-то подозрения в прямоте рук). Смотрели EMC Clarion CX4, решение от Hitachi того же уровня - черезмерно дорого за полученную производительность и функционал, вещь сама в себе.
Что значит СХД в данном контексте - одна или несколько полок дисков с полным резервированием всех компонентов: диски в бэкплейнах с двойными сас-экспандерам, подключаются к RAID-контроллерам отдельных систем (системы в отказоустойчивом кластере на базе *NIX), в каждой из которых стоит по своей IB-карточке 2-х портовой, которые ходят на 2 различных IB-рутера. Везде резервирование по питанию. Т.е. полное резервирование всех систем в комплексе. Вот для этого отказоустойчивого кластера управляющих систем и нужны (были) платформы.

Еще раз повторяю - отказоустойчивый кластер из управляющих систем ОБЯЗАТЕЛЕН (иначе это уже не СХД - без него собсна и проблем то нет). Именно поэтому диски только SAS (только они допустимы в бэкплейнах с двойным экспандером, читай резервированием). Поэтому не смотря на мою глубочайшую удовлетвероенность результатами на Intel X25e - не катит (SATA они).
60к IOPS - мой риторический ответ на такой же риторический вопрос "сколько надо иопсов". Но не реальный, а предельный - больше скули не переварят. А практический ответ - чем больше, тем лучше при сохранении отказоустойчивости решения, непревышении бюджета и при размере совокупного массива хотябы 2, лучше 3-4Tb. Потому как прекрасно понимаю, что 60к рандомных IOPS на 64кб блоке в отказоустойчивом решении, да еще на массиве терабайта в 4 хотябы - это тысяч $$250-400 бюджета, скорее даже больше.
Да, своими силами Кларик...в каком-то смысле.

Что значит не нужны контроллеры? Пока решение состоит только из этой самой полки с дисками - они действительно не нужны - они там уже есть. А если возникнет желание подключить к нему еще 2-3 полки дисков? А желание возникнет - года не пройдет. Или это намек на наличие там разъема подключения полок сверху к уже установленным контроллерам?

А теперь по существу - каков ценник и сроки поставки по SYS-6036ST-6LR?