максимальная скорость записи/чтения с полок расширения СХД

[Stranger03]

1 по первому варианту 14ГБ в час очень медленно для базы размером в Терабайты

Сможете получить бОльше - вперед. Я вас не ограничиваю.

слепок средствами СХД отлично, но с него придется зачитывать данные с нуля..... дабы понять что изменилось

Восстановление с копии всегда есть потеря данных за некий цикл.

[maximz]

Так у Вас будет постоянно активный второй инстанс сиквела?
Тогда чего Вы велосипед-то изобретаете? В MS SQL все уже есть...

да 2й .... но медленных... щас опишу более подробнее

основной инст MSSQL
1 индексируемые данные + место под индексы (их много) IBM FlashStorage 840, данные за 5ть лет в приделе до 40ТБ
2 бинарные данные IBM V3700 на диска 7200 в пределе до 300 ТБ

вот собственно и стоит вопрос как это все бекапить а потом ресторить....

если 2й инст на таком же железе то все стандартные средства хороши... переключились все на запасной инст и все довольны... однако возникает вопрос как оживить основной инст и сколько времени это займет....

моя идея собственно в ...
резервный инст MSSQL все на IBM V3700 на дисках 7200, держать на 2м инсте еще и полку FS840 дороговато
и в когда случится бамс... копируем базу из резерва и продолжаем дальше.... на первом инсте


важно что данные будут "заливаться" 1-2мя специальными клиентами потому резервный инст всегда на уровне sql тразакции будет иметь целостную копию базы у себя на некий момент времени

[gs]

Так несколько понятнее, но не до конца.
Вы хотите в час икс перекоммутировать джибоды от резервного ящика на боевой, чтобы переливать локально? Ну как сказать... я бы не стал искать неприятностей. Одно неверное движение - и ты отец. Тем более в цейтноте и под прессом ответственности.
Лучше в тот же 3700, помимо саташников, набейте SSDшек под реплику горячих данных - это таки дешевле, чем второй флэшсистем. В таком случае пепелац хоть и низенько, но будет лететь на время ремонта боевой системы.

Вообще, довольно странно видеть систему ценником порядка лимона без какого-то резервирования...

[maximz]

Так несколько понятнее, но не до конца.
Вы хотите в час икс перекоммутировать джибоды от резервного ящика на боевой, чтобы переливать локально? Ну как сказать... я бы не стал искать неприятностей. Одно неверное движение - и ты отец. Тем более в цейтноте и под прессом ответственности.
Лучше в тот же 3700, помимо саташников, набейте SSDшек под реплику горячих данных - это таки дешевле, чем второй флэшсистем. В таком случае пепелац хоть и низенько, но будет лететь на время ремонта боевой системы.

Вообще, довольно странно видеть систему ценником порядка лимона без какого-то резервирования...

перекомутация мне и самому не нравиться... копирование по сети

схд резервного сервера => резервный сервер => 10 ГБ сеть (1 или 2 в зависимости от максимальной скорости чтения-записи) => сервер основной => схд основного сервер

+ файлы базы содержащие текст и индексы очень хорошо сжимаются потому сеть в данном случаи не будет являться узким местом при пересылке файлов
+ вот бинарные данные сжимаются максимум на 20% и с учетом их объема основное время будет уходить на их копирование


по использованию SSD разумное предположение... и летать конечно оно будет возможно и не так низко как кажется...
по SSD меня правда пугает их количество, на сколько я в курсе щас объем 800ГБ с учетом RAID под 40 ТБ данных я затрудняюсь почитать их количество.... и количество полок которое они будут занимать...

но это не снимает вопроса по переносу данных с резерва на основной сервер

резервирование на каком уровне?

1 по доступу кластер
2 по дискам в СХД понятно будут, как в горячем состоянии так и в ЗИП
3 по полкам СХД ЗИП тоже будет, если диски живы то замена не такая долгая операция
4 по FS840 сама полка стоит не так дорого + несколько резервных модулей для нее
5 при этом использование обычного MSQL бекапа ... я не исключаю но восстановление MSSQL из бекапа это когда уже случился полный ахтунг....
+ под бекап нужно место....

[Stranger03]

основной инст MSSQL
1 индексируемые данные + место под индексы (их много) IBM FlashStorage 840, данные за 5ть лет в приделе до 40ТБ
2 бинарные данные IBM V3700 на диска 7200 в пределе до 300 ТБ

FS 840-я снята с производства, но попробовал подсчитать. На 45ТБ в листе она стоила примерно 1.5 млн.$. За сколько вы ее купили, я не знаю. Но, вы уверены, что хотите сэкономить с помощью В3700? Посчитал с 48-мю дисками 1.8ТБ 10К. Лист 103К $. Забивать В3700 всеми SSD (максимальные диски сейчас 1.6ТБ, но стоят как самолет) нецелесообразно. Она наедается уже после 16-ти SSD, далее утилизация контроллеров выше 100%.

[maximz]

основной инст MSSQL
1 индексируемые данные + место под индексы (их много) IBM FlashStorage 840, данные за 5ть лет в приделе до 40ТБ
2 бинарные данные IBM V3700 на диска 7200 в пределе до 300 ТБ

FS 840-я снята с производства, но попробовал подсчитать. На 45ТБ в листе она стоила примерно 1.5 млн.$. За сколько вы ее купили, я не знаю. Но, вы уверены, что хотите сэкономить с помощью В3700? Посчитал с 48-мю дисками 1.8ТБ 10К. Лист 103К $. Забивать В3700 всеми SSD (максимальные диски сейчас 1.6ТБ, но стоят как самолет) нецелесообразно. Она наедается уже после 16-ти SSD, далее утилизация контроллеров выше 100%.

1 840 не куплена еще, в текущий момент стадия проектирования системы, есть FS860 не думаю что она принципиально отличается по цене от 840
2 не понял вашего вопроса про экономию.... экономить можно только если вместо FS8XX использовать V3700 на SSD + HDD 10к
( как вариант на SSD индексы на HDD текстовые данные)

еще 1н момент, предположительно FS будет физически наращиваться дискретно .. 10TB 20TB ... и так далее соответственно докупается еще 1-2 флаш модулей... объем данных в FS увеличивается.... а с V3700 же придется искать место под новые полки + потребление электричества будет существенно больше

возник еще вопрос относительно SAS интерфейса подключения полок к голове и головы к хосту

если я правильно понял? 1н SAS кабель прокинет 24 гигабита от полки к голове и от головы к хосту?

[Stranger03]

1 840 не куплена еще, в текущий момент стадия проектирования системы, есть FS860 не думаю что она принципиально отличается по цене от 840

Что-то я не понял. Речь идет об этом?
http://www-03.ibm.com/systems/storage/f ... -flsy-usen
Если да, то еще раз, 8хх системы сняты с производства. Сейчас идут 9ххх системы:
http://www-03.ibm.com/systems/storage/f ... tions.html
900-я от V9000 отличается наличием SVC кластера у второй.
Мало того, еще раз, Флешсистема, что старые 840, что новые 900^ относятся к классу хайендов и стоят за миллион долларов.
А что такое FS860 я вообще не понял. У ИБМ-а нет таких флешсистем.

2 не понял вашего вопроса про экономию.... экономить можно только если вместо FS8XX использовать V3700 на SSD + HDD 10к
( как вариант на SSD индексы на HDD текстовые данные)

Экономить на чем? Я ради интереса посчитал В3700 с 24-ю дисками SSD по 1.8 ТБ, ну так, ради интереса, получил цифру 1 млн.$.

еще 1н момент, предположительно FS будет физически наращиваться дискретно .. 10TB 20TB ... и так далее соответственно докупается еще 1-2 флаш модулей... объем данных в FS увеличивается.... а с V3700 же придется искать место под новые полки + потребление электричества будет существенно больше

Еще раз, для тех кто в танке, ФС8хх снята с производства. Что касается ФС9хх, то два момента:
1. покупать сразу на полный объем выйдет раза в 3-и дешевле, чем постепенно апгрейдить
2. пока вы будете пытаться апгрейдить, система будет снята с производства и заменена на новую. Цикл существования порядка 2-3 лет, не бОлее.

возник еще вопрос относительно SAS интерфейса подключения полок к голове и головы к хосту

если я правильно понял? 1н SAS кабель прокинет 24 гигабита от полки к голове и от головы к хосту?

Примерно так, но
1. не стоит заморачиваться на скорость интерфейса, ибо скорее сдохнут контроллеры либо не хватит шпинделей и производительности дисков
2. вам все-таки надо определиться, либо вы считаете что-то из раздела хайендов от 1 млн.$, либо не морочите себе голову и берете лоуенд В3700. Тут разница всего одна - в мощности контроллеров. В3700 сдохнет, если туда поставить 24-е SSD диска. Утилизация контроллеров будет под 100%. Проверено на тестах.
3. если вы мне скажете, какое кол-во иопсов (или какую скорость доступа) вы хотите получить по минимуму, я попробую смоделировать ситуацию.

[Stranger03]

maximz
Максим, эта переписка может быть бесконечной, готов прислать к вам пару наших толковых ребят, обсудить на месте. Если не хотите видеть нас, готов свести с толковыми ребятами от вендоров, например от ИБМ-а. Если готовы, вышлю вам свои контакты в почту.

[Bormoto]

В качестве резервной системы, IMHO, все-таки можно рассмотреть вариант комплекса "из желудей и веток"(с). В пределах 0.5 мегадоллара можно построить систему на 45 Тб из нескольких узлов (резерв n+1 исходя из случая резервирования узла с максимальным единичным объемом) на базе обычных ящиков супермикры с одними только ssd intel s3700 или s3710. RAID-контроллер - Adaptec 8. SAN - FC 16 Gbit/s (типа Brocade 6510) или Ethernet 40/56 Gbit/s (личные симпатии к Mellanox). С MPIO для отказоустойчивости, естественно.
Данные раскладываются по узлам исходя из упомянутых filegroups в сервере sql. Требуемая производительность размазывается по хостам хранения.
Про применимость в данном случае ЕМС ScaleIO пока ничего утверждать не готов. Но может быть, кто-то более знающий поправит и дополнит?

[maximz]

1 840 не куплена еще, в текущий момент стадия проектирования системы, есть FS860 не думаю что она принципиально отличается по цене от 840

Что-то я не понял. Речь идет об этом?
http://www-03.ibm.com/systems/storage/f ... -flsy-usen
Если да, то еще раз, 8хх системы сняты с производства. Сейчас идут 9ххх системы:
http://www-03.ibm.com/systems/storage/f ... tions.html
900-я от V9000 отличается наличием SVC кластера у второй.
Мало того, еще раз, Флешсистема, что старые 840, что новые 900^ относятся к классу хайендов и стоят за миллион долларов.
А что такое FS860 я вообще не понял. У ИБМ-а нет таких флешсистем.

2 не понял вашего вопроса про экономию.... экономить можно только если вместо FS8XX использовать V3700 на SSD + HDD 10к
( как вариант на SSD индексы на HDD текстовые данные)

Экономить на чем? Я ради интереса посчитал В3700 с 24-ю дисками SSD по 1.8 ТБ, ну так, ради интереса, получил цифру 1 млн.$.

еще 1н момент, предположительно FS будет физически наращиваться дискретно .. 10TB 20TB ... и так далее соответственно докупается еще 1-2 флаш модулей... объем данных в FS увеличивается.... а с V3700 же придется искать место под новые полки + потребление электричества будет существенно больше

Еще раз, для тех кто в танке, ФС8хх снята с производства. Что касается ФС9хх, то два момента:
1. покупать сразу на полный объем выйдет раза в 3-и дешевле, чем постепенно апгрейдить
2. пока вы будете пытаться апгрейдить, система будет снята с производства и заменена на новую. Цикл существования порядка 2-3 лет, не бОлее.

возник еще вопрос относительно SAS интерфейса подключения полок к голове и головы к хосту

если я правильно понял? 1н SAS кабель прокинет 24 гигабита от полки к голове и от головы к хосту?

Примерно так, но
1. не стоит заморачиваться на скорость интерфейса, ибо скорее сдохнут контроллеры либо не хватит шпинделей и производительности дисков
2. вам все-таки надо определиться, либо вы считаете что-то из раздела хайендов от 1 млн.$, либо не морочите себе голову и берете лоуенд В3700. Тут разница всего одна - в мощности контроллеров. В3700 сдохнет, если туда поставить 24-е SSD диска. Утилизация контроллеров будет под 100%. Проверено на тестах.
3. если вы мне скажете, какое кол-во иопсов (или какую скорость доступа) вы хотите получить по минимуму, я попробую смоделировать ситуацию.

извиняюсь что так долго не отвечал... заслали на один объект сижу там с утра до вечера(:

1 да конечно FS900, 860 я сам не понял откуда я такую модель .... мб потому что была 820 .....
2 да я в курсе что каждый модуль памяти в FS стоит ~$100к понятно что полный фарш стоит $1кк+
3 про то что покупать все сразу дешевле чем постепенно... спс за информацию, да еще в 3 раза(:
4 про SSD в V3700 я понял, что забьют все ... вероятно будем смотреть в сторону v5000 но с SSD мне кажется будет не намного лучше
( понятно что SSD максимально загрузят все что им дадут для транспорта, при том что SSD 1.8TB стоят космических денег на 300 ТБ мега космических)
5 но скорость (последовательное чтение/запись ) меня интересует применительно к СХД с дисками 6ТБ которые дадут 300+ ТБ
один из вариантов => две головы v3700/5000 + 4ре полки расширения на каждую голову с дисками 6ТБ в конфигурации RAID6(8+2) + 2 диска горячий резерв что даст 480TB места под бинарные данные ( уже почитал что у V5000 два порта для подключения полок на каждом контролере в отличие от v3700) соответственно я думаю что с такой конфигурации можно читать/писать данные 2 * 5 * 150MB/sec = ~1.5GB/sec
и будет ли верным предположение что в конфигурации RAID5(4+1) + RAID5(4+1) + 2 резерв на полку можно вытянуть 3 ГБ?:)

6 спасибо за предложение я знаю что вы готовы рассказать и показать, если будет возможность обязательно воспользуемся..

просто "руководство" поставило задачу .... а то что мы "студенты" в этом вопросе... они видимо не понимают

да с IBM мы общались и нам даже давали на тестирование FS840.... правда немного по другой задаче

справочно..... на FS840 через 4xFC8 мне удавалось читать данные 3.2GB/sec правда столько же выжимаем на LSI 9207-8i с 8ми обычных ssd intel 520

7 и если можно еще 1н вопрос, когда появится 8ТБ диски... мб уже появились ... а то IBM во всю анонсирует поддержку ... но цену мне никто не может озвучить....

[Stranger03]

вероятно будем смотреть в сторону v5000 но с SSD мне кажется будет не намного лучше

С SSD будет стоить тоже как самолет. 24-е диска SSD на v5000 загрузят контроллеры под 100%. Она вас не спасет.

справочно..... на FS840 через 4xFC8 мне удавалось читать данные 3.2GB/sec правда столько же выжимаем на LSI 9207-8i с 8ми обычных ssd intel 520

520-е интелы тоже сняты с производства, да и не подойдут под такие задачи,
http://ark.intel.com/ru/products/66248/ ... s-25nm-MLC

7 и если можно еще 1н вопрос, когда появится 8ТБ диски... мб уже появились ... а то IBM во всю анонсирует поддержку ... но цену мне никто не может озвучить....

Диски 8ТБ уже есть.
П.С. у меня есть для вас решение, отличное от обсуждаемых, которое было бы оптимально по цене, масштабируемости и производительности. Но раз вы не хотите с нами знакомиться, то придержу я его для лучших времен,

[Stranger03]

maximz
Ради интереса посчитал, система на 48ТБ в Раид 5 примерно в районе 100К в листе. Если туда добавить кеширующих дисков на 10ТБ, то в районе 520К. Флеш-диски очень много добавляют.

[maximz]

вероятно будем смотреть в сторону v5000 но с SSD мне кажется будет не намного лучше

С SSD будет стоить тоже как самолет. 24-е диска SSD на v5000 загрузят контроллеры под 100%. Она вас не спасет.

справочно..... на FS840 через 4xFC8 мне удавалось читать данные 3.2GB/sec правда столько же выжимаем на LSI 9207-8i с 8ми обычных ssd intel 520

520-е интелы тоже сняты с производства, да и не подойдут под такие задачи,
http://ark.intel.com/ru/products/66248/ ... s-25nm-MLC

7 и если можно еще 1н вопрос, когда появится 8ТБ диски... мб уже появились ... а то IBM во всю анонсирует поддержку ... но цену мне никто не может озвучить....

Диски 8ТБ уже есть.
П.С. у меня есть для вас решение, отличное от обсуждаемых, которое было бы оптимально по цене, масштабируемости и производительности. Но раз вы не хотите с нами знакомиться, то придержу я его для лучших времен,

Вы просто змей искуситель.... мне думается всем будет интересно.... какие варианты могут быть для систем с большим объемом информации

[maximz]

В качестве резервной системы, IMHO, все-таки можно рассмотреть вариант комплекса "из желудей и веток"(с). В пределах 0.5 мегадоллара можно построить систему на 45 Тб из нескольких узлов (резерв n+1 исходя из случая резервирования узла с максимальным единичным объемом) на базе обычных ящиков супермикры с одними только ssd intel s3700 или s3710. RAID-контроллер - Adaptec 8. SAN - FC 16 Gbit/s (типа Brocade 6510) или Ethernet 40/56 Gbit/s (личные симпатии к Mellanox). С MPIO для отказоустойчивости, естественно.
Данные раскладываются по узлам исходя из упомянутых filegroups в сервере sql. Требуемая производительность размазывается по хостам хранения.
Про применимость в данном случае ЕМС ScaleIO пока ничего утверждать не готов. Но может быть, кто-то более знающий поправит и дополнит?

спс за предложение... я просто не очень в теме как с обычных серверов на FC выводят диски... хотя так как СХД те же сервера... то видимо механизм существует, да и не очень понятно как управлять такой штукой в целом а не каждый узлом в отдельности...

[Stranger03]

Вы просто змей искуситель.... мне думается всем будет интересно.... какие варианты могут быть для систем с большим объемом информации

Кому интересно, могут обратиться ко мне напрямую, контакты можно найти,