Форум Тринити

Открытый технический форум по серверам и системам хранения данных, кластерным решениям, SAN, NAS.
Microsemi infortrend storage
Текущее время: 15 авг 2018, 17:38

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 20 янв 2018, 18:52 
Не в сети
member

Зарегистрирован: 18 янв 2013, 09:16
Сообщения: 26
Откуда: Ufa
Добрый вечер, уважаемые гуру. Столкнулся с непоняткой. Приехал сервер SuperMicro SSG-6048R-E1CR36N. 2 SSD Intel Original SATA III 800Gb SSDSC2BX800G401 DC S3610 Series 2.5" в зеркало под систему на встроенном SATA-контроллере, 15 винтов HGST Enterprise HE10 HDD 3.5" SAS 10000Gb, 7200rpm, 256MB (HUH721010AL5204) в рэйд 10 с одним таким же в глобал хот спайр. Под CacheCade PRO 2.0 2 диска SSD 2.5'' HGST HUSMR1619ASS234 1.9Tb SAS 12Gb/s SSD1600MR. Включаю кэш - жуткие тормоза. База в 1 терабайт ресторится почти 2 часа. Убираю кэш - 30 минут. Это реальная работа, когда каждая минута стоит денег. Иопсы тоже пропадают. Где засада? Диск P4600 почему-то умер спустя неделю эксплуатации. Как организовать систему, исходя из реалий?
PS. Что, на взгляд гуру, предпочтительнее - 1 Intel® SSD DC P4600 4 Tb, или 4 SSD 2.5'' HGST HUSMR1619ASS234 1.9Tb SAS 12Gb/s SSD1600MR в десятом рэйде? Спасибо, уважаемые. )


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 30 июл 2018, 15:09 
Не в сети
Junior member
Аватара пользователя

Зарегистрирован: 08 окт 2002, 03:47
Сообщения: 9
Откуда: Spb
Думаю ваш Cachecade не умеет работать с SSD - фирмваре не та.

4 диска быстрее ))

А что Тринити молчат?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 30 июл 2018, 17:39 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 311
Откуда: Москва
Graf писал(а):
Думаю ваш Cachecade не умеет работать с SSD - фирмваре не та.


Вот тут поподробнее можно? Что значит - "не та фирмварь"?

Насколько я себе представляю, рейд-контроллер НЕ взаимодействует с фирмварью ssd напрямую.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 30 июл 2018, 17:53 
Не в сети
Junior member
Аватара пользователя

Зарегистрирован: 08 окт 2002, 03:47
Сообщения: 9
Откуда: Spb
Каждый тип LSI контроллера имеет свою прошивку. Так вот есть модели контроллеров умеющие работать с SSD и к сожелению есть модели, которые с SSD не работают - например или диски отваливаются или тормоза жуткие. Производитель он оптимизирует прошивку под такие диски. Кстати еще и не все диски SSD могут быть совместимы. Одни могут при наличии правильной фирмаре работать, а другие нет. В общем умет ли контроллер работать с SSD - это написано в доках, на сайте, в листе совместимости (если не найдете всегда можно в саппорте производителя запросить, ну или у поставщика.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 30 июл 2018, 18:21 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 311
Откуда: Москва
Fan писал(а):
Под CacheCade PRO 2.0 2 диска SSD 2.5'' HGST HUSMR1619ASS234 1.9Tb SAS 12Gb/s SSD1600MR. Включаю кэш - жуткие тормоза. База в 1 терабайт ресторится почти 2 часа. Убираю кэш - 30 минут. Это реальная работа, когда каждая минута стоит денег. Иопсы тоже пропадают. Где засада?



У меня есть подозрение, что тут мы имеем дело с классическим "фризом" у ssd при массированных долговременных операциях записи.

Поскольку CacheCade2 в режиме записи объединяет два Ваших ssd кеша в зеркало, то скорость на запись у него как у одиночного ssd. И если отталкиваться от Ваших данных "объём / время" рестора, то данные льются на ssd CC с постоянной скоростью ~555MB/s - для непрерывной записи такого объёма это очень много, ssd в норме не может держать такой уровень i/o долго.

Ёмкости заводской WLA просто не хватает для того, чтобы BGC успевала превентивно очищать ячейки флеша перед записью, что приводит к тормозам из-за принудительной очистки непосредственно в момент записи.

При этом у нас нет возможности искусственно "растянуть" WLA, оставив неразмеченной часть объёма ssd - СacheСade использует весь объём автоматом.

Именно по этим причинам лично я стараюсь использовать СС исключительно в режиме кеширования чтения с HDD-Шных LUN`ов.
Бо запись на эти LUN`ы можно закешировать и без использования CC - на уровне приложения (например, in-memory DB), ОС (дисковый кеш), рейд-контроллера (бортовой RAM-кеш контроллера) и, в особых случаях, собственно носителя (встроенный кеш hdd/ssd, хоть это и не комильфо... кроме случаев наличия у последних конденсаторной поддержки).

Если же до зарезу хочется/нужно писАть данные именно на ssd, то делаю ssd-LUN с "недоразмеченным хвостом", чтобы иметь резерв чистого флеша при массированной записи до момента вступления в игру BGC - так сказать, размениваю объём на скорость.

В Вашем случае может показаться, что организовав СС на бОльшем к-ве ssd - от 4-х и выше - Вы получите бОльшую скорость записи, т.к. СС организует из них R10 и при постоянном WP=2 увеличение числа ssd даст прирост скорости записи.

Это не вполне так - да, ssd-кеш целиком будет способен принимать данные от контроллера с бОльшей скоростью, чем сейчас у Вас... но до тех пор, пока снова не упрётся в "наедание" флеша в полном объёме. Просто на бОльшей скорости "по интерфейсу" это произойдёт раньше по времени, но на том же объёме данных на запись (рестор БД) Вы получите в целом ту же задержку.

Да, можно сделать ssd-кеш СС не "под расчёт" - R10 из 4-х 1ТБ-ssd - а "с припуском", из 4-х 2ТБ-ssd - с расчётом на то, что примерно половина объёма ssd останется неиспользованной СС и естественным образом дополнит заводскую WLA.
Беда в том, что по моим воспоминаниям контроллеры LSI не давали сделать CC-группу ssd большего объёма, чем допускается спекой (максимальным объёмом кеша СС) - то есть в приведённом примере СС скорее должен разрешить СС-группу из пары 2ТБ-ssd на запись, объединив их в R1, а вот 4 таких ssd в R10 он дать не должен.

Можно, конечно, проверить, но вот прямо сейчас меня нет под руками ssd большой ёмкости в нужных кол-вах (хотя контроллеры с СС есть :) ).

Вот вкратце так...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 30 июл 2018, 18:33 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 311
Откуда: Москва
Graf писал(а):
Каждый тип LSI контроллера имеет свою прошивку. Так вот есть модели контроллеров умеющие работать с SSD и к сожелению есть модели, которые с SSD не работают - например или диски отваливаются или тормоза жуткие.


Ну я скорее поверю в какие-то косяки матчасти (включая баги в проектировании). Особенно у ssd - их не пёк только ленивый, каждая собака нынче норовит выпустить ssd под своей маркой (а платить ОЕМерам за нормальную базовую модель хотят не все).
Это если не принимать в расчёт случаи, когда отвал или тормоза на совести корзин/бекплейнов и/или некошерных кабелей (такое сплошь и рядом).

Graf писал(а):
В общем умет ли контроллер работать с SSD - это написано в доках, на сайте, в листе совместимости (если не найдете всегда можно в саппорте производителя запросить, ну или у поставщика.


Хех! :)

Ну вот очень многие инженеры со стороны вендоров в непосредственном контакте и не скрывают, что все эти HCL показывают лишь то, что вендору было не в лом прогнать свою железку с неким конечным к-вом устройств, с некоторыми из каковых (попавших собственно в HCL) фатальных глюков на базовых паттернах тестирования не обнаружилось.

Отсутствие девайса в HCL отнюдь НЕ является признаком того, что рекомый непременно запорет работу при его использовании.

И, реагируя на Вашу фразу:

Graf писал(а):
Думаю ваш Cachecade не умеет работать с SSD - фирмваре не та.

(полагаю, фирварь Вы имели в виду ssd-шную, а не контроллера)

повторюсь - фирмварь ssd недоступна для взаимодействия с нею со стороны рейд-контроллера.

То есть можно лишь говорить о том, что у некоторых ssd фирмварь настолько похабна, что со стороны рейд-контроллера сей ssd виден как, скажем, подыхающий hdd или что-то типа того... короче, сообразно поведению этого самого ssd.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 01 авг 2018, 12:27 
Не в сети
Site Admin
Site Admin
Аватара пользователя

Зарегистрирован: 22 авг 2002, 12:03
Сообщения: 2003
Откуда: St. Petersburg
Graf писал(а):
А что Тринити молчат?

когда есть что сказать по делу - говорим.

А вообще вы все некропостеры - посмотрите дату сообщения

_________________
icq 19384232 ; setar@trinity.su


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 01 авг 2018, 16:40 
Не в сети
Junior member
Аватара пользователя

Зарегистрирован: 08 окт 2002, 03:47
Сообщения: 9
Откуда: Spb
Дата - датой. Человеку то - не ответили (
Да и эти контроллеры есть в продаже, вот прямо сейчас и проверил )


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 02 авг 2018, 08:25 
Не в сети
member

Зарегистрирован: 18 янв 2013, 09:16
Сообщения: 26
Откуда: Ufa
Спасибо за пояснения. Спец в этих вопросах неглубокий, теперь чуть продвинулся. От кэша отказался, развернул базы на Р4600, доволен. А SSD в резерв, машина боевая, и пусть они не потребуются. )


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 02 авг 2018, 09:51 
Не в сети
Junior member

Зарегистрирован: 17 июн 2016, 07:33
Сообщения: 18
Интересная засада с СУБД.
Была такая проблема 10 лет назад, отключали кэш всё летает (кэш причем был на Сасе :| :| :| ), включаем висит. Причём траблы были в работе СУБД было 2 инстанса которые начали работать с разной скоростью.
Точнее один инстанс очень сильно прогружали не оптимизированные селекты.
В другой пошли инсёрты.
Решили проблему радикально разделением инстансов, и миграцией СУБД на более быстрые диски.
Думаю объяснять не стоит про OLTP запись СУБД на диск и скорость вращения шпинделя который просто не успевает.
По проблеме 2 варианта.
1. Миграцию СУБД на более быстрые шпиндёли (может не помочь если там 2 инстанса и они на одном Lun-е на sas-е и тем более если сам кэш на sas-е. Скорость работы будет = самому медленному инстансу).
2. Смотреть в работу самой СУБД (точнее характер загрузки - что это инсерт или неоптимизированый селект).


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 02 авг 2018, 12:41 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 311
Откуда: Москва
Fan писал(а):
развернул базы на Р4600, доволен


Не страшно, на одиночном-то носителе без редундантности? :)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: LSI3108 CacheCade PRO 2.0
СообщениеДобавлено: 02 авг 2018, 15:07 
Не в сети
member

Зарегистрирован: 18 янв 2013, 09:16
Сообщения: 26
Откуда: Ufa
Страшновато, не скрою. Зеркало на постаревшем сервере поднято, прикрывает задницу.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB