Adaptec max cache 3.0 + XFS?

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
lexep
Junior member
Сообщения: 2
Зарегистрирован: 19 окт 2014, 05:05

Adaptec max cache 3.0 + XFS?

Сообщение lexep » 19 окт 2014, 13:55

Всем здравствуйте. Заранее прошу прощения если где какие глупости несу ибо файлопомойку такого уровня делаю впервые.

Немного предистории :D . Озадачили меня созданием файлопомойки для раздачи файлов по фтп. Собирать пришлось из разных старых серверов, получился неплохой девайс с 2-мя ксеонами 5600 Series и 12 гб оперативы, но изюминкой данной машины стал контроллер Adaptec ASR71605Q.
Чтобы максимально увеличить объём дисковой системы было решено использовать бэкплэйн supermicro SAS-836EL1, тут уже всё было не так гладко потому что чип LSI SAS x28 поддерживает только 3Гб/с, я подумал что этого будет достаточно так как будет использоваться ССД кэш который будет подключен на прямую в контроллер через отдельный порт, вот только диски попались разные INTEL 400i(240GB) и ocz deneva 2 (400GB) как потом выяснилось под max cache 3 в raid0 можно объединять диски только одного объёма на ocz пустует 150 гигов. Механические диски подключил 15 SEAGATE ST32000645SS(SAS 2ТБ) и 1 IBM-ESXS ST32000444SS(SAS 2ТБ).

В общем к делу
Поставил я туда debian 7, прошил контроллер последней прошивкой(7.5-0 (32033)), драйвер 1.2-0 (30300). Все 16 механических дисков собрал в raid5 и разметил в XFS. Запустил пользователей и если честно очень удивился, отдача при 200 сессиях в лучшем случае 700 мегабит, ну думаю фигня сейчас заполнятся ССДхи и процесс пойдёт, но тут вылезла интересная фигня если через консольку посмотреть ./arcconf GETLOGS 1 CACHE LOGICALDRIVE ALL tabular

Код: Выделить всё

./arcconf GETLOGS 1 CACHE  LOGICALDRIVE ALL tabular 
...
 Overall SSD cache statistics
               SSD cache size................................... 1830100
               Pages on fetch list.............................. 0
               Pages on dirty list.............................. 0
               Pages on failed list............................. 0
               Fetch list candidates............................ 0
               Candidate replacement............................ 0
...
                 Cache statistics

                  Uncached IOs
                     Uncached reads................................... 5816181
                     Uncached writes.................................. 38519

                  DRAM cache statistics
                     DRAM cache full hit reads........................ 20916937
                     DRAM cache fetch/flush wait reads................ 0
                     DRAM cache hybrid reads.......................... 41447
                     DRAM cache full hit writes....................... 173024
                     DRAM cache fetch/flush wait writes............... 0
                     DRAM cache flushes............................... 37799

                  SSD cache statistics
                     Read hits........................................ 3022656
                     Write hits....................................... 0
                     Updates on writes................................ 479
                     SSD page direct allocations...................... 0
                     Invalidation by replacement...................... 10337
                     Invalidation by R/W balance...................... 31
                     SSD invalidations by full stripe size............ 0
                     Invalidation by other............................ 75852
                     Page fetches..................................... 1534656
                     SSD flushes...................................... 0
                     Valid pages...................................... 595561
                     SSD cache dirty pages............................ 0

                  SSD cache page hit distribution
                     SSD pages hit 0.................................. 64148
                     SSD pages hit 1.................................. 99309
                     SSD pages hit 2 to 3............................. 165152
                     SSD pages hit 4 to 7............................. 151104
                     SSD pages hit 8 to 15............................ 75871
                     SSD pages hit 16 to 31........................... 35711
                     SSD pages hit 32 to 63........................... 4238
                     SSD pages hit 64 to 127.......................... 28
                     SSD pages hit 128 to 255......................... 0
                     SSD pages hit 256 plus........................... 0
Valid pages - это как я понял количество сохранённых блоков, а SSD cache size общее количество блоков на дисках. Проблема в том, что после добавления maxCache Container'а Valid pages доходит, до какого то значения и больше не меняется. На данный момент почти треть использована и не двигается, при этом скорость немного выросла до 1,05 гигабит.

Вопрос номер раз: кто нибудь использовал max cache 3.0 с XFS? проблемы были? Думаю в сторону файловой потому что сначала разметил массив в ext4(думал система получилась мощной и не стоит уже заморачиватся) скорость получилась к слову те же 700+- мегабит, но maxCache Container заполнился полностью и скорость была скачками до 1.5 гигабит.
Вопрос номер два: нормальная ли скорость рандомного чтения 700+- мегабит на данном контроллере с САС дисками или надо выкинуть пару механических дисков и подключить всё на прямую в контроллер?

Буду очень признателен любым советам, уже просто не знаю куда ещё копать. XFS в интернетах очень хвалили и она была моей последней надеждой, даже ядро пересобрал на 3.17 думал, может чего поменялось в коде файловых систем, но нет. :cry:

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Adaptec max cache 3.0 + XFS?

Сообщение Tert » 28 окт 2014, 13:04

lexep
А через какой канал Ethernet у вас пользователи качают данные?

Кстати, скорость между контроллером и бекплейном - 12 Гб/с, т.к. они соединены по 4 каналам SAS.

lexep
Junior member
Сообщения: 2
Зарегистрирован: 19 окт 2014, 05:05

Re: Adaptec max cache 3.0 + XFS?

Сообщение lexep » 28 окт 2014, 23:20

Tert писал(а):lexep
А через какой канал Ethernet у вас пользователи качают данные?
Пока через 2 гигабитных Intel Corporation 82576 Gigabit Network Connection (rev 01) встроеных в материнку и объединёных в логический интерфейс. Выход со свича 10g.

Я тут пока сам ковырялся ещё попробовал заново создавать макс кэш пул и в один раз он у меня заполнился на ~85% скорость отдачи в это время была 1.85 гигабит, так что думаю написать в адаптек, может они подскажут какие то хитрости работы с макс кэш 3.0.
И кстати я решил посмотреть что будет дальше с заполненым на 85% кэшем, на следующий день скорость была 1.2 и через день 800-900 мегабит т.е. кэш нифига не обновляется. flush and fetch rate ставил разные значения от 10 до 1000 ничего не менялось.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Adaptec max cache 3.0 + XFS?

Сообщение Umlyaut » 03 ноя 2014, 15:37

Товарищ, меня немного смущает логическая увязка с FS вообще (и с XFS в частности).

Дело в том, что аппаратное кеширование с помощью SSD на рейд-контроллерах (MaxCache у Адаптека и CacheCade у LSI) вообще говоря "прозрачно" для OS/FS, работая ниже, на уровне блоков данных, находящихся на носителях дисковой группы (HDD).
Т.е., на мой взгляд, можно говорить о корректности/эффективности реализации SSD-кеширования тем или иным вендором, но лично я связи с типом FS выше уровня работы такового кеширования не усматриваю.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 31 гость