СХД 100ТБ, на что смотреть?

[metallic]

50тыс$ это большой бюджет ?
100тыс$ ?

50-100, как мне кажется еще как-то приемлемо

500тыс$ ?
1млн$ ?

А это уже перебор

почти сразу будет "чем дешевле, тем хуже"

Это я понимаю, но насколько хуже?

а с определенной величины - "чем дешевле тем невозможнее".

Ну вот на САТА дисках, как я понимаю, такую задачу решить невозможно.

Собственно хочется посчитать среднее типовое решение под ТЗ, дальше буду общаться с начальством, потянем ли мы, если потянем, будем дальше общаться, если нет - будем дальше грызть кактус(опять собирать что-то дешевое на САТА или САС 7200rpm)

[hitower]

Нет, это не получится.

Почему? Софт пишет только в каталог, где лежат эти тифы?

Каталогов много. Один из пунктов ТЗ - 100ТБ одной ФС, соответственно запись и чтение на эту ФС будут параллельными.

Одной "физической" ФС? Вы не устанете ждать потом результатов fsck, случись вдруг что?
Не говоря уже о возможности потерять одним махом все данные и восстанавливать 100ТБ, а не 10-20 при разбиениии на разные массивы и файловые системы, с последующим монтированием/симлинками куда надо.

[metallic]

Одной "физической" ФС? Вы не устанете ждать потом результатов fsck, случись вдруг что?

Ну а что делать? Например на предыдущем сервере 20ТБ и JFS, fsck выполнялся примерно 2-3 часа, ну а на 100Тб и SAS дисках, думаю, не более 10 часов будет, но fsck - это же аварийная ситуация.

Не говоря уже о возможности потерять одним махом все данные и восстанавливать 100ТБ

Ну современные журналируемые ФС достаточно надежны, так что вероятность краха структуры ФС достаточно мала, при том, что сервер будет на ИБП и выключаться будет только штатно.

а не 10-20 при разбиениии на разные массивы и файловые системы, с последующим монтированием/симлинками куда надо.

Не, это достаточно геморно, нужно развивать скил экстрасенса, чтобы предугадать какой каталог сколько места займет, чтобы распределить по нескольким разделам.

[exLH]

50-100, как мне кажется еще как-то приемлемо

Я вижу какие-то решения примерно начиная с увеличенного в 5 раз бюджета. В пределах 100тыс можно купить дисков на рынке и рассовать их по корпусам. На сдачу нанять студента, который поднимет все это в воздух и быстро сбежит, пока ничего не упало.

[metallic]

50-100, как мне кажется еще как-то приемлемо

Я вижу какие-то решения примерно начиная с увеличенного в 5 раз бюджета. В пределах 100тыс можно купить дисков на рынке и рассовать их по корпусам. На сдачу нанять студента, который поднимет все это в воздух и быстро сбежит, пока ничего не упало.

Я не ориентируюсь в ценах на такое оборудование, поэтому к вам и обратился, прошу посчитать не самое дорогое решение под данное ТЗ.
100 маловато, да, одни диски столько обойдутся, сам уже прикинул. Вот и хочу увидеть порядок цен, чтобы ориентироваться, бюджета на оборудование нет, есть только задача, из нее и исходим.

[exLH]

В указанный мной бюджет можно положить что-то типа IBM DCS9900. Эта железка предназначена как раз для подобных нагрузок.

[metallic]

В указанный мной бюджет можно положить что-то типа IBM DCS9900. Эта железка предназначена как раз для подобных нагрузок.

500.000$ ?
Не, это не вариант. Увидев цифры, посовещавшись, решили, что в принципе пережить можно, если будут массивы несколькими кусками, даже если будет 4 сервера по 25Тб, это сильно сократит расходы?

[exLH]

даже если будет 4 сервера по 25Тб, это сильно сократит расходы?

Конечно сильно, так как тем самым Вы пойдете по вышеописанному пути "В пределах 100тыс можно купить дисков на рынке и рассовать их по корпусам. На сдачу нанять студента, который поднимет все это в воздух и быстро сбежит, пока ничего не упало."

[metallic]

рассовать их по корпусам

Например по таким?

[gs]

У супермикры есть ящики на 36 дисков в 4U. Причем каскадом можно подключить еще и джибод на 48 винтов.
Но, сами понимаете, надежность такой конструкции будет далека от двухконтроллерных стораджей. Но это единственное, что влезет в бюджет (т.е. серверы с мощными внутренними рэйд контроллерами и кучей дисков).

[hitower]

Собственно, сервер может быть одним - необязательно разбрасывать диски по нескольким серверам. Но от одного физического массива и файловой системы я бы держался подальше.

[metallic]

У супермикры есть ящики на 36 дисков в 4U.

Видел, но 36 маловато, на 48 бы в самый раз.

Причем каскадом можно подключить еще и джибод на 48 винтов.

А с этого места поподробнее, видел но не понял как это работает, в двух словах можно или ссылочку где почитать? Что из себя представляет джибод? Просто корзина с дисками и БП ? Как подключается к основному корпусу? Как будет происходить одновременный старт/перезагрузка/выключение и т.д. ?

Но, сами понимаете, надежность такой конструкции будет далека от двухконтроллерных стораджей.

Понятное дело, но и 500к$ у нас нет на эти задачи. Баланс надежности подправим с помощью IBM TS3200 ultium 5, кстате не подскажете сколько будет стоить с одним/двумя драйвами или где поглядеть? В инете только на лто-4 нашел цену, порядка 400тыр, на лто-5 не вижу.

Но это единственное, что влезет в бюджет (т.е. серверы с мощными внутренними рэйд контроллерами и кучей дисков).

Что можете сказать про Adaptec RAID 52445 ?

[hitower]

Видел, но 36 маловато, на 48 бы в самый раз.

36 дисков в сервере, 48 - во внешнем ящике, который подключается SAS кабелем.

А с этого места поподробнее, видел но не понял как это работает, в двух словах можно или ссылочку где почитать? Что из себя представляет джибод? Просто корзина с дисками и БП ? Как подключается к основному корпусу? Как будет происходить одновременный старт/перезагрузка/выключение и т.д. ?

Джибод - корзина с дисками и БП. Подключается 1-2 кабелями.

Понятное дело, но и 500к$ у нас нет на эти задачи. Баланс надежности подправим с помощью IBM TS3200 ultium 5, кстате не подскажете сколько будет стоить с одним/двумя драйвами или где поглядеть? В инете только на лто-4 нашел цену, порядка 400тыр, на лто-5 не вижу.

Примерно столько же, Вы точнее скажите, сколько нужно - прикинем.

Что можете сказать про Adaptec RAID 52445 ?

Достаточно 5805 1-2 шт.

[gs]

В сервер с 36 дисками ставится адаптек 5445 (например). К его внутреннему порту цепляются гирляндой бэкплейны внутри ящика, а к внешнему - внешний ящик с винтами на 48 дисков. Получаете 84 винта в одной шняге. Правда надежность целиком и полностью зависит от нерезервированного контроллера.

[metallic]

36 дисков в сервере, 48 - во внешнем ящике, который подключается SAS кабелем.

SAS-кабелем к чему подключается, к контроллеру в сервере?

Джибод - корзина с дисками и БП. Подключается 1-2 кабелями.

Подключается к чему?

Примерно столько же, Вы точнее скажите, сколько нужно - прикинем.

Нужно IBM System Storage TS3200 Tape Library Express, т.е. библиотека на 44 картриджа и с приводом LTO-5

Достаточно 5805 1-2 шт.

Как это для 84 дисков(36+48) достаточно 1-2 8-ми портовых контроллера!? я что-то недопонимаю