iSCSI,FC,SAS конфиграция, лимиты, надёжность, ограничения

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

iSCSI,FC,SAS конфиграция, лимиты, надёжность, ограничения

Сообщение ov3rm1nd » 10 сен 2007, 15:54

Есть:
веб-сервер (сайт) с большой посеoамостью, огромное количество файлов загруженных пользователями video,image, other binary на отдельном сервере с 2TB SATA в raid

Задача:
Сделать быстро доступное сетевое хранилище для загружемых пользователями
файлов (изображения видео архиви и прочие любые файлы)

Условия :
Необходима железка какойнибуть rack mount вроде http://www.ixbt.com/pr/trinity-podcast-server.shtml с расширямостью до 5-10TB,
Быстрота действия.
Бюджет неограничен.

Варианты :
1. iSCSI по 1Gbit,
2.FC
3. SAS ?
4. just NFS over 1Gbit enough

Что предпочтительнее для данных целей (web-server) ?
К хранилищу должны иметь доступ как минимум 5 серверов (2 распределения нагрузки, 1 отдача статики , mysql cluster)

BTW: Какие конфигурации посоветуете для mysql -cluster из 3 - 4 серверов частности интересует что брать для MGM-NODE и MASTER-NODE

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 сен 2007, 15:58

Эээ... насколько неограничен бюджет и можно ли подробнее о нагрузке (в цифрах каких-нибудь)?

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 10 сен 2007, 18:03

Бюджет на всё про всё 50к$

Apache/Nginx ~ 20-50 per second

mysql нарузки особой  невозникает быстрых запросов ~ 300 per second

-- Кофигурация сервера на котором mysql и точно такаяже железка стоит для обработки запросов apache/nginx--

Код: Выделить всё

cat /proc/cpuinfo  | grep "model name"
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name 

free -m
             total       used       free     shared    buffers     cached
Mem:         16229      15932        296          0        198      13318
-/+ buffers/cache:       2415      13814
Swap:         3812          0       3812

Конфигурация 2TB SATA

Код: Выделить всё

cat /proc/cpuinfo  | grep "model name"
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz

free -m
             total       used       free     shared    buffers     cached
Mem:          4053       3823        230          0         74       3573
-/+ buffers/cache:        174       3878
Swap:         3349          0       3348
iostat на 2TB SATA он в данный момент смонтирован на 2 сервера с него отдаются изображения jpg gif png и также кладутся бекапы

Код: Выделить всё

iostat -x
avg-cpu:  %user   %nice    %sys %iowait   %idle
           6.58    0.00    0.61    1.84   90.97

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          1.19  19.58 12.97  4.62  959.64  193.73   479.82    96.86    65.56     0.57   32.24   5.84  10.28
Вся система сейчас загибается на NFS over 100mbit/s,

Вопросы всё теже :) спасибо.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 сен 2007, 18:09

1. Можно Нетапповскую системку поставить. Будет очень даже.
2, 3. Прямое подключение по файберу или сасу потребует шаринговую файловую систему типа IBM GPFS. В принципе можно, но надо ли при такой нагрузке? Да и деньги, плюс гемор...
4. Можно и просто дисковую систему и к ней кластер из парочки файлеров.

Вариант 1 удобен, т.к. может раздавать по разным протоколам.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 сен 2007, 18:16

Хотя в принципе, если сервера будут работать каждый со своим луном (т.е. общего физического диска не надо), то варианты 2 и 3 вполне себе. Даже наверно быстрее всего бегать будут (правда более 4 (FC) или 6 (SAS) серверов потребуют коммутаторы - т.е. дополнительные бапки).
Мы можем разные варианты прикинуть собственно...

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 10 сен 2007, 19:37

Посмотрел NetApp,  умеет много но нужен linux.

Нагрузка будет возрастать,
планируется redhat cluster c GFS под балансировку и HA

Как вариант конфигурации:

На каждый сервер по FC адаптеру, всё в switch -> к дисковой системе например такой Xyratex / Fibre Channel - SAS/SATA / F5402E

В результате я получу обший диск быстрым доступом для каждого сервера где будут хранится файлы  ?

цена и альтернативы до 10TB  Xyratex / Fibre Channel - SAS/SATA / F5402E ?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 10 сен 2007, 20:08

ov3rm1nd
Посмотрел NetApp,  умеет много но нужен linux.
Что Вы имеете в виду?

В результате я получу обший диск
При использовании GFS - да.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 сен 2007, 21:00

Какая связь между нетаппом и линуксом? Нетапп - это дисковая железка, которая умеет отдаваться как по файберу, так и по айскази и т.п. В общем подумайте - если что, подскажем.

Если ориентируетесь на ГФС и не пугает поработать напильником, то хератекс вполне пойдет. Просто нагрузки у Вас весьма далеки от тех, где требуется прямой файберный линк. Да и ГФС (и ей подобные системы) свои тормоза и пакости тоже вносят.

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 11 сен 2007, 13:22

По поводу NetApp и linux имел ввиду
http://www.netapp.com/products/storage- ... specs.html
Внизу таблица Software
Operating System   Network Appliance™ Data ONTAP
Имелось ввиду то что там не linux в качестве ОС или я неправ ?.

Какую модель смотреть для моего случая и ещё хотелось бы чтоб железка умела 1Gbit ?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 11 сен 2007, 13:25

Имелось ввиду то что там не linux в качестве ОС или я неправ ?.
Да, там не linux в качестве ОС. А какое это имеет значение? И почему Вас в таком случае не смущает то, что в контроллерах Xyratex тоже не linux?

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 11 сен 2007, 13:29

exLH писал(а):Имелось ввиду то что там не linux в качестве ОС или я неправ ?.
Да, там не linux в качестве ОС. А какое это имеет значение? И почему Вас в таком случае не смущает то, что в контроллерах Xyratex тоже не linux?
Несмущает если всё работает :) Какие варианты с NetApp предложите ?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 11 сен 2007, 14:25

Для Ваших задач предложил бы FAS2020. iSCSI для ненагруженных сервисов, NFS для отдачи файлов.  Можно конечно и по FC подключиться и через GFS данные разделять, но не уверен, что в Вашем случае это будет лучше.

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 11 сен 2007, 15:28

Посмотрел FAS2020 хороший вариант, где можно узнать цены ?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 11 сен 2007, 15:35

Цены можно получить, запросив их :)
Какая примерно конфигурация в части дисковой подсистемы интересует (объем, тип дисков SAS/SATA)?
И подходит ли тот вариант подключения, который я описал?

ov3rm1nd
Junior member
Сообщения: 12
Зарегистрирован: 07 сен 2007, 16:17
Откуда: msk,nnov

Сообщение ov3rm1nd » 11 сен 2007, 15:58

exLH писал(а):Цены можно получить, запросив их :)
Какая примерно конфигурация в части дисковой подсистемы интересует (объем, тип дисков SAS/SATA)?
И подходит ли тот вариант подключения, который я описал?
На данном в FC нет необходимости поэтому,

4TB SATA,  для iSCSI я так понимаю нужные будут ешё и адаптеры в остальные серверы для доступа к этому диску т.e я хочу воткнуть адаптер в сервер который будет раздавать файлы которые храняться на FAS2020 и опять таким почему бы мне необойтись вместо iSCSI простым 1Gbit NFS?

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 16 гостей