2хHP DL360+QLogic 2312 соединяем с внешним хранилищем

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

2хHP DL360+QLogic 2312 соединяем с внешним хранилищем

Сообщение a.salnikov » 04 ноя 2004, 06:43

Стоит перед нами такая задачка: Нужно 2 машины HP DL360 (Крутится RedHat Advansed  Server 3) объединить в кластер и законнектить с внешним хранилищем по FC
В каждую из машин Поставили по карте QLogic 2312. Соединили оптическими шнурками со свичём оптоволоконным. Свич соответственно соединён с хранилищем. Хранилище - огромный массив, на котором выделено место для данной задачи.

Вопрос вот в чём. Заплутали немного в настройках.  Как теперь удостовериться в том что наши карточки видят хранилище?

Аватара пользователя
CyberDrake
free-lance moderator
Сообщения: 338
Зарегистрирован: 23 авг 2002, 10:39
Откуда: Санкт-Петербург
Контактная информация:

Сообщение CyberDrake » 04 ноя 2004, 11:02

самое простое: зайдите в BIOS Qlogic и сделайте сканирование устройств
Если не увидите, то проверьте следующее:
1. Дан ли со стороны хранилища доступ к выделенным логическим дискам для данных адаптеров (на уровне WWN адаптеров).
2. Если между адаптерами и хранилищем стоят FC коммутаторы, проверьте политику зон.
3. Также посмотрите в BIOS Qlogic установки Hard Loop ID, Топологию и скорость передачи.

А что за такое огромное хранилище?  :wink:

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 04 ноя 2004, 11:51

Из БИОСа FC видно хранилище

Чтобы машины работали с хранилищем БИОС должен быть включен?
А то в документации непонятно. Толи он должен быть включен ЧТОБЫ ЗАГРУЖАТЬСЯ С УДАЛЁННЫХ ДИСКОВ, толи вообще чтобы сервер видел удалённые диски.

Грузятся машины с локальных дисков.

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 04 ноя 2004, 11:54

CyberDrake писал(а):
А что за такое огромное хранилище?  :wink:
Навороченая система. Кластер. С огромныйм дисковым массивом.
На этом массиве выделяется место под разные задачи. Какая то система "Супер Дом" от HP

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 04 ноя 2004, 12:00

На обеих машинах в папках /proc/scsi/qla2300

Появились файлы
0
-HbaApiNode

Что нужно сделать теперь чтобы получить доступ к удалённому диску?
Насколько я понял создавать общую точку монтирования. Подскажите как это правильнее сделать.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 04 ноя 2004, 12:29

А хранилище-то какое?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 04 ноя 2004, 12:32

Сконфигурирован ли на нем доступ для ваших машин, и как?

Вообще, дайте информацию о железе и его конфигурации по максимуму. А то Вы хотите, что бы мы заочно(!) помогли подключиться к черному ящику!

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 04 ноя 2004, 12:39

gs писал(а):А хранилище-то какое?
просто не увидел разницы. думал без разницы :о)

Там RAID массив.
HP Storage Works Virtual Array 5000  вроде.

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 04 ноя 2004, 12:44

gs писал(а):Сконфигурирован ли на нем доступ для ваших машин, и как?
Сконфигурирован. Этот Дисковый Массив подключен к серверу HP Integrity Superdome (EVA)

Так вот на Еве выделено место. Прописаны помоему порты на FC свиче которые имеют доступ именно к этой части массива
gs писал(а):Вообще, дайте информацию о железе и его конфигурации по максимуму. А то Вы хотите, что бы мы заочно(!) помогли подключиться к черному ящику!
Опять же не вижу смысла. Наверное я просто недопонял гд ето
Вопрос заключался немного в другом.
1. Биос FC карты должен быть включен для нормальной работы?
2. Как правильнее сделать точку монтирования

Если я не прав - подскажите пожалуйста

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 09 ноя 2004, 06:51

Поставили новые драйвера (в которых добавлена поддержка EVA) вроде сталивидеться удалённые диски.

Осталось теперь выяснить как их примонтировать

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 09 ноя 2004, 10:44

В /proc/scsi/scsi

Код: Выделить всё

Attached devices:                                                      
Host: scsi0 Channel: 00 Id: 00 Lun: 00                                 
  Vendor: COMPAQ   Model: HSV110 (C)COMPAQ Rev: 3010                   
  Type:   Unknown                          ANSI SCSI revision: 02      
Host: scsi0 Channel: 00 Id: 00 Lun: 01                                 
  Vendor: COMPAQ   Model: HSV110 (C)COMPAQ Rev: 3010                   
  Type:   Direct-Access                    ANSI SCSI revision: 02      
Host: scsi0 Channel: 00 Id: 01 Lun: 00                                 
  Vendor: COMPAQ   Model: HSV110 (C)COMPAQ Rev: 3010                   
  Type:   Unknown                          ANSI SCSI revision: 02  


в /proc/scsi/qla2300/0

Код: Выделить всё

QLogic PCI to Fibre Channel Host Adapter for QLA2340:                  
        Firmware version:  3.02.28, Driver version 7.00.03-fo          
Entry address = f8881060                                               
HBA: QLA2312 , Serial# H32082                                          
Request Queue = 0x36fb0000, Response Queue = 0x36fa0000                
Request Queue count= 512, Response Queue count= 512                    
Total number of active commands = 0                                    
Total number of interrupts = 79                                        
Total number of IOCBs (used/max) = (0/600)                             
Total number of queued commands = 0                                    
    Device queue depth = 0x20                                          
Number of free request entries = 502                                   
Number of mailbox timeouts = 0                                         
Number of ISP aborts = 0                                               
Number of loop resyncs = 1                                             
Number of retries for empty slots = 0                                  
Number of reqs in pending_q= 0, retry_q= 0, done_q= 0, scsi_retry_q= 0 
Number of reqs in failover_q= 0                                        
Host adapter:loop state= <READY>, flags= 0x860833                      
Dpc flags = 0x40                                                       
MBX flags = 0x0                                                        
SRB Free Count = 4096                                                  
Link down Timeout = 000                                                
Port down retry = 030                                     
Login retry count = 030                                   
Commands retried with dropped frame(s) = 0                
Configured characteristic impedence: 50 ohms              
Configured data rate: 1-2 Gb/sec auto-negotiate           
                                                          
                                                          
SCSI Device Information:                                  
scsi-qla0-adapter-node=200000e08b0bb22b;                  
scsi-qla0-adapter-port=210000e08b0bb22b;                  
scsi-qla0-target-0=50001fe1500227fc;                      
scsi-qla0-target-1=50001fe1500227f9;                      
                                                          
FC Port Information:                                      
scsi-qla0-port-0=50001fe1500227f0:50001fe1500227fc;       
scsi-qla0-port-1=50001fe1500227f0:50001fe1500227f9;       
scsi-qla0-port-2=200000e08b0aec8e:210000e08b0aec8e;       
                                                          
SCSI LUN Information:                                     
(Id:Lun)  * - indicates lun is not registered with the OS.
( 0: 0): Total reqs 1, Pending reqs 0, flags 0x0*, 0:0:84,
( 0: 1): Total reqs 7, Pending reqs 0, flags 0x0, 0:0:84, 
( 1: 0): Total reqs 1, Pending reqs 0, flags 0x0*, 0:0:85,

По видимому видятся диски удалённые, а как подцепить не знаю

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 10 ноя 2004, 11:10

никто так и не подскажет как мне подключить удалённые диски? (примонтировать их или ещё что то)

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 10 ноя 2004, 12:14

Сам разобрался. посмотрели в partitions. Там появился диск sda.

Далее fdisk /dev/sda
Потом mke2fs /dev/sda1
И наконец mount /dev/sda1 /dbs

Теперь встала другая проблема. Примонтировали на одной машине этот удалённый диск. Закинули туда файл.  Примонтировали на второй машине этот раздел одновременно с первой машиной. Вторая машина тоже увидела этот файл. С первой машины удалили файл на внешнем диске. А со второй машины этот файл видится всё равно.

Встал вопрос: Как синхронизировать всё это?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 10 ноя 2004, 12:46

Так делать нельзя. В RH есть GFS. С его помощью можно одновременно использовать один раздел на хранилище.

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 10 ноя 2004, 13:50

спасибо почитаю

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 16 гостей