Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

У вас сложности? Наши специалисты постараются помочь вам. Если вы сами сталкивались с похожими проблемами - поделитесь опытом.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
khrustalov
member
Сообщения: 33
Зарегистрирован: 11 янв 2007, 12:12
Откуда: SPb

Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение khrustalov » 04 мар 2009, 11:27

Доброго дня всем! Прикупили очередную машинку Intel Modular Server (MFSYS25) в конфигурации с двумя SCM.
Согласно последнему compatibility list-у система сертифицирована под SLES 10 SP1 в Dual SCM конфигурации.

Поставил SUSE Linux Enterprise Server 10 SP1 x64
На Intel Modular Server (MFSYS25) прошита последняя прошивка P2.6, драйвера и необходимые модули все с сайта Intel, предназначенные для этой прошивки и этой ОС, device-mapper и multipath-tools стандартные из поставки ОС, как и рекомендуется интелом.

При установке использовал соответствующий мануал: http://download.intel.com/support/mothe ... on_bkm.pdf


В /var/log/messages периодически валятся ошибки вида:

Код: Выделить всё

Mar  3 14:35:21 blade21 kernel: end_request: I/O error, dev sdc, sector 0
Mar  3 14:35:21 blade21 kernel: end_request: I/O error, dev sdd, sector 0
Mar  3 14:35:22 blade21 kernel: end_request: I/O error, dev sdc, sector 0
Mar  3 14:35:22 blade21 kernel: Buffer I/O error on device sdc, logical block 0
Mar  3 14:35:22 blade21 kernel: end_request: I/O error, dev sdd, sector 0
Mar  3 14:35:22 blade21 kernel: end_request: I/O error, dev sdc, sector 41943032
Mar  3 14:35:22 blade21 kernel: end_request: I/O error, dev sdc, sector 41943032
Mar  3 14:35:22 blade21 kernel: end_request: I/O error, dev sdc, sector 41942776
multipathd работает, multipath -ll выдает следующее:

Код: Выделить всё

22252000155dd14e3dm-0 Intel,Multi-Flex
[size=20G][features=1 queue_if_no_path][hwhandler=1 intel]
\_ round-robin 0 [prio=50][active]
\_ 0:0:0:0 sda 8:0 [active][ready]
\_ round-robin 0 [prio=1][enabled]
\_ 0:0:1:0 sdc 8:32 [active][ready]
22249000155b32926dm-1 Intel,Multi-Flex
[size=200G][features=1 queue_if_no_path][hwhandler=1 intel]
\_ round-robin 0 [prio=50][active]
\_ 0:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=1][enabled]
\_ 0:0:1:1 sdd 8:48 [active][ready]
ls -l /dev/disk/by-name/ :

Код: Выделить всё

total 0
lrwxrwxrwx 1 root root 10 Mar 3 2009 22249000155b32926 -> ../../dm-1
lrwxrwxrwx 1 root root 10 Mar 3 2009 22249000155b32926-part1 -> ../../dm-2
lrwxrwxrwx 1 root root 10 Mar 3 2009 22252000155dd14e3-part1 -> ../../dm-3
lrwxrwxrwx 1 root root 10 Mar 3 2009 22252000155dd14e3-part2 -> ../../dm-4
ls -l /dev/disk/by-id/ :

Код: Выделить всё

total 0
lrwxrwxrwx 1 root root 9 Mar 3 2009 edd-int13_dev80 -> ../../sda
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part2 -> ../../sda2
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926 -> ../../dm-1
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926-part1 -> ../../dm-2
lrwxrwxrwx 1 root root 9 Mar 3 2009 scsi-22252000155dd14e3 -> ../../sdc
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part1 -> ../../dm-3
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part2 -> ../../dm-4
Может кто-нибудь посоветовать, куда копать ?

Смущает то, что на fdisk -l выдается следующая картина:

Код: Выделить всё

Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1         523     4200966   82  Linux swap / Solaris
/dev/sda2   *         524        2610    16763827+  83  Linux

Disk /dev/sdb: 214.7 GB, 214748364800 bytes
255 heads, 63 sectors/track, 26108 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       26108   209712478+  83  Linux

Disk /dev/dm-0: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

     Device Boot      Start         End      Blocks   Id  System
/dev/dm-0p1               1         523     4200966   82  Linux swap / Solaris
/dev/dm-0p2   *         524        2610    16763827+  83  Linux

Disk /dev/dm-3: 4301 MB, 4301789184 bytes
255 heads, 63 sectors/track, 522 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/dm-3 doesn't contain a valid partition table

Disk /dev/dm-4: 17.1 GB, 17166159360 bytes
255 heads, 63 sectors/track, 2087 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

     Device Boot      Start         End      Blocks   Id  System

Disk /dev/dm-1: 214.7 GB, 214748364800 bytes
255 heads, 63 sectors/track, 26108 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

     Device Boot      Start         End      Blocks   Id  System
/dev/dm-1p1               1       26108   209712478+  83  Linux

Disk /dev/dm-2: 214.7 GB, 214745577984 bytes
255 heads, 63 sectors/track, 26107 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/dm-2 doesn't contain a valid partition table

khrustalov
member
Сообщения: 33
Зарегистрирован: 11 янв 2007, 12:12
Откуда: SPb

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение khrustalov » 10 мар 2009, 13:21

Обновление:

Прошил свежую фирмварь P2.7
Поставил свежий MPIO Driver к этой прошивке: Intel(R) Storage Controller MPIO Driver Version: 1.00.0140.04

Яйца те же, ничего не изменилось :(

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение diz » 10 мар 2009, 13:44

Я бы уже саппорт изнасиловал..

khrustalov
member
Сообщения: 33
Зарегистрирован: 11 янв 2007, 12:12
Откуда: SPb

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение khrustalov » 10 мар 2009, 16:32

Саппорт насилуется потихоньку, но у интела все как-то очень неторопливо.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение gs » 10 мар 2009, 16:38

Наверно имелся в виду саппорт поставщика...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение setar » 10 мар 2009, 18:01

я бы копал в сторону понимания как в девайс маппер помимо мультипас девайсов попали их партиции

Код: Выделить всё

lrwxrwxrwx 1 root root 9 Mar 3 2009 edd-int13_dev80 -> ../../sda
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part2 -> ../../sda2
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926 -> ../../dm-1
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926-part1 -> ../../dm-2
lrwxrwxrwx 1 root root 9 Mar 3 2009 scsi-22252000155dd14e3 -> ../../sdc
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part1 -> ../../dm-3
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part2 -> ../../dm-4
здесь должны быть только девайсы, их партиции должны быть видны как /dev/dm-1p1

вероятно что то не так с конфигом девайс маппера

khrustalov
member
Сообщения: 33
Зарегистрирован: 11 янв 2007, 12:12
Откуда: SPb

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение khrustalov » 10 мар 2009, 18:18

multipath.conf стандартный, поставляемый Intel-ом:

Код: Выделить всё

##
## This is a template multipath-tools configuration file
## Uncomment the lines relevent to your environment
##
#defaults {
#	udev_dir		/dev
#	polling_interval 	10
#	selector		"round-robin 0"
#	path_grouping_policy	multibus
#	getuid_callout		"/sbin/scsi_id -g -u -s /block/%n"
#	prio_callout		/bin/true
#	path_checker		readsector0
#	rr_min_io		100
#	rr_weight		priorities
#	failback		immediate
#	no_path_retry		fail
#	user_friendly_names	no
#}
devnode_blacklist {
	devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
	devnode "^hd[a-z]"
	devnode "^cciss!c[0-9]d[0-9]*"
}
#blacklist_exceptions {
#       devnode "^dasd[c-d]+[0-9]*"
#       wwid    "IBM.75000000092461.4d00.34"
#}
#multipaths {
#	multipath {
#		wwid			3600508b4000156d700012000000b0000
#		alias			yellow
#		path_grouping_policy	multibus
#		path_checker		readsector0
#		path_selector		"round-robin 0"
#		failback		manual
#		rr_weight		priorities
#		no_path_retry		5
#		rr_min_io		100
#	}
#	multipath {
#		wwid			1DEC_____321816758474
#		alias			red
#	}
#}
devices {
#	device {
#		vendor			"Promise"
#		product			"VTrak"
#		path_grouping_policy	multibus
#		getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
#		path_checker		tur
#		path_selector		"round-robin 0"
#		hardware_handler		"0"
#		failback			immediate
#		rr_weight			uniform
#		no_path_retry		20
#		rr_min_io			100
#		features			"1 queue_if_no_path"
#	}
	device {
		vendor			"Intel"
		product			"Multi-Flex"
		path_grouping_policy	group_by_prio
		getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
		prio_callout		"/sbin/mpath_prio_intel /dev/%n"
		path_checker		tur
		path_selector		"round-robin 0"
		hardware_handler		"1 intel"
		failback			immediate
		rr_weight			uniform
		no_path_retry		queue
		rr_min_io			100
		features			"1 queue_if_no_path"
		}
}
dmsetup -v status говорит:

Код: Выделить всё

Name:              22249000155b32926-part1
State:             ACTIVE
Tables present:    LIVE
Open count:        1
Event number:      0
Major, minor:      253, 2
Number of targets: 1
UUID: part1-mpath-22249000155b32926

0 419424957 linear

Name:              22252000155dd14e3-part2
State:             ACTIVE
Tables present:    LIVE
Open count:        1
Event number:      0
Major, minor:      253, 4
Number of targets: 1
UUID: part2-mpath-22252000155dd14e3

0 33527655 linear

Name:              22252000155dd14e3
State:             ACTIVE
Tables present:    LIVE
Open count:        2
Event number:      1
Major, minor:      253, 0
Number of targets: 1
UUID: mpath-22252000155dd14e3

0 41943040 multipath 1 0 0 2 1 A 0 1 0 8:0 A 0 E 0 1 0 8:32 A 0

Name:              22252000155dd14e3-part1
State:             ACTIVE
Tables present:    LIVE
Open count:        2
Event number:      0
Major, minor:      253, 3
Number of targets: 1
UUID: part1-mpath-22252000155dd14e3

0 8401932 linear

Name:              22249000155b32926
State:             ACTIVE
Tables present:    LIVE
Open count:        1
Event number:      1
Major, minor:      253, 1
Number of targets: 1
UUID: mpath-22249000155b32926

0 419430400 multipath 1 0 0 2 1 A 0 1 0 8:16 A 0 E 0 1 0 8:48 A 0

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение setar » 12 мар 2009, 00:22

фишка в том что какой то процесс пытается писать на разделы которые являются в данный момент скрытыми для системы
можно увидеть результат вывода : ?

Код: Выделить всё

# cat /etc/fstab 
а по поводу конфига мультипаса не помню, но мне кажется разделы скази винтов должны быть в блек листе, чтобы мапились по мультитасу только сами девайсы
хотя могу ошибаться.

попробуйте в раздел блек лист добавить что то типа

Код: Выделить всё

devnode "^sd[a-z][0-9]"
нужно добиться такого мапинга:

Код: Выделить всё

lrwxrwxrwx 1 root root 9 Mar 3 2009 edd-int13_dev80 -> ../../sda
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Mar 3 2009 edd-int13_dev80-part2 -> ../../sda2
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926 -> ../../dm-1
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22249000155b32926-part1 -> ../../dm-1p1
lrwxrwxrwx 1 root root 9 Mar 3 2009 scsi-22252000155dd14e3 -> ../../dm2
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part1 -> ../../dm-2p1
lrwxrwxrwx 1 root root 10 Mar 3 2009 scsi-22252000155dd14e3-part2 -> ../../dm-2p2
соответственно всю работу с мультипас девайсами вести через dm* но не через sd*

khrustalov
member
Сообщения: 33
Зарегистрирован: 11 янв 2007, 12:12
Откуда: SPb

Re: Intel Modular Server Dual SCM + SLES 10 SP1 x64 ?

Сообщение khrustalov » 12 мар 2009, 11:23

setar писал(а):фишка в том что какой то процесс пытается писать на разделы которые являются в данный момент скрытыми для системы
можно увидеть результат вывода : ?

Код: Выделить всё

# cat /etc/fstab 
а по поводу конфига мультипаса не помню, но мне кажется разделы скази винтов должны быть в блек листе, чтобы мапились по мультитасу только сами девайсы
хотя могу ошибаться.

попробуйте в раздел блек лист добавить что то типа

Код: Выделить всё

devnode "^sd[a-z][0-9]"
Поменял конфиг маппера по Вашему совету, картинка та же. id второго диска изменился, т.к. переразбивал его.

Код: Выделить всё

# cat /etc/fstab
/dev/disk/by-id/scsi-22252000155dd14e3-part2      /        ext3       acl,user_xattr        1 1
/dev/disk/by-id/scsi-22286000155755de8-part1     /opt      ext3       acl,user_xattr        1 2
/dev/disk/by-id/scsi-22252000155dd14e3-part1     swap      swap       defaults              0 0
proc                 /proc                proc       defaults              0 0
sysfs                /sys                 sysfs      noauto                0 0
debugfs              /sys/kernel/debug    debugfs    noauto                0 0
usbfs                /proc/bus/usb        usbfs      noauto                0 0
devpts               /dev/pts             devpts     mode=0620,gid=5       0 0

Код: Выделить всё

 # mount
/dev/dm-4 on / type ext3 (rw,acl,user_xattr)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
debugfs on /sys/kernel/debug type debugfs (rw)
udev on /dev type tmpfs (rw)
devpts on /dev/pts type devpts (rw,mode=0620,gid=5)
/dev/dm-2 on /opt type ext3 (rw,acl,user_xattr)
securityfs on /sys/kernel/security type securityfs (rw)
multipath.conf сейчас такой:

Код: Выделить всё

blacklist {
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z]"
        devnode "^sd[a-z][0-9]"
        devnode "^cciss!c[0-9]d[0-9]*"
}
devices {
        device {
                vendor                  "Intel"
                product                 "Multi-Flex"
                path_grouping_policy    group_by_prio
                getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
                prio_callout            "/sbin/mpath_prio_intel /dev/%n"
                path_checker            tur
                path_selector           "round-robin 0"
                hardware_handler                "1 intel"
                failback                        immediate
                rr_weight                       uniform
                no_path_retry           queue
                rr_min_io                       100
                features                        "1 queue_if_no_path"
                }
}
multipath -v3 -ll говорит вот что:

Код: Выделить всё

dm-0: blacklisted
... skip blacklisted devices ...
ram9: blacklisted
sda: not found in pathvec
sda: mask = 0x5
sda: bus = 1
sda: dev_t = 8:0
sda: size = 41943040
sda: vendor = Intel
sda: product = Multi-Flex
sda: rev = 0302
sda: h:b:t:l = 0:0:0:0
sdb: not found in pathvec
sdb: mask = 0x5
sdb: bus = 1
sdb: dev_t = 8:16
sdb: size = 419430400
sdb: vendor = Intel
sdb: product = Multi-Flex
sdb: rev = 0302
sdb: h:b:t:l = 0:0:0:1
sdc: not found in pathvec
sdc: mask = 0x5
sdc: bus = 1
sdc: dev_t = 8:32
sdc: size = 41943040
sdc: vendor = Intel
sdc: product = Multi-Flex
sdc: rev = 0302
sdc: h:b:t:l = 0:0:1:0
sdd: not found in pathvec
sdd: mask = 0x5
sdd: bus = 1
sdd: dev_t = 8:48
sdd: size = 419430400
sdd: vendor = Intel
sdd: product = Multi-Flex
sdd: rev = 0302
sdd: h:b:t:l = 0:0:1:1
sr0: blacklisted
===== paths list =====
uuid hcil    dev dev_t pri dm_st  chk_st  vend/prod/rev
     0:0:0:0 sda 8:0   -1  [undef][undef] Intel,Multi-Flex
     0:0:0:1 sdb 8:16  -1  [undef][undef] Intel,Multi-Flex
     0:0:1:0 sdc 8:32  -1  [undef][undef] Intel,Multi-Flex
     0:0:1:1 sdd 8:48  -1  [undef][undef] Intel,Multi-Flex
params = 1 queue_if_no_path 1 intel 2 1 round-robin 0 1 1 8:0 100 round-robin 0 1 1 8:32 100
status = 1 0 0 2 1 A 0 1 0 8:0 A 0 E 0 1 0 8:32 A 0
sda: mask = 0x4
sda: path checker = tur (controller setting)
sda: state = 2
sda: mask = 0x8
sda: getprio = /sbin/mpath_prio_intel /dev/%n (controller setting)
sda: prio = 50
sdc: mask = 0x4
sdc: path checker = tur (controller setting)
sdc: state = 2
sdc: mask = 0x8
sdc: getprio = /sbin/mpath_prio_intel /dev/%n (controller setting)
sdc: prio = 1
22252000155dd14e3dm-0 Intel,Multi-Flex
[size=20G][features=1 queue_if_no_path][hwhandler=1 intel]
\_ round-robin 0 [prio=50][active]
 \_ 0:0:0:0 sda 8:0   [active][ready]
\_ round-robin 0 [prio=1][enabled]
 \_ 0:0:1:0 sdc 8:32  [active][ready]
params = 1 queue_if_no_path 1 intel 2 1 round-robin 0 1 1 8:16 100 round-robin 0 1 1 8:48 100
status = 1 0 0 2 1 A 0 1 0 8:16 A 0 E 0 1 0 8:48 A 0
sdb: mask = 0x4
sdb: path checker = tur (controller setting)
sdb: state = 2
sdb: mask = 0x8
sdb: getprio = /sbin/mpath_prio_intel /dev/%n (controller setting)
sdb: prio = 50
sdd: mask = 0x4
sdd: path checker = tur (controller setting)
sdd: state = 2
sdd: mask = 0x8
sdd: getprio = /sbin/mpath_prio_intel /dev/%n (controller setting)
sdd: prio = 1
22286000155755de8dm-1 Intel,Multi-Flex
[size=200G][features=1 queue_if_no_path][hwhandler=1 intel]
\_ round-robin 0 [prio=50][active]
 \_ 0:0:0:1 sdb 8:16  [active][ready]
\_ round-robin 0 [prio=1][enabled]
 \_ 0:0:1:1 sdd 8:48  [active][ready]

Ответить

Вернуться в «Серверы - Решение проблем»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 23 гостя