Adaptec 5405 Write-cache mode

[DoktorPZ]

Странная ситуация, есть контроллер в сервере, создал 2-а массива:

Массив 1:

Logical device number 0
Logical device name : SYSTEM
RAID level : 1
Status of logical device : Optimal
Size : 571382 MB
Read-cache mode : Enabled
MaxCache preferred read cache setting : Disabled
MaxCache read cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : Yes
Failed stripes : No
Power settings : Disabled
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (Controller:1,Enclosure:0,Slot:0) 2AWDERSN
Segment 1 : Present (Controller:1,Enclosure:0,Slot:1) 2AWELBGN

Массив 2:

Logical device number 1
Logical device name : BACKUP
RAID level : Simple_volume
Status of logical device : Optimal
Size : 2856950 MB
Read-cache mode : Enabled
MaxCache preferred read cache setting : Disabled
MaxCache read cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : No
Failed stripes : No
Power settings : Disabled
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (Controller:1,Enclosure:0,Slot:2) 44MX3T2GS

В настройках указано, что логические устройства со включенным кешем на запись, но при этом в ОС Debian Linux все равно видно что кеш на запись не включен:

[ 2.454435] sd 0:0:0:0: [sda] 1170190336 512-byte logical blocks: (599 GB/557 GiB)
[ 2.454475] sd 0:0:0:0: [sda] Write Protect is off
[ 2.454478] sd 0:0:0:0: [sda] Mode Sense: 06 00 10 00
[ 2.454556] sd 0:0:0:0: [sda] Write cache: disabled, read cache: enabled, supports DPO and FUA

[ 2.454471] sd 0:0:1:0: [sdb] Very big device. Trying to use READ CAPACITY(16).
[ 2.454500] sd 0:0:1:0: [sdb] 5851033600 512-byte logical blocks: (2.99 TB/2.72 TiB)
[ 2.454513] sd 0:0:1:0: [sdb] Write Protect is off
[ 2.454517] sd 0:0:1:0: [sdb] Mode Sense: 06 00 10 00
[ 2.454542] sd 0:0:1:0: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA

Кто с таким сталкивался и как можно исправить?

[maverlife]

думаю это нормально, так как кэшем управляет ядро контроллера, а не операционная система. поэтому кэш записи в ос отключен на уровне драйвера.

[DoktorPZ]

Нашел такую информацию: http://mintojoseph.blogspot.ru/2010/09/ ... -when.html

Why dmesg is showing write through when the disk connected to Adaptec AAC-RAID is set to write back as per Adaptec Storage Manager?
dmesg command is showing following output.

Vendor: Adaptec Model: Data Rev: V1.0
Type: Direct-Access ANSI SCSI revision: 02
sdb : very big device. try to use READ CAPACITY(16).
SCSI device sdb: 9762222080 512-byte hdwr sectors (4998258 MB)
sdb: Write Protect is off
sdb: Mode Sense: 06 00 10 00
SCSI device sdb: drive cache: write through w/ FUA
sdb : very big device. try to use READ CAPACITY(16).
SCSI device sdb: 9762222080 512-byte hdwr sectors (4998258 MB)
sdb: Write Protect is off
sdb: Mode Sense: 06 00 10 00
SCSI device sdb: drive cache: write through w/ FUA
sdb: sdb1
sd 0:0:1:0: Attached scsi removable disk sdb
This is expected behavior.

What the aacraid driver reports is independent of the firmware settings configured by the storage manager. Instead, the write back configuration the aacraid driver reports is controlled the variable aac_cache (which can be set by a module parameter named cache).

From drivers/scsi/aacraid/aachba.c:

static int aac_cache = 2; /* WCE=0 to avoid performance problems */
...
module_param_named(cache, aac_cache, int, S_IRUGO|S_IWUSR);
MODULE_PARM_DESC(cache, "Disable Queue Flush commands:\n"
"\tbit 0 - Disable FUA in WRITE SCSI commands\n"
"\tbit 1 - Disable SYNCHRONIZE_CACHE SCSI command\n"
"\tbit 2 - Disable only if Battery is protecting Cache");

With the default value of 2, aacraid always reports disks as being in write through mode.

[maverlife]

cat /sys/module/aacraid/parameters/cache
если уверены, то к параметрам ядра добавьте aacraid.cache=0|1|2
но вообще лучше найти, почему в вашем дистрибутиве этот параметр с таким значением. батарейка вообще стоит?
у меня кстати тоже:
sd 0:0:0:0: [sda] Write cache: disabled, read cache: enabled, supports DPO and FUA
sd 0:0:1:0: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
батарейка стоит, в настройках контролера "включить при наличии батарейки", при этом в /sys/module/aacraid/parameters/cache значение "2".

[oleg_km]

На Windows аналогичная ситуация - драйвер запрещает кеширование записи

[DoktorPZ]

cat /sys/module/aacraid/parameters/cache
если уверены, то к параметрам ядра добавьте aacraid.cache=0|1|2
но вообще лучше найти, почему в вашем дистрибутиве этот параметр с таким значением. батарейка вообще стоит?
у меня кстати тоже:
sd 0:0:0:0: [sda] Write cache: disabled, read cache: enabled, supports DPO and FUA
sd 0:0:1:0: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
батарейка стоит, в настройках контролера "включить при наличии батарейки", при этом в /sys/module/aacraid/parameters/cache значение "2".

Система боевая, поиграться возможности нет. Но по хорошему драйвер должен сообщать верный режим записи, а не как разработчик захардкодил.

[maverlife]

не уверен, что правильно вас понял. но драйвер в данном случае и передает верные режимы работы для кэша операционной системы. а то, что у контроллера свои настройки, так это логично - независимость аппаратного обеспечения от программного.

[DoktorPZ]

не уверен, что правильно вас понял. но драйвер в данном случае и передает верные режимы работы для кэша операционной системы. а то, что у контроллера свои настройки, так это логично - независимость аппаратного обеспечения от программного.

Несовсем, вот аналогичный вывод с dell сервера на контроллере PERC:
[ 3.321159] sd 0:2:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

То есть драйвер честно говорит ОС, что кеш на запись включен. В драйвере адаптек это не так.

[maverlife]

нужно разделять кэш контроллера и кэши различного уровня в операционной системе. если я правильно понял тексты исходного кода и описание этого поведения на английском языке, то при наличии батарейки драйвер контроллера блокирует кэширование записи блочного устройства в ос, о чем говорит сообщение в выводе dmesg. это не признак того, что кэширование записи самого контроллера для данного массива отключено.

[DoktorPZ]

нужно разделять кэш контроллера и кэши различного уровня в операционной системе. если я правильно понял тексты исходного кода и описание этого поведения на английском языке, то при наличии батарейки драйвер контроллера блокирует кэширование записи блочного устройства в ос, о чем говорит сообщение в выводе dmesg. это не признак того, что кэширование записи самого контроллера для данного массива отключено.

По поводу записи - это понятно, вопрос почему драйвер выдает неправильный статус. По идее он, как для других контроллеров, должен писать что включен режим WB.

[maverlife]

потому что все правильно со статусом. драйвер видит, что есть батарейка и кэш записи включен в контроллере, и говорит ос - отключи-ка свой кэш записи для этого драйва.

[gs]

А в чем, собственно, проблема?

[DoktorPZ]

потому что все правильно со статусом. драйвер видит, что есть батарейка и кэш записи включен в контроллере, и говорит ос - отключи-ка свой кэш записи для этого драйва.

Судя по комменту в блоге - там простой хардкод, то есть драйвер всегда пишет WT режим работы. При этом тот же драйвер от LSI пишет нормальные статусы.

[DoktorPZ]

А в чем, собственно, проблема?

Опимально чтобы драйвер в dmesg писал текущий статус работы кеша на запись, WT или WB.

[gs]

Из-за этого теряются данные или что-то не работает?