ARECA 1260 + 14x750Gb SATA HDD = very big array 9870Gb.

ldy · Сообщение **ldy** » 15 сен 2007, 12:05

Здравствуйте, коллеги.
Надеюсь, что данная тема будет небезынтересна многим специалистам ИТ, учитывая, что в последнее время все чаще приходится внедрять сервера, поддерживающие большие объемы дискового пространства.

Имеем.

Код: Выделить всё

1. MB Supermicro 2xSocket-771 i5000P (Extended ATX,FSB 3730MHz, 8DDR II SDR,VGA,2xGbitLAN,Serial ATA II/300-RAID),X7DBE - 1
2. Intel XEON 5050 (3000Mhz/667MHz/2x2Mb) Active/1U - 2 
3. Memory 1GB DDR2 PC5300 DIMM ECC Reg with Parity CL5 ValueRAM dual rank x8 Kingston - 4
4. HDD Western Digital 74GB Serial ATA, 10000 rpm, 16MB - 1
5. HDD SEAGATE 750Gb 7200 Serial ATA NL35/ES 16Mb - 15
6. RAID Controller Tekram (Areca) ARC1260 SATA II, RAID 0,1,10,5,6,JBOD, 16 channel, cache 256MB SODIMM, PCI-Express X8 - 1 
7. Supermicro CSE-836TQ-R800B (Black) 3U, SAS, Redundant 800W - 1

На HDD Western Digital 74GB поставлена ОС:

Код: Выделить всё

Linux ftp-server 2.6.22-gentoo-r5 #1 SMP Fri Sep 14 14:07:39 MSD 2007 x86_64 Intel(R) Xeon(TM) CPU 3.00GHz GenuineIntel GNU/Linux

ftp-server ftp # df -k -H
File system       Capacity  Used  Free %      Mounted on
/dev/sda3      63G    2,1G    58G    4%      /
udev          2,1G    631k    2,1G    1%     /dev
/dev/sda1      104M    7,5M    91M    8%     /boot
shm          2,1G    0    2,1G    0%    /dev/shm

Средствами BIOS контроллера ARC-1260 предварительно был создан массив RAID5. Задача - создать раздел /dev/sdb1 с максимальным размером, т.е. используя все пространство массива без разбиения на части.

Изначально установленная ОС была x86, при этом fdisk не смог опознать геометрию созданного массива (не определялось количество цилиндров, а при указании их вручную раздел создавался неверно). Было принято решение установить 64-битный вариант ОС Gentoo Linux, благо, что аппаратные средства это позволяют. После данного шага fdisk смог правильно опеределить физику диска, но создание раздела опять проводилось некорректно (не более 2Тб).
http://faq.areca.com.tw/modules/smartfa ... ?faqid=206

Пошел на сайт поставщика аппаратного RAID: http://www.areca.com.tw. Там в FAQ нашел описание, согласно которого возможно создание разделов более 2Тб ftp://60.248.88.208/RaidCards/Documents ... 050721.zip выполнил процедуру создания согласно вышеприведенного документа: поставил parted 1.8.8 (версия 1.8.6 подглючивала), начал разбиение, тип файловой таблицы (gpt), пытаюсь отформатировать ext3 пишет, что более 8Тб разделы ext3 не понимаются, читаю FAQ: http://faq.areca.com.tw/modules/smartfa ... p?faqid=46, правда там написано, что это для 32-битных CPU, у меня же 64-битный... непонятно.... Пересоздал parted раздел под xfs, отформатировал, замонтировал:

Код: Выделить всё

ftp-server ftp # df -k -H
/dev/sdb1 9,8T 9,4G 9,8T 1% /home/ftp

mount
/dev/sdb1 on /home/ftp type xfs (rw)

похоже, что победа близка...
перезагружаюсь:

Код: Выделить всё

XFS: bad magic number
XFS: SB validate failed

соответственно массив больше не монтируется. Пересоздаю его parted, форматирую под xfs, все в порядке, первая же перезагрузка и массив опять не монтируется. Write Cache на Areca-1260 в BIOS отключен (батарейки на нем нет).
Воспользовался утилитой xfs_repair, но после нее диск опять сократился с 9,8Тб до 2Тб.

Вопрос, как все таки правильно создавать большие массивы на аппаратном RAID? Каковы ограничения на размеры разделов в зависимости от типа раздела (ext2, ext3, reiserfs, xfs... etc) и от типа разрядности процессора и ОС? Существует ли решение моей проблемы?
[/code]

Сообщение **and3008** » 16 сен 2007, 01:06

1. Ваша аппаратная платформа 32-х битная с 64-битными расширениями (я их называю погремушками) для работы с большим кол-вом ОЗУ. То, что вы поставили на эту платформу 64-х битную ОС еще ни о чем не говорит.

2. Ядро Linux на 32-х битных платформах не поддерживает блоковые уст-ва более 8 Тб. Где-то пробегало, что есть патчи, решающие эти проблемы, но они не включены в официальные ядра.

Решение:
Купить таки НАСТОЯЩУЮ 64-х битную систему. Например на Itanium, AMD, SPARC, Power. Вот тогда будет истинное счастье от 64-х битной ОС. Кстати, для такого большого массива надо памяти недуром. 1 Гига может быть маловато, вы ведь на серваке и приложения какие-то запускать будете. Особенно это касается XFS, любит она ОЗУ.

Ну либо делайте LUN-ы на контроллере и делайте разделы по 8 Тб.

ldy · Сообщение **ldy** » 16 сен 2007, 18:54

1. Почему платформа 32-битная? В спецификации на Xeon 5050 сказано, что у него имеется Intel® EM64T или это не дает права платформе носить статус 64-битной? Или в спецификации на платформу сказано, что она 32-битная или указан лишь ограниченный набор инструкций 64-битной платформы?
2. Где пробегала эта информация про патч?

Далее по тексту... Памяти в сервере 1Гбх4шт=4Гб, неужели этого недостаточно для сервера, являющегося обычным ФТП.
Купить другую плаформу не в моей компетенции, сейчас необходимо решать имеющуюся проблему. Суть ее в том, что раздел на весь объем создается, XFS файловая система форматируется, и на нее с успехом пишется информация без каких либо проблем. Но... после перезагрузки сервера раздел пропадает - не может быть смонтирован.

Код: Выделить всё

XFS: bad magic number
XFS: SB validate failed

Похоже на баг. Вот и пытаюсь выяснить может кто с таким сталкивался.

Сообщение **and3008** » 16 сен 2007, 20:13

1. Почему не знаю, но Intel EMT - это костыли к 32-х битной платформе.
2. На сайте RedHat-а описана проблема с большими массивами. На ядре 2.6 есть лимит на 16 Тб на блоковое устр-во. У вас массив меньше, значит это не ваши грабли.

То, что у вас 4 Гига, я сразу не увидел. Извините.

По аналогичным проблемам у меня:
у меня работает массив. Емкость более 2.8 Тб. Подключен к 32-битной платформе (2 X P-III 1 Ггц). Т.е. я должен был наступить на грабли, что в общем-то и было. После перезагрузки ошибка и видно только 800 Гиг.

Я вышел из положения указав размер сектора у файловой системы не 512 байт, как стандартно, а 1024 байта.

[root@cln1 proc]# xfs_info /dev/sdg
meta-data=/dev/sdg isize=256 agcount=32, agsize=22790144 blks
= sectsz=1024 attr=1
data = bsize=4096 blocks=729284608, imaxpct=25
= sunit=16 swidth=192 blks, unwritten=1
naming =version 2 bsize=4096
log =internal bsize=4096 blocks=32768, version=2
= sectsz=1024 sunit=1 blks
realtime =none extsz=65536 blocks=0, rtextents=0

Сервер работает уже года два наверно. Проблем нету. Попробуйте, может это и ваш случай.

Tert · Сообщение **Tert** » 17 сен 2007, 15:06

and3008

1. Почему не знаю, но Intel EMT - это костыли к 32-х битной платформе.

Особенно хорошо это звучит после совета купить настоящую 64-битную платформу от AMD, т.к. Intel EM64T практически не отличается от соответствующей технологии AMD.
Может вы нас все же просветите, что же такое настоящая 64-битная платформа.

Сообщение **and3008** » 17 сен 2007, 16:57

Согласен, вероятно фигню сморозил. Intel EMT64 = AMD64.

Настоящая 64-х битная платформа та, которая была изначально спроектирована под 64 бита. Это Power5, Itanium, Alpha, Sparc, PA-RISC 2.0.
AMD64, Intel EMT64, Power4 являются системами переходного периода и будут существовать пока будет нужда в 32-х разрядном ПО.

Я реабилитировался?

Сообщение **Stranger03** » 17 сен 2007, 20:18

and3008 писал(а):Я реабилитировался?

Тогда вы это скажите Майкрософту с его Виндовс 64 бит и обратной совместимостью на 32 бита. К слову сказать, у моих клиентов на ВинХП 64 бит прирост обсчета в 3ДМаксе почти 60% только от операционки. А это согласитесь очень не мало.

ldy · Сообщение **ldy** » 17 сен 2007, 20:39

Гуру, а по основной проблеме никаких мыслей нет?

Сообщение **Stranger03** » 17 сен 2007, 20:57

ldy писал(а):Гуру, а по основной проблеме никаких мыслей нет?

На текущий момент каких-то конкретных идей нет. Под БСД для конфигурации с 16-ю 750ГБ дисками я посоветовал создать одну большую РАИД группу, вырезать кусок под ОС и остатки нарезать кусками по 2ТБ. Все прошло на ура. Какая вообщем-то фиг разница, один слайс это или набор. Подмонтируете в те каталоги, какие нужны.

Сообщение **and3008** » 17 сен 2007, 21:55

Файловую систему с большим размером сектора создавать пробовали?

ldy · Сообщение **ldy** » 17 сен 2007, 23:34

Для фтп используется vsftpd, симлинки в нем не работают из-за chroot. Монтировать в каталоги /home/ftp/Disk1, /home/ftp/Disk2... не пойдет, так как существует каталог действующих ссылок (к примеру на форуме техподдержки), я просто хотел перенести информацию со старого фтп на новый и сменить IP адрес.

Сообщение **and3008** » 18 сен 2007, 00:22

В общем так. Ядро Линукса должно быть скопилировано с опцией CONFIG_LBD=yes

Если желаете работать с файлами более 2 ТБ, то нужно еще CONFIG_LSF=yes

С высокой долей вероятностью предполагаю, что ядро ваше сейчас не имеет поддержки больших блоковых устройств. Перекомпиляйте, минут 20 это на вашей тачке займет.

ldy · Сообщение **ldy** » 18 сен 2007, 13:03

Судя по всему для 64-битной версии ядра эти параметры включены по умолчанию. Нет у меня в конфиге ядра таких опций, на соседней 32-битной машине с таким же ядром (только 32-битным) есть, а на этом сервере нет. Прописал руками, сделал make menuconfig посмотрел в блочных устройствах, опять нет.

Сообщение **Stranger03** » 18 сен 2007, 13:25

and3008 писал(а):Файловую систему с большим размером сектора создавать пробовали?

6.2 на Адаптеке 3405 тупо не видела раздел больше 2ТБ.

Сообщение **and3008** » 18 сен 2007, 13:31

Ну тогда только смотреть на патчи к XFS или драйверу контроллера. Других чудес не знаю.

ARECA 1260 + 14x750Gb SATA HDD = very big array 9870Gb.

ARECA 1260 + 14x750Gb SATA HDD = very big array 9870Gb.

Кто сейчас на конференции