Тестирование SOFS от IBM

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Тестирование SOFS от IBM

Сообщение setar » 10 дек 2008, 20:27

SOFS - scale out file services
програмно аппаратное решение от компании IBM

Ниже привожу краткий отчет по тестированию в рамках оценки решения клиентом.

по своей сути это програмно-аппаратное решение,   которое шлюзует внешнюю дисковую полку по протоколу CIFS
( поддерживаются так же NFS, FTP, iSCSI, AFP, rsync и другие )
но прежде всего интересен CIFS, из за скорости.

Файловая система поддерживает NTFS права доступа на файл, полностью интегрируется в AD


в приложении сравнение скорости записи на
стандартную win шару и на шару предоставленную SOFS  (IBM)

видно на линейной записи 11МБ/с для стандартной win шары и 86МБ/с для SOFS

Интерфейс клиента - один 1Gbps

физически скорости записи на win расшареный диск (raid0 = 3 x FC HDD 15k ) = 171МБ/с

физически скорости записи на GPFS расшареный каталог  (gpfs = 4 x raid5 on 3x FC HDD 15k ) = 180 МБ/с (странно мало, должно быть больше, не разбирался потому что не суть в данном тесте)
что заведомо исключает влияние дисковой подсистемы на тесты.

и то и другое монтируется с одинаковыми параметрами на стандартную систему (без использования jubmo frames)

решение дорогое ( entry level от 200k$ )
по производительности аналогов не видел
линейно масштабируется фактически без ограничений.

линейное чтение порядка 102-105 МБ/с

тестировалось на реальных задачах графических станций монтажников и реальных приложениях.
работа в такой сетевой шарой на 20% быстрее работы на локальном жестком диске SATA

шлюзованием занимались две ноды блейда каждая из которые имеет один 1Gbps интерфейс для внутренненго обмена и один 1Gbps клиентский интерфейс.

кроме того обе ноды по одному FC каналу 4GBps подключены к полке DS4700

полка разбита на 4 массива по 3 диска в raid5 и 3 диска в raid0 (последняя использовалась для win шары)
win шара была поднята на таком же лезвии как и шлюзующие ноды.

Справедливости ради нужно заметить что 11МБ/с получено по протоколу SMB1 это win операционки младше 2008/vista и linux клиенты cifs.
Скорости копирования 2008-2008 или vista-2008 обычно бывают порядка 40МБ/с


лог (сокращено не существенное типа локального интерфейса и тд)

Код: Выделить всё

[root@head etc]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:30:48:C3:A9:9F
          inet addr:192.168.0.194  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::230:48ff:fec3:a99f/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4545920 errors:0 dropped:0 overruns:0 frame:0
          TX packets:7616642 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:382137452 (364.4 MiB)  TX bytes:11099630076 (10.3 GiB)
          Memory:d8a60000-d8a80000

eth1:1    Link encap:Ethernet  HWaddr 00:30:48:C3:A9:9F
          inet addr:192.168.155.73  Bcast:192.168.155.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          Memory:d8a60000-d8a80000

[root@head etc]# mount -t cifs -o "setuids,iocharset=utf8,username=Administrator,password=password" //192.168.0.193/cifs /mnt/cifs
[root@head etc]# mount -t cifs -o "setuids,iocharset=utf8,username=Administrator,password=password" //192.168.155.71/sofs /mnt/sofs

[root@head etc]#mount
//192.168.0.193/cifs on /mnt/cifs type cifs (rw,mand)                                                                                     
//192.168.155.71/sofs on /mnt/sofs type cifs (rw,mand)                                                                             

[root@head etc]# df -h                                                                                                                   
Filesystem            Size  Used Avail Use% Mounted on                                                                                   
//192.168.0.193/cifs   204G   22G  182G  11% /mnt/cifs
//192.168.155.71/sofs
                      543G   24G  520G   5% /mnt/sofs

[root@head etc]# time dd if=/dev/zero of=/mnt/cifs/5G bs=1M count=5000
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 449.5 seconds, 11.7 MB/s

real    7m29.507s
user    0m0.003s
sys     0m14.494s

[root@head etc]# time dd if=/dev/zero of=/mnt/sofs/5G bs=1M count=5000
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 60.8733 seconds, 86.1 MB/s

real    1m1.496s
user    0m0.002s
sys     0m8.076s

ITER
Advanced member
Сообщения: 306
Зарегистрирован: 13 июл 2003, 10:01
Откуда: Хабаровский край

Re: Тестирование SOFS от IBM

Сообщение ITER » 11 дек 2008, 15:24

setar писал(а): Справедливости ради нужно заметить что 11МБ/с получено по протоколу SMB1 это win операционки младше 2008/vista и linux клиенты cifs.
Скорости копирования 2008-2008 или vista-2008 обычно бывают порядка 40МБ/с
Первый раз слышу о таком ограничении, у меня w2k3-w2k3 36-38 МБ/c получается.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Тестирование SOFS от IBM

Сообщение setar » 12 дек 2008, 00:39

ITER писал(а): Первый раз слышу о таком ограничении, у меня w2k3-w2k3 36-38 МБ/c получается.
:) ключевое в моей фразе это доступ по протоколу smb1
Вы же работаете по протоколу smb2 (он вышел очень кривым, потом много раз испарвлялся патчами, в висте его вообше с нуля переписали)
скорость в 38MB/c вероятно Вас радует  :?:
эффективность использования канала порядка 35% ( 38 / (1000*0.85 / 8 )  )
Последний раз редактировалось setar 12 дек 2008, 10:28, всего редактировалось 1 раз.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 12 дек 2008, 10:28

ниже привожу письмо Александра Бокового (IBM) с комментариями по моему вопросу почему шара cifs c windows так медленно работает.
На узлах в /root/ лежит небольшая утилита readfiles, которая читает
указанные в командной строке файлы с нужным размером буфера, читает их по
кругу и до бесконечности. Исходный код можно посмотреть в
head:/root/readfiles.c.

Пример использования:
# /root/readfiles -B $((32*1024*1024)) /gpfs/shared/sofs/5G
268 MB    254.171 MB/sec
570 MB    293.395 MB/sec
872 MB    280.181 MB/sec
1174 MB    288.938 MB/sec
1509 MB    308.928 MB/sec
1811 MB    291.087 MB/sec
2147 MB    305.474 MB/sec
2449 MB    286.257 MB/sec
2751 MB    267.828 MB/sec
3087 MB    306.673 MB/sec
3388 MB    274.542 MB/sec
3724 MB    312.852 MB/sec
4026 MB    280.14 MB/sec

Видно, что в среднем с нашей конфигурации GPFS можно "вытащить" порядка
290-300 МБ/с при использовании блока в 32МБ.

[root@node1 ~]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             14877060   2793920  11315236  20% /
tmpfs                  4089380         0   4089380   0% /dev/shm
/dev/gpfs0           569298944  98650368 470648576  18% /gpfs
//192.168.0.193/123  213484540  32047112 181437428  16% /mnt/cifs
[root@node1 ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
33 MB    32.374 MB/sec
100 MB    36.3587 MB/sec
167 MB    36.2746 MB/sec
234 MB    36.3193 MB/sec
301 MB    36.3632 MB/sec
369 MB    36.3753 MB/sec
436 MB    36.0863 MB/sec
503 MB    36.4391 MB/sec
570 MB    35.7875 MB/sec
637 MB    36.4114 MB/sec
704 MB    36.4462 MB/sec
771 MB    36.3991 MB/sec
838 MB    36.4048 MB/sec
905 MB    36.3807 MB/sec
973 MB    36.4038 MB/sec
1040 MB    36.1811 MB/sec

С Windows 2008 SP1 можно вытащить по чтению максимум 36МБ/с при
использовании блока в 32МБ.

и последний тест с SoFS -- один процесс, 1Гбит/с на GPFS и SoFS, реально
при разделении ресурсов должно быть на один процесс где-то на треть выше:
[root@head ~]# mount //sofs/sofs /mnt/cifs -o
username=administrator,passwd=password
[root@head ~]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             14877060  10291780   3817376  73% /
tmpfs                  4088936         0   4088936   0% /dev/shm
//sofs/sofs    569298944  98650368 470648576  18% /mnt/cifs
[root@head ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
67 MB    45.8715 MB/sec
134 MB    47.9896 MB/sec
201 MB    48.0949 MB/sec
268 MB    48.1768 MB/sec
335 MB    48.4321 MB/sec
402 MB    48.1436 MB/sec
469 MB    45.7669 MB/sec
536 MB    48.4219 MB/sec
603 MB    48.3578 MB/sec
671 MB    48.4611 MB/sec
738 MB    48.4674 MB/sec
805 MB    48.2787 MB/sec
872 MB    48.3843 MB/sec
939 MB    48.3888 MB/sec
1006 MB    48.4114 MB/sec
1073 MB    48.3582 MB/sec

С одного узла SoFS, запущенного поверх упомянутой выше GPFS, можно
вытянуть 48МБ/с при использовании блока в 32МБ/с.

Все это одним процессом. Если запустить четыре таких процесса, то
получится в среднем 23-25МБ/с на каждый, то есть 100МБ/с на узел, нагрузка
распределяется равномерно между процессами, результат воспроизводится
стабильно.

С Windows 2008 Server SP1 четыре процесса дают 12МБ/с суммарно (процессы
запущены в четырех сеансах screen, объединяю вывод, вначале цифры большие
потому что процессы запускались не одновременно):
[root@head ~]# mount //192.168.0.193/123 /mnt/cifs -o
username=administrator,passwd=password
[root@head ~]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             14877060  10292848   3816308  73% /
tmpfs                  4088936         0   4088936   0% /dev/shm
//192.168.0.193/123  213484540  32047112 181437428  16% /mnt/cifs
[root@head ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
33 MB    7.74907 MB/sec
67 MB    3.44947 MB/sec
100 MB    2.99115 MB/sec
134 MB    2.99107 MB/sec
167 MB    2.97393 MB/sec
...
[root@head ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
33 MB    17.747 MB/sec
67 MB    3.44804 MB/sec
100 MB    2.99154 MB/sec
134 MB    2.99108 MB/sec
167 MB    2.9745 MB/sec
201 MB    2.96748 MB/sec

[root@head ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
67 MB    7.12762 MB/sec
100 MB    2.9912 MB/sec
134 MB    2.99108 MB/sec
167 MB    2.97413 MB/sec
201 MB    2.96748 MB/sec
234 MB    2.92252 MB/sec

[root@head ~]# /root/readfiles -B $((32*1024*1024)) /mnt/cifs/5G
67 MB    11.0054 MB/sec
100 MB    2.99075 MB/sec
134 MB    2.99107 MB/sec
167 MB    2.97417 MB/sec
201 MB    2.96748 MB/sec
234 MB    2.92259 MB/sec
268 MB    2.92355 MB/sec
301 MB    2.99055 MB/sec

то есть, 3х4 = 12МБ/с.

В обоих случаях (доступ по сети к SoFS и к Windows 2008 сервер)
используется одна и та же версия драйвера cifs и одни и те же опции
монтирования (по умолчанию):
[root@head ~]# modinfo cifs
filename:       /lib/modules/2.6.18-120.el5/kernel/fs/cifs/cifs.ko
version:        1.54RH
description:    VFS to access servers complying with the SNIA CIFS
Specification e.g. Samba and Windows
license:        GPL
author:         Steve French <sfrench@us.ibm.com>
srcversion:     5B9E7558E80B54A7233BA74
depends:
vermagic:       2.6.18-120.el5 SMP mod_unload gcc-4.1
parm:           CIFSMaxBufSize:Network buffer size (not including header).
Default: 16384 Range: 8192 to 130048 (int)
parm:           cifs_min_rcv:Network buffers in pool. Default: 4 Range: 1
to 64 (int)
parm:           cifs_min_small:Small network buffers in pool. Default: 30
Range: 2 to 256 (int)
parm:           cifs_max_pending:Simultaneous requests to server. Default:
50 Range: 2 to 256 (int)
module_sig:
883f35048f9e1e64854bb527c214931121e970a08001c3ba56873977689b2428351dfcb56cd397f09f6687c72e3bcc85e86b6572538184fdbf2b0b41d

можно сделать вывод, что мультиплексирование запросов по SMB1
(классический протокол SMB) сделано в Windows 2008 Server SP1 не очень
оптимально.

Указанную утилиту можно было бы переписать под Windows (она элементарна) и
попробовать тестировать чтение с ее помощью из-под Windows.
--
Alexander Bokovoy
Technical Lead for Linux Center of Competence, IBM EE/A
Infrastructure, HPC, and grid solutions
Linux community and ISV relations
IBM Linux Technology Center, Samba Team
----------------------------------------------------------------

Аватара пользователя
Fast
Power member
Сообщения: 37
Зарегистрирован: 03 авг 2007, 15:10
Откуда: Minsk
Контактная информация:

Сообщение Fast » 12 дек 2008, 13:44

Вот консольные виндовые аналоги(почти  аналог dd). Юзайте :)
Пример:

Код: Выделить всё

d:\Storage Read-Write>writefile.exe \\server\video\a.avi 1000
wrote 1048576000 bytes in 41.78 sec (23.93 MB/sec)

d:\Storage Read-Write>readfile.exe  \\server\video\a.avi
reading \\server\video\a.avi ...
read 1048576000 bytes in 30.89 sec (32.37 MB/sec)
Вложения
Storage Read-Write.rar
(63.26 КБ) 1314 скачиваний

ITER
Advanced member
Сообщения: 306
Зарегистрирован: 13 июл 2003, 10:01
Откуда: Хабаровский край

Re: Тестирование SOFS от IBM

Сообщение ITER » 12 дек 2008, 15:03

setar писал(а):
ITER писал(а): Первый раз слышу о таком ограничении, у меня w2k3-w2k3 36-38 МБ/c получается.
:) ключевое в моей фразе это доступ по протоколу smb1
Вы же работаете по протоколу smb2 (он вышел очень кривым, потом много раз испарвлялся патчами, в висте его вообше с нуля переписали)
скорость в 38MB/c вероятно Вас радует  :?:
эффективность использования канала порядка 35% ( 38 / (1000*0.85 / 8 )  )
Да не то, что бы радует, но при локальном копировании на сервере скорость такая же. То есть ограничение в моем случае не в сети.

Sergey_________
Power member
Сообщения: 37
Зарегистрирован: 20 окт 2009, 14:03
Откуда: Москва

Re: Тестирование SOFS от IBM

Сообщение Sergey_________ » 20 окт 2009, 16:41

Ничего не понял, но вставлю своих 5ть копеек.
копировал большие файлы просто проводом 1гбит между рабочей станцией WinXP realtek и ноутбуком win7 и сетевая broadcom

без джабмофреймов 23-26 мб с включеным джамбо 70мб\с , думаю это ограничение скорости записи на ноутбучный винт 5400

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Тестирование SOFS от IBM

Сообщение Stranger03 » 21 окт 2009, 08:08

Sergey_________ писал(а):Ничего не понял, но вставлю своих 5ть копеек.
Коллега, зачем писать, если ничего не поняли? Вы тему топика видели? Тему раздела форума? При чем здесь ваш ноутбук?
P.S. просьба прекратить подобные высказывания во избежании репрессий.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Re: Тестирование SOFS от IBM

Сообщение Andrey N. Oktyabrski » 05 ноя 2009, 16:45

Вообще-то Боковой когда-то (года полтора-два назад) делал доклад на HiLoad. Там он всё это добро прекрасно разжевал. Кто найдёт ссылку на видеозапись того доклада, закиньте сюда, всем полезно посмотреть будет.

Ответить

Вернуться в «Кластеры, параллельные файловые системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 6 гостей