Linux RAID6 samba 35MB/s ?

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Linux RAID6 samba 35MB/s ?

Сообщение BAF » 06 апр 2007, 19:09

Может кто подскажет что нужно настроить.
Ссервер
PentiumD3.4/1GB
3WARE 9650 ML 12 SATA
Linux OpenSUSE ядро 2.6 Samba 3.0
внутренняя скорость дисковой подсистемы ~300MB/s
копирование видео файла с RAID на RAID ~150MB/s
Хотелось бы раздавать видео под монтаж

При подключении к серверу по сетке 1Gbit
SAMBA
запись 60MB/s а чтение с samba всего 32MB/s

По NFS чтение с сервера 45MB/s
По FTP чтение с сервера до 50-65MB/s для одного клиента
для 2 клиентов ~65 в пиках до 100MB/s ¶

При нормальной работе должно быть около 100MB/s в обе стороны?
Что можно сделать? ¶
Последний раз редактировалось BAF 22 апр 2007, 12:29, всего редактировалось 2 раза.

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 08 апр 2007, 16:08

Думаю покрутить сеточку сперва. Jumbo-фреймы включить на сетевухе и коммутаторе. MTU увеличить на Линуксе и на клиенте.

Ну и доку по тюнингу Самбы почтитать. На www.samba.org весьма обстоятельные и понятные доки имеются.

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 08 апр 2007, 18:53

3Com Baseline Switch 2848-SFP Plus в настройках не нашел Jumbo frames
судя по статистике в WEB интерфейсе пакеты от 1024 до 1522 проходят

в настройках сетевых карт MTU по умолчанию 1500
ИМХО если их увеличить то через SWITCH не пролезут.

Заметил что скорость зависит от размера блока
самая низкая скорость чтения от 64KB до 4MB

а на 16К и 32К скорость около 70MB/s
правда запись на 16К около 20MB/s

Получается все идеально
если писать и читать с сервера по 32KB
скорость записи 80MB/s чтение 70MB/s


Может сетевухи виноваты? На маме стоят два Marvell 88E8053
Может что посоветуете на PCI-express с 2 портами?

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 09 апр 2007, 23:01

Ну как бы эта... Все равно, что желать ездить быстро, спрашивать где купить Феррари, а дороги делать - даже мыслей нету.

Ваша проблема - коммутатор. Он тупой как пробка и предназначен для офисных сетей, наводненных секретарями и менеджерами. Этот свитч не предназначен для обработки сколь-нибудь серьезного трафика. Чего-нибудь приличнее купите для вашей задачи.

Про www.samba.org сказал. Вы даже ухом не повели.
Настоятельно советую:
http://us1.samba.org/samba/docs/man/Sam ... speed.html

Двухпортовые сетевухи вы купите, а что с ними делать будете подумали? Подумайте. Не все так просто может статься, как вам кажется.

Почитайте что такое Jumbo Frame в сетях. Для ваших задач это архи актуально.
Так же может помочь включение механизма NAPI в Linux для ускорения производительности системы и сети.

Помните, что далеко не всегда получается сделать быстрый компьютерный ящик, просто насовав в нее самых крутых железяк, да по-больше. Все совсем не просто...

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 20 апр 2007, 18:41

Убедили!
C JUMBO работает быстрее на 20% но не самба.

Проблема с JUMBO на стороне клиента
на Desktopных мамах встроенные сетевухи
или драйвера под XP  JUMBO не потдерживают.

Я так понял что с SAMBA хорошего мотажа не получится  :(
Самба на передачу загружает одно ядро под завязку.
другое чуть-чуть. Open_iSCSI грузит равномерно.

Остановился на Open_iSCSI, Microsoft iSCSI initiator и MelioFS.
Может посоветуете еще какое нибудь решение.

Столкнулся еще с одной проблемкой:
при большой сетевой нагрузке отваливаются адаптеры Marwell
причем Linux живет, ifconfig говорит что все нормально, из сети
до сервера недостучишся :(

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 21 апр 2007, 00:20

У Marvell-а не совсем хорошие драйверы бывают.

Стандартные вопросы: Версия ядра Линукс и что за железо у вас?

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 22 апр 2007, 12:46

Мама не серверная
Foxconn 975X7AA-8EKRS2H /PentiumD 3.4/RAM-2GB
сетевухи встроенные

SUSE10.2 ядро 2.6.18.2-34-default
BOND 2x88E8053 PCI-E Gigabit Ethernet Controller
при одиночном подключении тоже отваливаются :(
Последний раз редактировалось BAF 25 апр 2007, 11:40, всего редактировалось 1 раз.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 23 апр 2007, 09:10

a bond режим какой?   `grep bond /etc/modprobe.conf`

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 23 апр 2007, 11:12

советую сетевуху сменить.  поиск 'linux sky2 driver' выдают много интересных результатов ...

лучше всего приобрести что-нубудь на базе интела, линукс драйвер e1000  или броадкома BCM57xx, драйвер tg3

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 23 апр 2007, 11:26

modprobe.conf.local
alias bond0 bonding

ifcfg-bond0
BONDING_MASTER="yes"
BONDING_MODULE_OPTS="miimon=500 mode=2 downdelay=2000 updelay=5000"
BONDING_SLAVE0="eth0"
BONDING_SLAVE1="eth1"

сам бы рад поменять денег пока нет :(

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 23 апр 2007, 11:55

попробуйте load_alb, этот режим получше
предварително только убедитесь что карта/драйвер поддерживает
ethtool `#ethtool eth0; ethtool eth0`

BONDING_MODULE_OPTS="mode=6 miimon=100"

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 24 апр 2007, 15:17

# ethtool eth0
Settings for eth0:
       Supported ports: [ TP ]
       Supported link modes:   10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Supports auto-negotiation: Yes
       Advertised link modes:  10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Advertised auto-negotiation: Yes
       Speed: 1000Mb/s
       Duplex: Full
       Port: Twisted Pair
       PHYAD: 0
       Transceiver: internal
       Auto-negotiation: on
       Current message level: 0x000000ff (255)
       Link detected: yes

То есть не потдерживает?
Я так понял  load_alb потдерживает до 4карт одна карта работает на прием-передачу остальные на передачу.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 25 апр 2007, 09:58

ethtool  у вас карта поддерживает, т.е alb режим будет работать.

alb балансирует  прием и передачу раскидывая трафик раскидывая пакеты по разным mac адресам.  На количество карт вроде органиченый нету.  

http://linux-net.osdl.org/index.php/Bonding
   *

     balance-alb or 6
         Adaptive load balancing: includes balance-tlb plus receive load balancing (rlb) for IPV4 traffic, and does not require any special switch support. The receive load balancing is achieved by ARP negotiation.

   The bonding driver intercepts the ARP Replies sent by the local system on their way out and overwrites the source hardware address with the unique hardware address of one of the slaves in the bond such that different peers use different hardware addresses for the server.
   Receive traffic from connections created by the server is also balanced. When the local system sends an ARP Request the bonding driver copies and saves the peer's IP information from the ARP packet.
   When the ARP Reply arrives from the peer, its hardware address is retrieved and the bonding driver initiates an ARP reply to this peer assigning it to one of the slaves in the bond.
   A problematic outcome of using ARP negotiation for balancing is that each time that an ARP request is broadcast it uses the hardware address of the bond. Hence, peers learn the hardware address of the bond and the balancing of receive traffic collapses to the current slave. This is handled by sending updates (ARP Replies) to all the peers with their individually assigned hardware address such that the traffic is redistributed. Receive traffic is also redistributed when a new slave is added to the bond and when an inactive slave is re-activated. The receive load is distributed sequentially (round robin) among the group of highest speed slaves in the bond.
   When a link is reconnected or a new slave joins the bond the receive traffic is redistributed among all active slaves in the bond by initiating ARP Replies with the selected mac address to each of the clients. The updelay parameter (detailed below) must be set to a value equal or greater than the switch's forwarding delay so that the ARP Replies sent to the peers will not be blocked by the switch.

       * Prerequisites:
            1. Ethtool support in the base drivers for retrieving the speed of each slave.
            2. Base driver support for setting the hardware address of a device while it is open. This is required so that there will always be one slave in the team using the bond hardware address (the curr_active_slave) while having a unique hardware address for each slave in the bond. If the curr_active_slave fails its hardware address is swapped with the new curr_active_slave that was chosen.


BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 25 апр 2007, 11:40

Получается для работы в balance-alb or 6 режиме Switch должен быть в обычном режиме т.е. не trunk

BAF
Junior member
Сообщения: 12
Зарегистрирован: 06 апр 2007, 18:56
Откуда: ННовгород

Сообщение BAF » 25 апр 2007, 11:47

Пробовал, все равно интерфейсы падают
не посоветуете одинарные сетевые карточки на PCI-Ex

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей