Форум Тринити

Открытый технический форум по серверам и системам хранения данных, кластерным решениям, SAN, NAS.
Microsemi infortrend storage
Текущее время: 16 июл 2018, 04:45

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 47 ]  На страницу Пред.  1, 2, 3, 4  След.
Автор Сообщение
СообщениеДобавлено: 15 июн 2017, 14:14 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut писал(а):
Вот только в этом контексте эти Ваши "транки" суть есть L2-агрегация по LA(CP) - тогда как мультипас по L3 кроет L2-агрегацию как бык овцу и без всякой поддержки со стороны коммутаторов

Оно конечно может и так, но, выражу сомнение:

1. мультипас требует поддержки со стороны хоста, на уровне драйверов ОСи. В случае одного, двух хостов ок, а в
2. мультипас может и не спасти, если хостов будет десяток, другой. Как себя поведет СХД в этом случае, вопрос.


Меня смущает термин "не спасти" - не очень понятно, о чём это.

Впрочем, пойдём по порядку:

1. Да, МР должен быть на хосте (инициаторе iscsi). В случае Сферы с этим всё более чем в порядке;
2. "Десяток-другой хостов" ничего не меняют принципиально - каждый хост-инициатор общается с таргетом как если бы он был один, "ничего не зная" о наличии "десятка-другого" конкурентов.
Подчеркну - речь не идёт о разделе полной пропускной способности дисков и/или сети у СХД - просто именно механизму МР хоста (как балансировщику I/O) до звезды, с каким к-во инициаторов ещё общается в данные момент таргет;

Stranger03 писал(а):
Вот кстати и вопрос. Рассмотрим пример. Есть у нас iSCSI Infortrend. Подключили мы его в неуправляемому коммутатору типа Dlink по 10G. Ну скажем воткнули 4-е соска.


Сразу хочу мягко заметить, что это не самый лучший вариант с т.з. редундантности - лучше бы взять два свитча 1G и раскидать линки по ним поровну.
Да, стекабельность (классическая, через бэкбон, а не плюшевый псевдостек а-ля "что-же-ты-Паккард" через порты) свитчей при этом абсолютно не требуется - можно их даже не соединять между собой, для IP МР это не нужно.

Stranger03 писал(а):
Есть у нас ферма серверов, ну скажем 10-ть (20-ть) штук. Все завели на iSCSI. Как себя поведет Infortrend? Сможет ли он выдать наружу 40G? На дисках не зацикливаемся, считаем, что у нас их достаточно.


Почему нет? Естественно, если все ваши 10-20 серверов ломанутся одновременно, чтобы сгенерить суммарно трафик на интерфейсах Инфотренда, то да, в сумме он будет отдавать столько, сколько одновременно смогут утилизоровать все активные на тот момент хосты.

Stranger03 писал(а):
Подумал, спустя минут 10-ть. Что-то мне подсказывает, что даже в случае с мультипасом на стороне хостов бОльше 10G мы выжать не сможем. Наши парни говорят, что агрегации в случае с iSCSI нет, ну или мы об этом пока не знаем.


Не в обиду вашим парням будь сказано, но они, возможно, просто "не умеют его (10G) готовить(тм)" :)
Я поначалу тоже думал, что это фигня и недалеко ушла от L2-aggregation, но потом научился делать правильно (это заняло некоторое время на раздумья, RTFM и тесты, но оно того стОило).

Там весь "секрет" в настройке IP: если все интерфейсы, участвующие в МР, привычно сделать в одной (подсети) - скажем, в стандартной 192.168.1.х/24 или ещё какой, то "кина не будет".

А вот коли разнести их на (под)сети разные:

------------
Host1 nic1(10G) 192.168.26.53/24 -> physSwitch -> SAN1 nic1(10G) 192.168.26.231
Host1 nic2(10G) 192.168.27.53/24 -> physSwitch -> SAN1 nic2(10G) 192.168.27.231
Host1 nic3(10G) 192.168.28.53/24 -> physSwitch -> SAN1 nic3(10G) 192.168.28.231
Host1 nic4(10G) 192.168.29.53/24 -> physSwitch -> SAN1 nic4(10G) 192.168.29.231

Хосты2, 3, 4, etc. - точно по той же схеме.
-----------------

то картина меняется радикальнейше - когда каждый путь находится в своей (под)сети, то в этом случае RR-балансировка на хосте отрабатывает близко к идеалу (могу даже скрин выложить, где видно счётчики трафика на паре 10G-интерфейсов во время svMotion - по 270MB/s на каждом из двух интерфейсов с разбросом 10-100KB/s).

Советую попробовать протестировать по моей методике - уверяю, мнение о "неработающей" iscsi-балансировке поменяется. :)


Stranger03 писал(а):
Итого, у нас есть 4-е линка по 10G. Если 10-ть хостов начнут молотить с СХД, то в среднем по больнице на каждый хост мы получим где-то в районе 4G. И вероятно вы правы, L2 здесь будет как мертвому припарки.


А вот это уже вопрос не балансировки, а насыщения "аплинка" от СХД.
Моя личная практика показывает, что при правильной настройке масшабирование будет практически линейное и, что важно, "на все деньги" (конечно, с условием, что диски хранилки смогут отдать/взять всё это богатство, а дури процов хранилки хватит на обработку пакетов - кстати, это и для хостов справедливо :)).

Отсюда вывод - если каждый хост действительно "впитывает" полные 10G от хранилки, то для уменьшения "перекоса" ставьте на хранилку не 4, а больше 10G-интерфейсов (сколько потянут другие подсистемы).


Последний раз редактировалось Umlyaut 15 июн 2017, 23:07, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 июн 2017, 14:28 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut писал(а):
А вот коли разнести их на (под)сети разные:

Host1 nic1(10G) 192.168.26.53/24 -> physSwitch -> SAN1 nic1(1G) 192.168.26.231
Host1 nic2(10G) 192.168.27.53/24 -> physSwitch -> SAN1 nic2(1G) 192.168.27.231
Host1 nic3(10G) 192.168.28.53/24 -> physSwitch -> SAN1 nic3(1G) 192.168.28.231
Host1 nic4(10G) 192.168.29.53/24 -> physSwitch -> SAN1 nic4(1G) 192.168.29.231

то картина меняется радикальнейше - когда каждый путь находится в своей (под)сети, то в этом случае RR-балансировка на хосте отрабатывает близко к идеалу (могу даже скрин выложить, где видно счётчики трафика на паре 10G-интерфейсов во время svMotion - по 270MB/s на каждом из двух интерфейсов с разбросом 10-100KB/s).

Советую попробовать протестировать по моей методике - уверяю, мнение о "неработающей" iscsi-балансировке поменяется. :)

Ну скажем так, ни один человек в этом мире не в состоянии знать все. Ну а истина в винЕ, in vino veritas, :mrgreen:

Вот тут интересно. Я правильно понимаю, что у вас 2-х контроллерная СХД, по 2-а 10Г порта на контроллере, все подключены к хосту, у хоста ?? линков. И что там получается?

П.С. 10Гбит/сек = 1.250ГБайт/сек. Ну допустим на задержки IP ставим коэфф-т 0,8 = 1ГБайт/сек. Вы получили цифры 270МБ/сек. Это на один линк на сервере или несколько? А если 2Х линка с сервера, то где ж тут балансировка. Как было 10Г на одном линке, так и осталось 10Г. И что бы изменилось, если бы линк был один напрямую к СХД?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 июн 2017, 15:04 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Ну скажем так, ни один человек в этом мире не в состоянии знать все. Ну а истина в винЕ, in vino veritas, :mrgreen:


Верно, поэтому мои спичи - это не гнутьё пальцев, а обмен опытом с коллегами.
Собственно, ровно оттого, что данный нюанс настройки МР со стороны IP очень плохо задокументирован (просто негде взять и прочесть эту how-to`шку в явном виде в одном месте) я и стараюсь доносить это до коллег напрямую и предельно доходчиво (на Вареруссишюзергруппенфоруме выступал с этим, на руборд-форуме, на вмайнде, в скайп-локалке старых друзей-админов).

Stranger03 писал(а):
Вот тут интересно. Я правильно понимаю, что у вас 2-х контроллерная СХД, по 2-а 10Г порта на контроллере, все подключены к хосту, у хоста ?? линков.


Не совсем так...
У меня "одноконтроллерные" СХД в виде опенфайлерных (старых) и центосных (новых) хранилок с блочным (iscsi) доступом. С ними работает пяток хостов Сферы (три "боевых" продакшена, плюс быкапный и резервный-тестовый). В каждой хранилке и в каждом хосте по паре 10G-интерфейсов, каждый из которых подключен к своему отдельному свитчу (10G) из пары имеющихся.

Stranger03 писал(а):
И что там получается?

П.С. 10Гбит/сек = 1.250ГБайт/сек. Ну допустим на задержки IP ставим коэфф-т 0,8 = 1ГБайт/сек. Вы получили цифры 270МБ/сек. Это на один линк на сервере или несколько?


Погодите-погодите - тут Вы как-то, на мой вкус, всё в кучу... :D

1. При тестовом svMotion - с одного ssd-LUN на другой - я получил (по счётчикам Сферы) чуть меньше 550МБ/с, распределившихся по 270МБ/с на каждом из имеющихся 10G-интерфейсов. Соответственно, 270 - это на один линк.
Будь мои нынешние LUN`ы пошустрее, мог бы и поболее на линк получить - мой "рекорд" на стенде с R0-ми LUN`ами на ssd ~900МБ/с на паре линков, по 450МБ/с на линк.

Stranger03 писал(а):
А если 2Х линка с сервера, то где ж тут балансировка. Как было 10Г на одном линке, так и осталось 10Г.


Как-то эти две фразы рядом меня коробят. :D При чём тут "10Г на одном линке", когда мы рассматриваем суммарный трафик на всех линках, участвующих в МР???

Балансировка в моём случае проявляется в том, что при svMotion я имею НЕ ~550MB/s на одном линке из двух, А по 270MB/s на каждом!

На одном линке - 10G, да. Т.е. до гигабайта в секунду.
На паре линков механизм МР с помощью своей RR-балансировки даёт возможность одновременно, в одной операции (потоке трафика) суммарно иметь до ДВУХ гигабайт в секунду.
Будет три или четыре линка - будет три или четыре гигабайта в секунду.


Stranger03 писал(а):
И что бы изменилось, если бы линк был один напрямую к СХД?


Вот это вообще не понял, но постараюсь ответить, как понял.

ОДИН линк между хостом и СХД (неважно, директом или через свитч) даст в максимуме один гигабайт (и не будет редундантности).

Ы?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 июн 2017, 15:32 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut

Спрошу по другому:

- у вас на СХД в сеть сколько линков 10Г? 4-е, как написано выше?
- от хоста, если я правильно понял, 2-а линка по 10Г?
- в итоге вы какую суммарную скорость получаете на хосте и как распределяется там нагрузка?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 июн 2017, 15:56 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut

Спрошу по другому:

- у вас на СХД в сеть сколько линков 10Г? 4-е, как написано выше?


Если Вы про мой пример, то с четырьмя это стендовый - на боевых хранилках мне хватает и пары 10Г-линков.

Stranger03 писал(а):
- от хоста, если я правильно понял, 2-а линка по 10Г?


Да, на боевых хостах тоже по два 10Г-линка (по 4 линка на хосте я делал всё на том же стенде).
Сразу скажу, что "bottleneck" на двух 10Г-интерфейсах хранилки из-за этого не образуется, бо дисковые группы хранилок не забивают полностью сеть данных в 2х10Г на хранилке. И двойные 10Г-линки на хостах в данном случае для редундантности.

Stranger03 писал(а):
- в итоге вы какую суммарную скорость получаете на хосте и как распределяется там нагрузка?


В итоге на хосте при операции svMotion (перемещении vmdk с одного хранилища на другое) я получаю на каждом из двух линков 10Г по ~270MB/s. Т.е. общая скорость перемещения файла - ~550MB/s.

В принципе, если запустить такую операцию для одной хранилки, но для нескольких хостов сразу (при условии, что дисковый I/O сдюжит), то можно "залить" по максимуму два линка хранилки, да.

Пример же с четырьмя линками на хосте и на хранилке я привёл для наглядности.
Такую конфигурацию я проверял на стенде - трафик точно так же балансировался поровну между четырьмя интерфейсами, как и между двумя (просто на один интерфейс приходится меньше, чем когда у нас их пара, а не четыре).
Когда/если мне перестанет хватать двух 10Г-интерфейсов на хранилках (для 2N интерфейсов на хостах, где N число хостов), то я всегда смогу увеличить там их к-во - тогда "bottleneck" в этом месте исчезнет.

Как-то так.

P.S. Если Вас смущает 10Г, то просто представьте себе обычные гигабитные линки в мультипасе - тогда четыре таких пути дадут по максимуму суммарно 400MB/s, что вполне достижимо для среднего LUN`а.
Собственно, у меня так и было до поры - два, а потом четыре гигабитных линка в правильно настроенном :) МР. И вот они-то были равномерно и полностью загружаемы только так.
Это уж потом я разлетелся на апгрейд сети данных до 10Г. :D


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 10:58 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut
Меня смущает одно, почему вы по 2-м линкам 10Г получаете всего лишь 550МБ/сек? С чем связано такое ограничение?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 11:10 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut
Меня смущает одно, почему вы по 2-м линкам 10Г получаете всего лишь 550МБ/сек? С чем связано такое ограничение?


А всё просто - те LUN`ы, на которых я сейчас сижу (и между которыми зафиксирован этот результат), просто не дают больше (там R10 из четырёх ssd на каждой стороне). На стенде, перед вводом в эксплуатацию, эти же четвёрки ssd, но в R0, выдавали около девятисот мегабайт/сек при аналогичной операции и том же железе (там на каждый линк пары приходилось по 450MB/s).


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 11:49 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut
Собс-но из этих тестов непонятно, сможет ли система выдать бОльше, чем пропускная способность одного линка. То, что в вашей ситуации вам хватает, оно как бы понятно. Но тема сисек не раскрыта, :mrgreen:
П.С. что за диски то стоят?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 12:11 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut
Собс-но из этих тестов непонятно, сможет ли система выдать бОльше, чем пропускная способность одного линка. То, что в вашей ситуации вам хватает, оно как бы понятно. Но тема сисек не раскрыта, :mrgreen:


Может показаться, что я впадаю в неумеренный оптимизм, :) но не вижу, что могло бы этому помешать (я про "больше, чем пропускная способность одного линка"). Видно же, как линейно масштабируется трафик по путям в зависимости от шустрости LUN. При заведомо работающей балансировке это только вопрос скорости дискового I/O.

В принципе, это можно было бы проверить и опытным путём, залудив пару LUN`ов R0 из дюжины ssd каждый (у меня, правда, сейчас столько свободных ssd нет под руками :( ).

Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)

Stranger03 писал(а):
П.С. что за диски то стоят?


Один LUN Плексторы 512GB, другой Кингмаксы 120GB - оба со свободными 1/4 места (искуственное увеличение WLA). Есть ещё один LUN на интеловых 3710, но его я не трогал.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 12:33 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut писал(а):
Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)

Лично я нет, лет 5-6-7 шашку в руки не брал, да и читать разучился, :). Если Игорь найдет добровольцев в Москве, может быть, :)

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 2017, 16:32 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut писал(а):
Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)

Лично я нет, лет 5-6-7 шашку в руки не брал, да и читать разучился, :). Если Игорь найдет добровольцев в Москве, может быть, :)



Ну я тут прикинул и умыслил совсем уж минимальную схемку - в принципе можно вместо пары и одним Старвиндом обойтись. Причём даже виртуальный сойдёт (и внешняя хранилка не нужна для него).

Берём пару хостов Сферы, на одном разворачиваем VM`ку со Старвиндом и его рамдрайв отдаём по iscsi второму хосту Сферы как блочное хранилище. Понятно, на обоих хостах ставим по паре 10Г-интерфейсов (можно даже без свитча, напрямую соединить по ним хосты) и настраиваем МР как я говорил.
После этого на втором хосте заводим ещё одну VM`ку с IOMeter`ом, долбим им по рамдрайву первой VM`ки - и смотрим на результат. :)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 июн 2017, 11:10 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Umlyaut
Инициатива наказуема, :)

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 июн 2017, 11:27 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 09 июл 2010, 11:23
Сообщения: 293
Откуда: Москва
Stranger03 писал(а):
Umlyaut
Инициатива наказуема, :)



Да я уже... :( В смысле, и инициативу уже успел чуток реализовать, и наказуемым через это побыть.

В выходные между делом побаловался схемой с виртуалками, рамдрайвом и пр. - и жОстко обломался: балансировка есть, наполнения линков нет. Полагаю, там где-то "интероперабельные грабли" между уровнями абстракции, бо не может рамдрайв отдавать IOMeter`y меньше, чем LUN с хранилки.
Боюсь, что где-то конкретно "клинит" - буду разбираться.

P.S. Собственно, польза уже была - чуток перестроил iscsi-схему у хоста, добиваясь честной балансировки с виртуальным таргетом (разнёс vmkernel`ы по разным vswitch`ам с разными 10Г-аплинками. Ещё один плюсик в копилку опыта. :D


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 сен 2017, 00:04 
Не в сети
Advanced member

Зарегистрирован: 29 сен 2004, 15:38
Сообщения: 76
Откуда: Москва
Stranger03 писал(а):
Umlyaut
Инициатива наказуема, :)


Здравствуйте!

Больше года не общались (осваиваем "нажитое"). По опыту общения пары прошлых лет, - от Вас удавалось получить наиболее вменяемые ответы/советы. Вероятно, - по причине более раннего часового пояса, - Вы раньше (и адекватнее) в сравнении с мск и сбп реагируете.

Подскажите, пожалуйста, - вообще, насколько интересны для Вашей фирмы клиенты уровня "HighEntry" - "LowMid" (извиняюсь за мой "французский", надеюсь, - понятно)?

Вот, к примеру, мы хотели бы построить "хранилку" на ~50ТБ из конф. 34091, установив туда 10-12 дисков 6ТБ SATA. Для хранения архивов и слабо нагруженных дисков VM. У кого бы узнать можно было бы (из Ваших коллег), - встанет ли на это железо Nexenta (с учетом замены "исходного" контроллера на пару HCL-совместимых LSI 9211-8i) и сколько будет стоить лицензия (на сайте Nexent-ы Вы её, вроде бы как, должны продавать)?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 сен 2017, 10:08 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Asmohata писал(а):
У кого бы узнать можно было бы (из Ваших коллег), - встанет ли на это железо Nexenta (с учетом замены "исходного" контроллера на пару HCL-совместимых LSI 9211-8i) и сколько будет стоить лицензия (на сайте Nexent-ы Вы её, вроде бы как, должны продавать)?

По словам Сереги Тараненко у Нексенты очень узкий список железа, она довольно капризна к разным нюансам. Серега сейчас в отпуске, вроде бы до конца недели. Наберите его позже по общему телефону 8 800 (указан на сайте). Или можно еще чиркнуть на почту s.taranenko@. Надеюсь прочитает.

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 47 ]  На страницу Пред.  1, 2, 3, 4  След.

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB