Современные технологии iSER, RoCEv2 и т.д. Сегодня - завтра.

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 15 июн 2017, 13:14

Stranger03 писал(а):
Umlyaut писал(а):Вот только в этом контексте эти Ваши "транки" суть есть L2-агрегация по LA(CP) - тогда как мультипас по L3 кроет L2-агрегацию как бык овцу и без всякой поддержки со стороны коммутаторов
Оно конечно может и так, но, выражу сомнение:

1. мультипас требует поддержки со стороны хоста, на уровне драйверов ОСи. В случае одного, двух хостов ок, а в
2. мультипас может и не спасти, если хостов будет десяток, другой. Как себя поведет СХД в этом случае, вопрос.
Меня смущает термин "не спасти" - не очень понятно, о чём это.

Впрочем, пойдём по порядку:

1. Да, МР должен быть на хосте (инициаторе iscsi). В случае Сферы с этим всё более чем в порядке;
2. "Десяток-другой хостов" ничего не меняют принципиально - каждый хост-инициатор общается с таргетом как если бы он был один, "ничего не зная" о наличии "десятка-другого" конкурентов.
Подчеркну - речь не идёт о разделе полной пропускной способности дисков и/или сети у СХД - просто именно механизму МР хоста (как балансировщику I/O) до звезды, с каким к-во инициаторов ещё общается в данные момент таргет;
Stranger03 писал(а):Вот кстати и вопрос. Рассмотрим пример. Есть у нас iSCSI Infortrend. Подключили мы его в неуправляемому коммутатору типа Dlink по 10G. Ну скажем воткнули 4-е соска.
Сразу хочу мягко заметить, что это не самый лучший вариант с т.з. редундантности - лучше бы взять два свитча 1G и раскидать линки по ним поровну.
Да, стекабельность (классическая, через бэкбон, а не плюшевый псевдостек а-ля "что-же-ты-Паккард" через порты) свитчей при этом абсолютно не требуется - можно их даже не соединять между собой, для IP МР это не нужно.
Stranger03 писал(а): Есть у нас ферма серверов, ну скажем 10-ть (20-ть) штук. Все завели на iSCSI. Как себя поведет Infortrend? Сможет ли он выдать наружу 40G? На дисках не зацикливаемся, считаем, что у нас их достаточно.
Почему нет? Естественно, если все ваши 10-20 серверов ломанутся одновременно, чтобы сгенерить суммарно трафик на интерфейсах Инфотренда, то да, в сумме он будет отдавать столько, сколько одновременно смогут утилизоровать все активные на тот момент хосты.
Stranger03 писал(а): Подумал, спустя минут 10-ть. Что-то мне подсказывает, что даже в случае с мультипасом на стороне хостов бОльше 10G мы выжать не сможем. Наши парни говорят, что агрегации в случае с iSCSI нет, ну или мы об этом пока не знаем.
Не в обиду вашим парням будь сказано, но они, возможно, просто "не умеют его (10G) готовить(тм)" :)
Я поначалу тоже думал, что это фигня и недалеко ушла от L2-aggregation, но потом научился делать правильно (это заняло некоторое время на раздумья, RTFM и тесты, но оно того стОило).

Там весь "секрет" в настройке IP: если все интерфейсы, участвующие в МР, привычно сделать в одной (подсети) - скажем, в стандартной 192.168.1.х/24 или ещё какой, то "кина не будет".

А вот коли разнести их на (под)сети разные:

------------
Host1 nic1(10G) 192.168.26.53/24 -> physSwitch -> SAN1 nic1(10G) 192.168.26.231
Host1 nic2(10G) 192.168.27.53/24 -> physSwitch -> SAN1 nic2(10G) 192.168.27.231
Host1 nic3(10G) 192.168.28.53/24 -> physSwitch -> SAN1 nic3(10G) 192.168.28.231
Host1 nic4(10G) 192.168.29.53/24 -> physSwitch -> SAN1 nic4(10G) 192.168.29.231

Хосты2, 3, 4, etc. - точно по той же схеме.
-----------------

то картина меняется радикальнейше - когда каждый путь находится в своей (под)сети, то в этом случае RR-балансировка на хосте отрабатывает близко к идеалу (могу даже скрин выложить, где видно счётчики трафика на паре 10G-интерфейсов во время svMotion - по 270MB/s на каждом из двух интерфейсов с разбросом 10-100KB/s).

Советую попробовать протестировать по моей методике - уверяю, мнение о "неработающей" iscsi-балансировке поменяется. :)

Stranger03 писал(а): Итого, у нас есть 4-е линка по 10G. Если 10-ть хостов начнут молотить с СХД, то в среднем по больнице на каждый хост мы получим где-то в районе 4G. И вероятно вы правы, L2 здесь будет как мертвому припарки.
А вот это уже вопрос не балансировки, а насыщения "аплинка" от СХД.
Моя личная практика показывает, что при правильной настройке масшабирование будет практически линейное и, что важно, "на все деньги" (конечно, с условием, что диски хранилки смогут отдать/взять всё это богатство, а дури процов хранилки хватит на обработку пакетов - кстати, это и для хостов справедливо :)).

Отсюда вывод - если каждый хост действительно "впитывает" полные 10G от хранилки, то для уменьшения "перекоса" ставьте на хранилку не 4, а больше 10G-интерфейсов (сколько потянут другие подсистемы).
Последний раз редактировалось Umlyaut 15 июн 2017, 22:07, всего редактировалось 1 раз.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 15 июн 2017, 13:28

Umlyaut писал(а):А вот коли разнести их на (под)сети разные:

Host1 nic1(10G) 192.168.26.53/24 -> physSwitch -> SAN1 nic1(1G) 192.168.26.231
Host1 nic2(10G) 192.168.27.53/24 -> physSwitch -> SAN1 nic2(1G) 192.168.27.231
Host1 nic3(10G) 192.168.28.53/24 -> physSwitch -> SAN1 nic3(1G) 192.168.28.231
Host1 nic4(10G) 192.168.29.53/24 -> physSwitch -> SAN1 nic4(1G) 192.168.29.231

то картина меняется радикальнейше - когда каждый путь находится в своей (под)сети, то в этом случае RR-балансировка на хосте отрабатывает близко к идеалу (могу даже скрин выложить, где видно счётчики трафика на паре 10G-интерфейсов во время svMotion - по 270MB/s на каждом из двух интерфейсов с разбросом 10-100KB/s).

Советую попробовать протестировать по моей методике - уверяю, мнение о "неработающей" iscsi-балансировке поменяется. :)
Ну скажем так, ни один человек в этом мире не в состоянии знать все. Ну а истина в винЕ, in vino veritas, :mrgreen:

Вот тут интересно. Я правильно понимаю, что у вас 2-х контроллерная СХД, по 2-а 10Г порта на контроллере, все подключены к хосту, у хоста ?? линков. И что там получается?

П.С. 10Гбит/сек = 1.250ГБайт/сек. Ну допустим на задержки IP ставим коэфф-т 0,8 = 1ГБайт/сек. Вы получили цифры 270МБ/сек. Это на один линк на сервере или несколько? А если 2Х линка с сервера, то где ж тут балансировка. Как было 10Г на одном линке, так и осталось 10Г. И что бы изменилось, если бы линк был один напрямую к СХД?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 15 июн 2017, 14:04

Stranger03 писал(а): Ну скажем так, ни один человек в этом мире не в состоянии знать все. Ну а истина в винЕ, in vino veritas, :mrgreen:
Верно, поэтому мои спичи - это не гнутьё пальцев, а обмен опытом с коллегами.
Собственно, ровно оттого, что данный нюанс настройки МР со стороны IP очень плохо задокументирован (просто негде взять и прочесть эту how-to`шку в явном виде в одном месте) я и стараюсь доносить это до коллег напрямую и предельно доходчиво (на Вареруссишюзергруппенфоруме выступал с этим, на руборд-форуме, на вмайнде, в скайп-локалке старых друзей-админов).
Stranger03 писал(а):Вот тут интересно. Я правильно понимаю, что у вас 2-х контроллерная СХД, по 2-а 10Г порта на контроллере, все подключены к хосту, у хоста ?? линков.
Не совсем так...
У меня "одноконтроллерные" СХД в виде опенфайлерных (старых) и центосных (новых) хранилок с блочным (iscsi) доступом. С ними работает пяток хостов Сферы (три "боевых" продакшена, плюс быкапный и резервный-тестовый). В каждой хранилке и в каждом хосте по паре 10G-интерфейсов, каждый из которых подключен к своему отдельному свитчу (10G) из пары имеющихся.
Stranger03 писал(а):И что там получается?

П.С. 10Гбит/сек = 1.250ГБайт/сек. Ну допустим на задержки IP ставим коэфф-т 0,8 = 1ГБайт/сек. Вы получили цифры 270МБ/сек. Это на один линк на сервере или несколько?


Погодите-погодите - тут Вы как-то, на мой вкус, всё в кучу... :D

1. При тестовом svMotion - с одного ssd-LUN на другой - я получил (по счётчикам Сферы) чуть меньше 550МБ/с, распределившихся по 270МБ/с на каждом из имеющихся 10G-интерфейсов. Соответственно, 270 - это на один линк.
Будь мои нынешние LUN`ы пошустрее, мог бы и поболее на линк получить - мой "рекорд" на стенде с R0-ми LUN`ами на ssd ~900МБ/с на паре линков, по 450МБ/с на линк.
Stranger03 писал(а):А если 2Х линка с сервера, то где ж тут балансировка. Как было 10Г на одном линке, так и осталось 10Г.
Как-то эти две фразы рядом меня коробят. :D При чём тут "10Г на одном линке", когда мы рассматриваем суммарный трафик на всех линках, участвующих в МР???

Балансировка в моём случае проявляется в том, что при svMotion я имею НЕ ~550MB/s на одном линке из двух, А по 270MB/s на каждом!

На одном линке - 10G, да. Т.е. до гигабайта в секунду.
На паре линков механизм МР с помощью своей RR-балансировки даёт возможность одновременно, в одной операции (потоке трафика) суммарно иметь до ДВУХ гигабайт в секунду.
Будет три или четыре линка - будет три или четыре гигабайта в секунду.

Stranger03 писал(а): И что бы изменилось, если бы линк был один напрямую к СХД?
Вот это вообще не понял, но постараюсь ответить, как понял.

ОДИН линк между хостом и СХД (неважно, директом или через свитч) даст в максимуме один гигабайт (и не будет редундантности).

Ы?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 15 июн 2017, 14:32

Umlyaut

Спрошу по другому:

- у вас на СХД в сеть сколько линков 10Г? 4-е, как написано выше?
- от хоста, если я правильно понял, 2-а линка по 10Г?
- в итоге вы какую суммарную скорость получаете на хосте и как распределяется там нагрузка?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 15 июн 2017, 14:56

Stranger03 писал(а):Umlyaut

Спрошу по другому:

- у вас на СХД в сеть сколько линков 10Г? 4-е, как написано выше?
Если Вы про мой пример, то с четырьмя это стендовый - на боевых хранилках мне хватает и пары 10Г-линков.
Stranger03 писал(а): - от хоста, если я правильно понял, 2-а линка по 10Г?
Да, на боевых хостах тоже по два 10Г-линка (по 4 линка на хосте я делал всё на том же стенде).
Сразу скажу, что "bottleneck" на двух 10Г-интерфейсах хранилки из-за этого не образуется, бо дисковые группы хранилок не забивают полностью сеть данных в 2х10Г на хранилке. И двойные 10Г-линки на хостах в данном случае для редундантности.
Stranger03 писал(а): - в итоге вы какую суммарную скорость получаете на хосте и как распределяется там нагрузка?
В итоге на хосте при операции svMotion (перемещении vmdk с одного хранилища на другое) я получаю на каждом из двух линков 10Г по ~270MB/s. Т.е. общая скорость перемещения файла - ~550MB/s.

В принципе, если запустить такую операцию для одной хранилки, но для нескольких хостов сразу (при условии, что дисковый I/O сдюжит), то можно "залить" по максимуму два линка хранилки, да.

Пример же с четырьмя линками на хосте и на хранилке я привёл для наглядности.
Такую конфигурацию я проверял на стенде - трафик точно так же балансировался поровну между четырьмя интерфейсами, как и между двумя (просто на один интерфейс приходится меньше, чем когда у нас их пара, а не четыре).
Когда/если мне перестанет хватать двух 10Г-интерфейсов на хранилках (для 2N интерфейсов на хостах, где N число хостов), то я всегда смогу увеличить там их к-во - тогда "bottleneck" в этом месте исчезнет.

Как-то так.

P.S. Если Вас смущает 10Г, то просто представьте себе обычные гигабитные линки в мультипасе - тогда четыре таких пути дадут по максимуму суммарно 400MB/s, что вполне достижимо для среднего LUN`а.
Собственно, у меня так и было до поры - два, а потом четыре гигабитных линка в правильно настроенном :) МР. И вот они-то были равномерно и полностью загружаемы только так.
Это уж потом я разлетелся на апгрейд сети данных до 10Г. :D

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 16 июн 2017, 09:58

Umlyaut
Меня смущает одно, почему вы по 2-м линкам 10Г получаете всего лишь 550МБ/сек? С чем связано такое ограничение?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 16 июн 2017, 10:10

Stranger03 писал(а):Umlyaut
Меня смущает одно, почему вы по 2-м линкам 10Г получаете всего лишь 550МБ/сек? С чем связано такое ограничение?
А всё просто - те LUN`ы, на которых я сейчас сижу (и между которыми зафиксирован этот результат), просто не дают больше (там R10 из четырёх ssd на каждой стороне). На стенде, перед вводом в эксплуатацию, эти же четвёрки ssd, но в R0, выдавали около девятисот мегабайт/сек при аналогичной операции и том же железе (там на каждый линк пары приходилось по 450MB/s).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 16 июн 2017, 10:49

Umlyaut
Собс-но из этих тестов непонятно, сможет ли система выдать бОльше, чем пропускная способность одного линка. То, что в вашей ситуации вам хватает, оно как бы понятно. Но тема сисек не раскрыта, :mrgreen:
П.С. что за диски то стоят?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 16 июн 2017, 11:11

Stranger03 писал(а):Umlyaut
Собс-но из этих тестов непонятно, сможет ли система выдать бОльше, чем пропускная способность одного линка. То, что в вашей ситуации вам хватает, оно как бы понятно. Но тема сисек не раскрыта, :mrgreen:
Может показаться, что я впадаю в неумеренный оптимизм, :) но не вижу, что могло бы этому помешать (я про "больше, чем пропускная способность одного линка"). Видно же, как линейно масштабируется трафик по путям в зависимости от шустрости LUN. При заведомо работающей балансировке это только вопрос скорости дискового I/O.

В принципе, это можно было бы проверить и опытным путём, залудив пару LUN`ов R0 из дюжины ssd каждый (у меня, правда, сейчас столько свободных ssd нет под руками :( ).

Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)
Stranger03 писал(а):П.С. что за диски то стоят?
Один LUN Плексторы 512GB, другой Кингмаксы 120GB - оба со свободными 1/4 места (искуственное увеличение WLA). Есть ещё один LUN на интеловых 3710, но его я не трогал.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 16 июн 2017, 11:33

Umlyaut писал(а):Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)
Лично я нет, лет 5-6-7 шашку в руки не брал, да и читать разучился, :). Если Игорь найдет добровольцев в Москве, может быть, :)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 16 июн 2017, 15:32

Stranger03 писал(а):
Umlyaut писал(а):Ну или более реальный вариант - поднять пару таргетов Старвинд, презентовать хосту Сферы по iscsi их, старвиндовские рамдрайвы, положить на один из них vmdk и сделать svMotion на другой - т.е. воспроизвести мой кейз на самых быстрых "дисках" из возможных/доступных. Возьмётесь раскрыть тему? :)
Лично я нет, лет 5-6-7 шашку в руки не брал, да и читать разучился, :). Если Игорь найдет добровольцев в Москве, может быть, :)

Ну я тут прикинул и умыслил совсем уж минимальную схемку - в принципе можно вместо пары и одним Старвиндом обойтись. Причём даже виртуальный сойдёт (и внешняя хранилка не нужна для него).

Берём пару хостов Сферы, на одном разворачиваем VM`ку со Старвиндом и его рамдрайв отдаём по iscsi второму хосту Сферы как блочное хранилище. Понятно, на обоих хостах ставим по паре 10Г-интерфейсов (можно даже без свитча, напрямую соединить по ним хосты) и настраиваем МР как я говорил.
После этого на втором хосте заводим ещё одну VM`ку с IOMeter`ом, долбим им по рамдрайву первой VM`ки - и смотрим на результат. :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 19 июн 2017, 10:10

Umlyaut
Инициатива наказуема, :)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 19 июн 2017, 10:27

Stranger03 писал(а):Umlyaut
Инициатива наказуема, :)

Да я уже... :( В смысле, и инициативу уже успел чуток реализовать, и наказуемым через это побыть.

В выходные между делом побаловался схемой с виртуалками, рамдрайвом и пр. - и жОстко обломался: балансировка есть, наполнения линков нет. Полагаю, там где-то "интероперабельные грабли" между уровнями абстракции, бо не может рамдрайв отдавать IOMeter`y меньше, чем LUN с хранилки.
Боюсь, что где-то конкретно "клинит" - буду разбираться.

P.S. Собственно, польза уже была - чуток перестроил iscsi-схему у хоста, добиваясь честной балансировки с виртуальным таргетом (разнёс vmkernel`ы по разным vswitch`ам с разными 10Г-аплинками. Ещё один плюсик в копилку опыта. :D

Asmohata
Advanced member
Сообщения: 76
Зарегистрирован: 29 сен 2004, 15:38
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Asmohata » 05 сен 2017, 23:04

Stranger03 писал(а):Umlyaut
Инициатива наказуема, :)
Здравствуйте!

Больше года не общались (осваиваем "нажитое"). По опыту общения пары прошлых лет, - от Вас удавалось получить наиболее вменяемые ответы/советы. Вероятно, - по причине более раннего часового пояса, - Вы раньше (и адекватнее) в сравнении с мск и сбп реагируете.

Подскажите, пожалуйста, - вообще, насколько интересны для Вашей фирмы клиенты уровня "HighEntry" - "LowMid" (извиняюсь за мой "французский", надеюсь, - понятно)?

Вот, к примеру, мы хотели бы построить "хранилку" на ~50ТБ из конф. 34091, установив туда 10-12 дисков 6ТБ SATA. Для хранения архивов и слабо нагруженных дисков VM. У кого бы узнать можно было бы (из Ваших коллег), - встанет ли на это железо Nexenta (с учетом замены "исходного" контроллера на пару HCL-совместимых LSI 9211-8i) и сколько будет стоить лицензия (на сайте Nexent-ы Вы её, вроде бы как, должны продавать)?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 06 сен 2017, 09:08

Asmohata писал(а):У кого бы узнать можно было бы (из Ваших коллег), - встанет ли на это железо Nexenta (с учетом замены "исходного" контроллера на пару HCL-совместимых LSI 9211-8i) и сколько будет стоить лицензия (на сайте Nexent-ы Вы её, вроде бы как, должны продавать)?
По словам Сереги Тараненко у Нексенты очень узкий список железа, она довольно капризна к разным нюансам. Серега сейчас в отпуске, вроде бы до конца недели. Наберите его позже по общему телефону 8 800 (указан на сайте). Или можно еще чиркнуть на почту s.taranenko@. Надеюсь прочитает.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя