Проблемы с работой терминального сервера
Модераторы: Trinity admin`s, Free-lance moderator`s
Проблемы с работой терминального сервера
Добрый день.
Имеется терминальный сервер. Dell: 2xXeon x5670 6c 12mb 2?93GHz, 64Gb Ecc ddr3 1333, 2 SSD HDD Samsung 850Pro 240Gb RAID1 система windows server 2008R2 Etn, 2 HDD SATA 2Tb Seagate ES 3.0 Raid10, RAID H700(1Gb+BBU).
Роли: Служба печати, Служба удаленных рабочих столов, Файловая служба.
Пользователей 40 человек. Работают 1С 8.3,8.2, MS Office 2010, Outlook 2010 в связке с Kerio Outlook Connector (с функцией оффлайн кеширования), почта, рабочий стол, мои документы, загрузки перенаправлены у пользователей на диск D.
Диск C полностью отдан для работы системы и приложений, но пользователи жалуются на медленный запуск и закрытие различных приложения типа Word, Exel, Тормозит почта, открытие файлов происходит очень медленно, мерцание экрана, даже вызов свойства файла происходит очень медленно. Например чтобы запустить приложение от имени администратора до запуска самого приложения проходит секунд от 20 до 30 и так везде. Файл подкачки стоит на диске D и размер по выбору системы.
Думал что проблема с дисками но нет средняя длина очереди (0,01 или 0,02 максимум бывает 0,4 или 0,6 на обоих дисках)
делал тест CrystalDiskMark скорость работы приличная (см.вложения) тестил в рабочее время. и еще во вложении скрин из программы SpotLight и журнал средней очереди диска С и Д.
В чем может быть проблема и куда копать?
Может файл подкачки вообще отключить?
Имеется терминальный сервер. Dell: 2xXeon x5670 6c 12mb 2?93GHz, 64Gb Ecc ddr3 1333, 2 SSD HDD Samsung 850Pro 240Gb RAID1 система windows server 2008R2 Etn, 2 HDD SATA 2Tb Seagate ES 3.0 Raid10, RAID H700(1Gb+BBU).
Роли: Служба печати, Служба удаленных рабочих столов, Файловая служба.
Пользователей 40 человек. Работают 1С 8.3,8.2, MS Office 2010, Outlook 2010 в связке с Kerio Outlook Connector (с функцией оффлайн кеширования), почта, рабочий стол, мои документы, загрузки перенаправлены у пользователей на диск D.
Диск C полностью отдан для работы системы и приложений, но пользователи жалуются на медленный запуск и закрытие различных приложения типа Word, Exel, Тормозит почта, открытие файлов происходит очень медленно, мерцание экрана, даже вызов свойства файла происходит очень медленно. Например чтобы запустить приложение от имени администратора до запуска самого приложения проходит секунд от 20 до 30 и так везде. Файл подкачки стоит на диске D и размер по выбору системы.
Думал что проблема с дисками но нет средняя длина очереди (0,01 или 0,02 максимум бывает 0,4 или 0,6 на обоих дисках)
делал тест CrystalDiskMark скорость работы приличная (см.вложения) тестил в рабочее время. и еще во вложении скрин из программы SpotLight и журнал средней очереди диска С и Д.
В чем может быть проблема и куда копать?
Может файл подкачки вообще отключить?
- Вложения
-
- Журнал.rar
- (2.56 МБ) 287 скачиваний
Re: Проблемы с работой терминального сервера
Мне, конечно, "отсюда плохо видно(с)" , однако ряд моментов меня смущает и где-то даже настораживает...
Даже если подойти к вопросу начётнически, то на всю ораву 12 физ.ядер в таком режиме... хм-ммм. HT, конечно, "удваивает", но там нет линейного масштабирования, т.е. даже из расчёта 24 лог.ядер маловато выходит, буквально впритык. Причём если MSO работает "интерактивно", больше ждёт реакции пользователя, то 1С если уж "залипает" на ядре в 100%, то прочно - т.е. достаточное к-во таких юзеров тормознут Ваш сервак неслабо.
С памятью та же тема - MSO её жрёт, как свинья помои, да 1С тоже не сильно отстаёт со своей ~сотней мегабайт на экземпляр клиента (т.е. на круг уже гига 4 имеем только на 1С-клиентов).
Если Вы "вытеснили" юзеров на диск D (он же на двух хардах SATA у Вас, я правильно понял?) штатным образом через перенос профилей пользователей, то чего ж вы хотите?
Даже если у Вас "диск С отдан для работы системы и приложений", то тот же MSO часть своих потрохов держит в пользовательском профиле (Aplication Data, Local settings) - и когда вся эта орда начинает гонять MSO-шные проги, бедные харды начинают елозить головками туда-сюда... да коли там ещё идёт работа с почтой, лежащей на том же бедном диске D, да автосейв doc-xls-файлов... Грустно это всё.
К слову... если это не Ваша опечатка, то зачем Вы сделали R10 на ДВУХ хардах (полагаю, скроили его из разделов)??? Только голову контроллеру и системе морочить - ничем эта схема не лучше штатного R1 на двух дисках. Клясться не буду, но и это лыко может быть в строку в общей картине Вашего упадка и разрухи.
И да - файл подкачки отключать идея плохая (при ЛЮБОМ к-ве оперативы), нарвётесь на траблы в работе сервера. А вот сделать его фиксированного размера, а не "по выбору системы" я бы рекомендовал.
* * *
Я в соседней теме http://3nity.ru/viewtopic.php?f=40&t=23654 вчера провещился насчёт тюнинга 1С-сервера - внизу ветки мой комментарий, гляньте, может, что и себе приспособите.
Доброй охоты!
Есть ощущение, что сервак банально не тянет - всё же четыре десятка юзеров с довольно тяжёлыми терминальными сессиями (MSO и память жрёт, как не в себя, и гигагерцы, 1С-клиент тоже охоч до частоты).ADMT писал(а):Имеется терминальный сервер. Dell: 2xXeon x5670 6c 12mb 2?93GHz, 64Gb Ecc ddr3 1333, 2 SSD HDD Samsung 850Pro 240Gb RAID1 система windows server 2008R2 Etn, 2 HDD SATA 2Tb Seagate ES 3.0 Raid10, RAID H700(1Gb+BBU).
Роли: Служба печати, Служба удаленных рабочих столов, Файловая служба.
Пользователей 40 человек. Работают 1С 8.3,8.2, MS Office 2010, Outlook 2010 в связке с Kerio Outlook Connector (с функцией оффлайн кеширования), почта, рабочий стол, мои документы, загрузки перенаправлены у пользователей на диск D.
Даже если подойти к вопросу начётнически, то на всю ораву 12 физ.ядер в таком режиме... хм-ммм. HT, конечно, "удваивает", но там нет линейного масштабирования, т.е. даже из расчёта 24 лог.ядер маловато выходит, буквально впритык. Причём если MSO работает "интерактивно", больше ждёт реакции пользователя, то 1С если уж "залипает" на ядре в 100%, то прочно - т.е. достаточное к-во таких юзеров тормознут Ваш сервак неслабо.
С памятью та же тема - MSO её жрёт, как свинья помои, да 1С тоже не сильно отстаёт со своей ~сотней мегабайт на экземпляр клиента (т.е. на круг уже гига 4 имеем только на 1С-клиентов).
Хм-ммм...ADMT писал(а): Диск C полностью отдан для работы системы и приложений, но пользователи жалуются на медленный запуск и закрытие различных приложения типа Word, Exel, Тормозит почта, открытие файлов происходит очень медленно, мерцание экрана, даже вызов свойства файла происходит очень медленно. Например чтобы запустить приложение от имени администратора до запуска самого приложения проходит секунд от 20 до 30 и так везде. Файл подкачки стоит на диске D и размер по выбору системы.
Если Вы "вытеснили" юзеров на диск D (он же на двух хардах SATA у Вас, я правильно понял?) штатным образом через перенос профилей пользователей, то чего ж вы хотите?
Даже если у Вас "диск С отдан для работы системы и приложений", то тот же MSO часть своих потрохов держит в пользовательском профиле (Aplication Data, Local settings) - и когда вся эта орда начинает гонять MSO-шные проги, бедные харды начинают елозить головками туда-сюда... да коли там ещё идёт работа с почтой, лежащей на том же бедном диске D, да автосейв doc-xls-файлов... Грустно это всё.
К слову... если это не Ваша опечатка, то зачем Вы сделали R10 на ДВУХ хардах (полагаю, скроили его из разделов)??? Только голову контроллеру и системе морочить - ничем эта схема не лучше штатного R1 на двух дисках. Клясться не буду, но и это лыко может быть в строку в общей картине Вашего упадка и разрухи.
И да - файл подкачки отключать идея плохая (при ЛЮБОМ к-ве оперативы), нарвётесь на траблы в работе сервера. А вот сделать его фиксированного размера, а не "по выбору системы" я бы рекомендовал.
* * *
Я в соседней теме http://3nity.ru/viewtopic.php?f=40&t=23654 вчера провещился насчёт тюнинга 1С-сервера - внизу ветки мой комментарий, гляньте, может, что и себе приспособите.
Доброй охоты!
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Проблемы с работой терминального сервера
ADMT
По счетчикам трудно понять, есть ли вообще проблемы. Не видна раскладка по ядрам, нет данных по памяти. Нет данных по дискам по записи и чтению. По дискам видны пики до 30 единиц в течении нескольких минут в районе 12.32 до 12.25. Причем и как по диску С, где система, и по диску Д. Правда в разное время. Вполне вероятно, они и есть. По конфигурации: явный диссонанс с дисками, если у вас все данные на паре САТА, а пользователей аж 40 человек, то в первую очередь приходит на ум то, что пары САТА для 40 пользователей явно не хватает.
По счетчикам трудно понять, есть ли вообще проблемы. Не видна раскладка по ядрам, нет данных по памяти. Нет данных по дискам по записи и чтению. По дискам видны пики до 30 единиц в течении нескольких минут в районе 12.32 до 12.25. Причем и как по диску С, где система, и по диску Д. Правда в разное время. Вполне вероятно, они и есть. По конфигурации: явный диссонанс с дисками, если у вас все данные на паре САТА, а пользователей аж 40 человек, то в первую очередь приходит на ум то, что пары САТА для 40 пользователей явно не хватает.
Re: Проблемы с работой терминального сервера
Средняя нагрузка на процессор 30-40% по ядрам тоже примерно такой же расклад, памяти съедает только 30Gb из 64. Рейд 10 сделал сам контроллер (у него просто нету выбора RAID1, только RAID10 или 5 или 6 или 0). Из профилей пользователей GPO перенаправлены только Рабочий стол, Мои документы и загрузки, все остальное осталось в прежнем месте на диске C профиль пользователя. Такие проблемы наблюдается даже если если работают только пользователей 25 из 40. т.е. что 25 что 40 задержки одинаковые. Был раньше терминальный сервер с один Xeon E5420 и 32Gb памяти (server 2008R2 std 32 разрадная) при этом система работала на одном SSD, а данные были на двух SATA Hitachi 2Tb HDS723020BLA642 и софтверном зеркале. Профили были настроены так же как и на новом. И тормоза ощущались только при количестве пользователей от 30 человек.Причем производительно дисков в разы выше на новом сервере чем на старом (разница раз в 5-10 выше)
Какой лучше размер файла подкачки указать? И где его лучше разместить на диске С или Д?
Сервер печати может стоить перенести на другой сервер (все принтере сетевые)?
Всех больше Page Faults/sec это svhost, firefox и chrome.
Какой лучше размер файла подкачки указать? И где его лучше разместить на диске С или Д?
Сервер печати может стоить перенести на другой сервер (все принтере сетевые)?
Всех больше Page Faults/sec это svhost, firefox и chrome.
Re: Проблемы с работой терминального сервера
А посмотреть "внутрь" рейд-группы - из чего она состоит? Просто ладно если "они" обозвали "зеркало" (R1) как R10 (хотя это бардак и злостное пренебрежение отраслевыми соглашениями), но если контроллер по-умолчанию норовит раскатать два харда в R10 из их "половинок", то это реально уже ни в какие ворота не лезет.ADMT писал(а):Средняя нагрузка на процессор 30-40% по ядрам тоже примерно такой же расклад, памяти съедает только 30Gb из 64. Рейд 10 сделал сам контроллер (у него просто нету выбора RAID1, только RAID10 или 5 или 6 или 0).
И насчёт памяти не очень понятно, отчего "остаток" не распределяется системой в её дисковый кеш?
Подозреваю, что на предыдущем сервере в терм.сессии юзер у Вас работал не с таким развесистым набором софта, не? И, кстати, софт-зеркало на не самых чахлых CPU как правило заруливает по скорости хард-зеркало (особенно если это такой мутант, как Вы описАли и/или хард-зеркало ещё и настроено неоптимально).ADMT писал(а):Из профилей пользователей GPO перенаправлены только Рабочий стол, Мои документы и загрузки, все остальное осталось в прежнем месте на диске C профиль пользователя. Такие проблемы наблюдается даже если если работают только пользователей 25 из 40. т.е. что 25 что 40 задержки одинаковые. Был раньше терминальный сервер с один Xeon E5420 и 32Gb памяти (server 2008R2 std 32 разрадная) при этом система работала на одном SSD, а данные были на двух SATA Hitachi 2Tb HDS723020BLA642 и софтверном зеркале. Профили были настроены так же как и на новом. И тормоза ощущались только при количестве пользователей от 30 человек.Причем производительно дисков в разы выше на новом сервере чем на старом (разница раз в 5-10 выше)
От RAM до RAMx1.5-2 (на выбор, одним числом - и "сверху", и "снизу"). Разместить однозначно на С:ADMT писал(а):Какой лучше размер файла подкачки указать? И где его лучше разместить на диске С или Д?
Хороший вопрос.ADMT писал(а):Сервер печати может стоить перенести на другой сервер (все принтере сетевые)?
В отсутствие нужды - контроль печати и всё такое - я убрал спулер-сервер нафиг, пустив печать с клиентов напрямую на свои сетевые принтеры. Сделайте так же, зачем Вам спулер на другом сервере?
Йоу-у-уууу!!! Вот это да! Это ж самые отъявленные "возмутители спокойствия" в системе!ADMT писал(а):Всех больше Page Faults/sec это svhost, firefox и chrome.
Не боитесь, что они Вам раком поставят сервак после очередного обновления ненароком?
Я б подумал выселить их исполнение непосредственно на клиента - да, понимаю, менее удобно, эмбеддед-ссылки из/в док-ты MSO, почтовика и всё такое, но всё же???
Собсс-но, я потому и не перехожу полностью на тонких терм.клиентов, а живу на "толстых" - что нужно живёт в терминал-сервере, а остальной шлак типа Офиса, браузеров, почтовых клиентов и прочих вьюверов спокойно крутится на клиенте, не напрягая нас с сервером.
Re: Проблемы с работой терминального сервера
Щас вот пытаюсь в этом разобрать через утилиту администрирования от Dell.ADMT писал(а):А посмотреть "внутрь" рейд-группы - из чего она состоит?
На старом серваке было абсолютно все тоже самое, даже лишний софт наоборот на новом не стали ставить. Вот тесты скорости работы показывают что скорость на новом в разы выше чем на предыдушем (вложения прикладывают)Stranger03 писал(а):Подозреваю, что на предыдущем сервере в терм.сессии юзер у Вас работал не с таким развесистым набором софта, не? И, кстати, софт-зеркало на не самых чахлых CPU как правило заруливает по скорости хард-зеркало (особенно если это такой мутант, как Вы описАли и/или хард-зеркало ещё и настроено неоптимально).
Вот смотрю система использует все 32Г. файла подкачки а выделено 64. Если его переносить на диск С где система и указать зармер допустим 92Гб т.е. из 240 Гб вита места почти не останется (щас свободно 160) а для SSD дисков критично процент оставшегося места.ADMT писал(а):От RAM до RAMx1.5-2 (на выбор, одним числом - и "сверху", и "снизу"). Разместить однозначно на С
Все автоматические обновы этих друзей отрублены, как и адобепдфADMT писал(а):Йоу-у-уууу!!! Вот это да! Это ж самые отъявленные "возмутители спокойствия" в системе!
Не боитесь, что они Вам раком поставят сервак после очередного обновления ненароком?
В принципе так и есть, по GPO установились принтера для каждого пользователя как локальный по IP адресу.ADMT писал(а):В отсутствие нужды - контроль печати и всё такое - я убрал спулер-сервер нафиг, пустив печать с клиентов напрямую на свои сетевые принтеры. Сделайте так же, зачем Вам спулер на другом сервере?
К сожалению у меня все тонкие клиенты на WTware. Вот если проц работает в ненапряжном режиме и памяти дофиг и винты справляются нормально с работай как я понял. То что были пики выше обычного это в результате теста.
Вот как быть пока не знаю, может добавить еще два винта в raid1 только для почтовой базы?
Re: Проблемы с работой терминального сервера
Raid стоит честный 1, обнаружил что одна планка dimm имеет статус критический.
Вот щас работаю 14 человек, чуть быстрее стал работать, но все равно задержки ощущаются. Может быть дела все в модуле памяти? Настораживает еще 30% те что я обвел в приложенном файле.
Еще заметил, что по экрану начитаются фризы всякие или черные квадратики на иконках или их вообще не видно, пока не свернешь окно терминала и заново его раскроешь, текстуры перерисовываются и изображение снова становиться нормально. Странно.
Вот щас работаю 14 человек, чуть быстрее стал работать, но все равно задержки ощущаются. Может быть дела все в модуле памяти? Настораживает еще 30% те что я обвел в приложенном файле.
Еще заметил, что по экрану начитаются фризы всякие или черные квадратики на иконках или их вообще не видно, пока не свернешь окно терминала и заново его раскроешь, текстуры перерисовываются и изображение снова становиться нормально. Странно.
Re: Проблемы с работой терминального сервера
Надо есть этого слона по кусочкам.ADMT писал(а):Raid стоит честный 1, обнаружил что одна планка dimm имеет статус критический.
Вот щас работаю 14 человек, чуть быстрее стал работать, но все равно задержки ощущаются. Может быть дела все в модуле памяти? Настораживает еще 30% те что я обвел в приложенном файле.
Еще заметил, что по экрану начитаются фризы всякие или черные квадратики на иконках или их вообще не видно, пока не свернешь окно терминала и заново его раскроешь, текстуры перерисовываются и изображение снова становиться нормально. Странно.
В выходной заглушить сервак, вынуть диммы, пошоркать контактную группу ластиком, нежно и сильно пенетрировать их обратно в кроватки, прогнать мемТест.
Там уже смотреть - а не исчезнут ли "внезапно(тм)" отмеченные артефакты.
Шикарно было бы всё же по-максимуму "оттарировать" терминальную среду на предмет расхода памяти и ядер: ну не верится мне, что вся эта цветомузыка просто так.
Если действительно расходуется только половина памяти, то отжалеть кусок её на рамдрайв с назаначением туда темп-каталогов системы и пользователей (особенно на 1С это хорошо сказывается, когда клиент начинает шуршать темп-файлами на диске в процессе кумекания).
Pagefile при таких делах можно и в 32GB поставить - меньше на диске С займёт.
Насчёт добавить отдельное "зеркало" под почтовую базу: кошернее было б взять такие же харды, как имеющееся зеркало, и "растянуть" диск Д на рейд-группу R10 (про HSD уж и не заикаюсь) - для разнородного I/O (почта, файлы док-тов) самое то пришпорить. Судя по размеру бортового кеша, у Вас PERC встроенный (ROMB), на 8 сосков, т.е. запасец есть по к-ву дисков.
SAS-диски, конечно, предпочтительнее (хучь бы и NL), но это уж как поздоровится.
Re: Проблемы с работой терминального сервера
Вообщем вчера вечером пока просто перегрузил сервер, планка памяти встала нормально пока без ошибки и производительно теперь в норме, задержек нету, активно щас работают 30 пользователей и полет нормальный. Буду наблюдать за этой планкой (тест памяти ошибок не выявил) и попутно собираю перфсетчики.
Вопрос как это сделать, пока не доводилось такое проделывать?Umlyaut писал(а):Если действительно расходуется только половина памяти, то отжалеть кусок её на рамдрайв с назаначением туда темп-каталогов системы и пользователей (особенно на 1С это хорошо сказывается, когда клиент начинает шуршать темп-файлами на диске в процессе кумекания)
Re: Проблемы с работой терминального сервера
Аппаратная часть, кроме дисковой, вполне соответствует нагрузке или даже избыточна.
Если аппаратная часть будет в порядке, то перемещение профилей пользователей на зеркало из ssd решит остальные проблемы ТС.
Web-обозреватели при таком количестве пользователей на такой аппаратуре сами по себе к тормозам приводить не должны. "Зоопарк" из подключенных принтеров и, соответственно, установленных на терм.сервере драйверов - тут возможны варианты. Где работает, лучше Easy Print.
ТСу рекомендую покопаться в списках хотфиксов, типа https://blogs.technet.microsoft.com/yon ... r-2008-r2/ и посравнивать по версиям файлов. Помнится, были там не раз случаи со slow performance и freeze.
Ах, да, и стандартный вопрос - а firmware все последней версии?
Если аппаратная часть будет в порядке, то перемещение профилей пользователей на зеркало из ssd решит остальные проблемы ТС.
Web-обозреватели при таком количестве пользователей на такой аппаратуре сами по себе к тормозам приводить не должны. "Зоопарк" из подключенных принтеров и, соответственно, установленных на терм.сервере драйверов - тут возможны варианты. Где работает, лучше Easy Print.
ТСу рекомендую покопаться в списках хотфиксов, типа https://blogs.technet.microsoft.com/yon ... r-2008-r2/ и посравнивать по версиям файлов. Помнится, были там не раз случаи со slow performance и freeze.
Ах, да, и стандартный вопрос - а firmware все последней версии?
Последний раз редактировалось Bormoto 27 апр 2016, 12:14, всего редактировалось 1 раз.
Re: Проблемы с работой терминального сервера
Я бы всё же воспользовался "окном" ребута для обслуживания контактной группы модулей памяти (а то когда теперь доведётся). Ну да ладно.ADMT писал(а):Вообщем вчера вечером пока просто перегрузил сервер, планка памяти встала нормально пока без ошибки и производительно теперь в норме, задержек нету, активно щас работают 30 пользователей и полет нормальный. Буду наблюдать за этой планкой (тест памяти ошибок не выявил) и попутно собираю перфсетчики.
Элементарно.ADMT писал(а):Вопрос как это сделать, пока не доводилось такое проделывать?Umlyaut писал(а):Если действительно расходуется только половина памяти, то отжалеть кусок её на рамдрайв с назаначением туда темп-каталогов системы и пользователей (особенно на 1С это хорошо сказывается, когда клиент начинает шуршать темп-файлами на диске в процессе кумекания)
Берёте рам-драйв (я использую Primo Ramdisk, а до него рам-драйв от SSS), создаёте им "обычный" (так в настройках мастера создания дисков - есть там и более экзотические варианты) диск (у меня T: - temporary), в настройках диска Т: указываете автоматическое (при загрузке) создание на нём папок TMP, TEMP - а далее средствами ОС и прикладных программ (в частности, 1С) назначаете на него пути к темп-каталогам на эти самые T:\TMP, T:\TEMP. Не забудьте только про юзеров - у них пути к темп-каталогам отдельные и не те, что у ОС.
Файл-образ темп-диска использовать не нужно - вообще практически всё в том визарде выбирается по-умолчанию.
Кстати, поскольку аптайм у серверов существенно больше, нежели у десктопов, то полагаться на автоочистку рам-диска Т: можно с оглядкой - далеко не все программы "чистят" за собою темп-каталоги от временных файлов. Чтобы диск Т: не забился до конца прежде нечастой перезагрузки сервера, я еженедельно (но можно и реже/чаще - зависит от размера диска и скорости его засирания ) системным шедулером исполняю cmd-шник с командой его очистки.
Работает отлично уже сколько лет.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Проблемы с работой терминального сервера
Можно даже не вмешиваться в беседу,
Re: Проблемы с работой терминального сервера
Не разберу никак по смайлику интонацию - одобрительная или ехидная?Stranger03 писал(а):Можно даже не вмешиваться в беседу,
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Проблемы с работой терминального сервера
одобрительная,Umlyaut писал(а):Не разберу никак по смайлику интонацию - одобрительная или ехидная?
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей