Серверные тестовые программы

[setar]

Суть в следующем:
Хочу на досуге глобально потестировать вновь поступившее железо.
Необходимо выработать приемлимый набор тестовых испытаний, чтобы ответить на все возможные вопросы по производительности и надёжности техники :

• SCSI диски в отдельности
• RAID контроллеры
• RAID массивы в различной конфигурации
• платформы и серверы в сборе

и т.д.

Прошу высказывать ваши мнения и рекомендации по тестовому ПО.

P.S. в связи с традицией одина из применяемых тестовых программ - iometer ... вот только какой выбрать характер нагрузки пока не решил.

[gs]

бр-р-р. чтобы описать методику, котороя я при тестировании контроллеров и дисков пользовался, не одна страница потребуется.
а тестирование производительности серверов ваще целая песня

[Dmitry]

Да уж, у каждого своя методика.

[a_shats]

Как вариант: http://ixbt.com/comm/srv-method1.shtml
А вот - обсуждение его.
Фактически, выполнение ряда тестов TPC. Правда, на весьма специфичной (SAP DB) платформе.

[gs]

Это сильно круто, да и служит в основном для рекламы - как Формула1 - не станешь же на ней по дороге ездить.
Хочется тест, приближенный к реальной жизни - тест файлсервера, базы данных, сервера приложений. Причем настраиваемый аналогично IOMeter - чтобы можно было выбирать паттерны, приближенные к конкретному типу базы и подгонять под реализацию и нагрузку.
Ау, программеры!

[a_shats]

До программеров еще методика должна быть, отработанная и общедоступная (чтобы проверить можно было). И - все компоненты тестового пакета должны быть обязательно доступны.

[Dmitry]

К тестам TPC-C, лично я, отношусь очень скептически. Когда это начиналось, все действительно было честно. Затем производители железа начали затачивать свои продукты именно под высокие показатели TPC-C, чтобы это повлияло на рекламу, продажи, в общем стало дополнительным аргументом при выборе техники (а это ведь десятки миллионов долларов). В общем никому верить нельзя.
А по поводу программеров, вопрост так и будет открытым, потому как никто толком ничего не знает, а если знает то не уверен, что прав, другие вообще могут посчитать свои знания коммерческой тайной, чтобы не плодить конкурентов.
Так что самый лучший тест, это тест конкретной задачи-приложения на конкретном железе в свете экономической эффективности затраченных финансов.

[a_shats]

Ну да, но это - и самый неэффективный тест - как с точки зрения трудозатрат тестера, так и принимая во внимания то, что такой тест демонстрирует лишь "стартовую" производительность (т.е. только на данный момент), без учета будущего роста потребности этого самого конкретного приложения к ресурсам.

[Dmitry]

Вот и получается, что универсального механизма нет. Но на то и конференция что ктонибудь может натолкнуть на здравую мысль и общими усилиями чего-нибудь придумаем.
Кстати мы готовы проверять все присланные ссылки и выкладывать тесты в общее пользование.
Жду предложений

[a_shats]

Ага.
Ближе всех к идеалу - IOMeter, но он не нагружает п/с "процессор-память"
Предлагаю так: тест создает многопользовательскую нагрузку и ступенчато (с неким заданным шагом) наращивает ее - до определенного тестером предела. При этом ведется мониторинг общей производительности (транзакций/сек). В таком варианте мерилом производительности сервера будет момент резкого падения производительности на графике нагрузки -опять- таки, до (и ниже) определенного предела, выраженного в транзакциях в секунду.
Характер этого падения на графике тоже будет отражать способность сервера "держать" растущую нагрузку.

[Dmitry]

Идея правильная и понятная.
2 пути:
- написать такой тест самим
- найти что-то подобное (если устроит - то пользоваться, если нет - написать самим на основе найденного)

Возможно комбинировать iometer c тем тестом что нам не хватает.