axperf: “Day in the Life Benchmark” available for Download on PartnerSource and CustomerSource.

[fed]

Меня в тестах, которые команда Сринивасана проводит, смущает тот факт, что тестируется все это не живыми пользователями, а скриптами Visual Studio, которые через Business Connector вызвают какие-то классы, которые эммулируют работу пользователя. С одной стороны - конечно это разумное приближение к реальной производительности. С другой стороны - как бы вы отнеслись, если в конце рекламы средства для повышения мужской потенции, вы бы увидели приписку маленькими буквами: "Клиническое тестирование лекарственного средства производилось с использованием резиновых женщин"...

[gl00mie]

Цитата:

Сообщение от fed

Меня в тестах, которые команда Сринивасана проводит, смущает тот факт, что тестируется все это не живыми пользователями, а скриптами Visual Studio, которые через Business Connector вызвают какие-то классы, которые эммулируют работу пользователя. С одной стороны - конечно это разумное приближение к реальной производительности.

Интересно, а какие, собственно, есть альтернативы? Те же методики гибкой разработки делают упор на автоматизированном тестировании, в т.ч. регрессионном. Я лично уверен, что до публикации финальных результатов тест прогонялся не один десяток раз - ведь не озарением же объясняется куча новых индексов, прикрученных для оптимизации, и некоторые изменения в коде, сделанные с той же целью. И как это все провернуть на живых пользователях? Как научить 5000+ человек быстро-быстро выполнять однотипные операции и проделывать это несколько десятков раз подряд в течение нескольких дней, синхронно, на пределе человеческих возможностей? Утопия...
Мне лично доводилось проводить автоматизированное тестирование производительности на основе некоторого очень упрощенного сценария поведения пользователя (создание и обработка заказа на продажу - с учетом кучи промежуточных специфических этапов), когда встал вопрос о том, потянет ли система, если "вот прям щас" подключить условной 50-80 новых пользователей. Да, это было утрировано, да, ни один живой пользователь не пострадал, но результаты дали понимание того, 1) потянет ли, 2) где примерно в системе "узкое место" (СУБД "курила бамбук", тестовый АОС был загружен под самое "не балуйся"). Это лучше, чем ничего, потому что 50-80 настоящих пользователей мне бы никто на 1-2 дня чисто "для теста" никогда бы не выделил, а если бы и выделили, я бы застрелился прежде, чем объяснил им всем, что именно надо делать.

Цитата:

Сообщение от fed

С другой стороны - как бы вы отнеслись, если в конце рекламы средства для повышения мужской потенции, вы бы увидели приписку маленькими буквами: "Клиническое тестирование лекарственного средства производилось с использованием резиновых женщин"...

С учетом того, сколько раз гоняются тесты производительности перед публикацией результатов, у "настоящих женщин", извините, "натерлись бы мозоли"...

[Mykola Galak]

Цитата:

Сообщение от gl00mie

Интересно, а какие, собственно, есть альтернативы?

Как вариант взять живую инсталяцию, например сити оф Редмонд, который в кейс стади фигурирует, и провести тесты на ней. Тесты - несколько сценариев из повседневной жизни пользователей, закрытие месяца, года. Чтобы порадовать маркетологов, можно видео сделать с секундомером в углу и показателями загрузки системы при выполнении операций в системе, ну и с улыбающимися пользователями конечно

[trud]

Цитата:

Сообщение от gl00mie

Интересно, а какие, собственно, есть альтернативы? Те же методики гибкой разработки делают упор на автоматизированном тестировании, в т.ч. регрессионном. . И как это все провернуть на живых пользователях? Как научить 5000+ человек быстро-быстро выполнять однотипные операции и проделывать это несколько десятков раз подряд в течение нескольких дней, синхронно, на пределе человеческих возможностей? Утопия...

А вот это как раз и можно было сделать старым модулем benchmark. в одном из режимов как раз и открывались реальные формы и нажимались реальные кнопки
То что есть сейчас это очень сильное упрощение, по сути никак не учитывается интерфейс, на котором могут быть дисплей методы и прочии вещи
Хотя этот модуль отлично поднимается с трешки