AXForum  
Вернуться   AXForum > Microsoft Dynamics AX > DAX: Прочие вопросы
All
Забыли пароль?
Зарегистрироваться Правила Справка Пользователи Сообщения за день Поиск Все разделы прочитаны

 
 
Опции темы Поиск в этой теме Опции просмотра
Старый 18.02.2004, 11:36   #1  
mau is offline
mau
Участник
 
34 / 24 (1) +++
Регистрация: 12.03.2003
Адрес: Москва
Автоматизированное функциональное тестирование
Все привет.
Пробовал кто-нибудь настоить функциональное (регрессивное) тестирование собственных разработок? Поделитесь опытом, plz.
Старый 17.03.2004, 09:58   #2  
George Nordic is offline
George Nordic
Модератор
Аватар для George Nordic
Злыдни
 
4,479 / 1250 (50) ++++++++
Регистрация: 17.12.2003
Адрес: Moscow
Записей в блоге: 9
А стоит ли?
В axapte принято разделение труда - задачу стявят консультанты (они же пишут функциональный дизайн), а наше дело маленькое - писать код. Наше большое дело - писать код аккуратно, что бы он затрагивал как можно меньше стандартного фукционала и был оптимизирован. Принимать модификацию - это дело того консультанта, который ставил задачу. Поэтому хорошие косультанты так дорого и стоят, что они понимают внутренние связи и знают, что и куда может "стрельнуть" при опредененных настройках и введеных данных. Но даже самый опытный консультант не сможет выявить все ошибки, если просил написать модификацию в управлении запасами, а код затронул (или забыл затронуть ) ну, допустим, расчеты с клиентами. Поэтому кроме консультанта, по - хорошему, должен быть ведущий разработчик, который принимает код и имеет большой опыт программирования Х++. А так... чисто 1Совский подход - прибежал юзверь, пожелал кучу чудесный отчетов, побежал начальнику пожаловался, что его игнорируют, а программист и сам написал с его слов т.з. (или в голове составил), и сам написал код, и сам его принял. Поэтому автоматическое тестирование имхо не подходит - у тебя все может пройти успешно, но, допустим, при последущей настройке разноски в гк все может пойти крахом... а если все вылезет на рабочей базе...
Старый 17.03.2004, 10:21   #3  
bucken is offline
bucken
Участник
Аватар для bucken
 
259 / 12 (1) ++
Регистрация: 04.09.2003
Адрес: Москва
Цитата:
А стоит ли?
Во многих софтверных конторах, при разработке больших продуктов, применяется регрессионое тестирование. И там тоже есть разделение труда - аналитики и программмеры. По аналогии с Аксаптой консультанты и программеры. А в софтвере зачастую сложность выше, чем в настройке и доработке Аксапты. То что мы делаем в аксапте - назывыется кастомизацией. А то что делают при заказных разработках - гораздо сложнее. В аксапте мы зачастую настраиваем - уже готовый процесс. А в софтвере - создается процесс с нуля.
Вы говорите, что сложно учесть - в каком месте может аукнуться конкретная модификация. Хм....
В более сложном (заказные разработки) применятся регрессионое тестерование, а более простом - учесть нельзя... )))
На мой взгляд дело в том, что нет ресурсов на полноценное тестирование. (в софтвере - есть еще и тестеровщики)

P.S.
По поводу конкретно топика:
Один из подходов - с помощью систем эмулирующих пользователя(ей). Берем какой
нибудь бизнес процесс и выполняем его - нажимаем кнопки, вводим цифры и т.д - а система записывает все действия. И так для всех "выбранных" бизнес процессов. Потом сама фаза тестирования состоит в запуске системы, которая повторит все наши действия. А вот "выбранных" - это действительно сложно, потому что охватить все процессе не представляется возможным, и следует эвристическим путем отбирать базровые, критеческие и т.п. В качестве примера систем - WinRunner, LoadRunner и на www.mazzy.ru приведны еще ссылки на программки подобные.
__________________
Уточните значение слов и вы избавите человечество от половины его заблуждений. (Рене Декарт) / Axapta 2.5
Старый 17.03.2004, 15:20   #4  
mau is offline
mau
Участник
 
34 / 24 (1) +++
Регистрация: 12.03.2003
Адрес: Москва
Все верно - это надо для регрессивного тестирования при внутренних испытаниях перед сдачей заказчику. Тестировщики должны быть, но их нет Поэтому приходится искать человекозаменителей.

А по поводу дела - рассматривались два варианта: RationalRobot и QuickTest. Все отлично, пока дело не доходить до гридов. Оба продукта распознают гриды как панели. Поэтому адресация к записи идет через координаты клика. А поскольку в аксапте есть чудесная техногия IntelliMorph, время от времени (и очень часто) клик идет в пустоту. Так что без доводки напильником не обойтись (имхо).

Может кто работал руками в этом направлении? Отзовись!!
Старый 17.03.2004, 18:09   #5  
mazzy is offline
mazzy
Участник
Аватар для mazzy
Лучший по профессии 2015
Лучший по профессии 2014
Лучший по профессии AXAWARD 2013
Лучший по профессии 2011
Лучший по профессии 2009
 
29,472 / 4494 (208) ++++++++++
Регистрация: 29.11.2001
Адрес: Москва
Записей в блоге: 10
Цитата:
Изначально опубликовано mau
Так что без доводки напильником не обойтись (имхо).
Может кто работал руками в этом направлении?
ДО того, как брать в руки напильник и начать работать руками,
стоит посмотреть

Главное меню \ Администрирование \ Периодические операции \ Анализ производительности \ Запуск форм

а также посмотрите мастер проверки там же.
также попробуйте разобраться с benchmark tool.

Если после знакомства у вас останется желание мозолить руки напильником, обязательно скажите.
Старый 17.03.2004, 18:35   #6  
mau is offline
mau
Участник
 
34 / 24 (1) +++
Регистрация: 12.03.2003
Адрес: Москва
Цитата:
Главное меню \ Администрирование \ Периодические операции \ Анализ производительности \ Запуск форм
Только я не понял, при чем тут регрессивное (функциональное) тестирование. Может вы объясните как при помощи этих средств проверить корректность отработки изменений документов через форму при изменении её кода, корректность разноски документа при изменении кода класса, корректность отработки чего-либо еще?...

Для справки: Регрессивное тестирование - тестирование, проводимое для того, чтобы убедиться, что изменения, сделанные с целью исправления ошибок, не привели к появлению новых ошибок в функциях, ранее прошедших тестирование.
Старый 17.03.2004, 18:45   #7  
mazzy is offline
mazzy
Участник
Аватар для mazzy
Лучший по профессии 2015
Лучший по профессии 2014
Лучший по профессии AXAWARD 2013
Лучший по профессии 2011
Лучший по профессии 2009
 
29,472 / 4494 (208) ++++++++++
Регистрация: 29.11.2001
Адрес: Москва
Записей в блоге: 10
Спасибо за справку

Цитата:
Изначально опубликовано mau
А по поводу дела - рассматривались два варианта: RationalRobot и QuickTest. Все отлично, пока дело не доходить до гридов. Оба продукта распознают гриды как панели. Поэтому адресация к записи идет через координаты клика. А поскольку в аксапте есть чудесная техногия IntelliMorph, время от времени (и очень часто) клик идет в пустоту. Так что без доводки напильником не обойтись (имхо).

Может кто работал руками в этом направлении? Отзовись!!
Я отвечал вот на это.
Готового инструмента именно для регрессивного тестирования в Аксапте нет.

Однако, "доводу напильником" для борьбы с "чудесной технологией intelliMorph" считаю сесперспективным занятием Расширяйте существующие инструменты.

Сейчас подумал, что может быть я неправ.
Что вы подразумеваете под "доводкой напильником"?
Старый 17.03.2004, 20:37   #8  
mau is offline
mau
Участник
 
34 / 24 (1) +++
Регистрация: 12.03.2003
Адрес: Москва
Рассматривались несколько вариантов:

1. Расширение RationalRose - написание add-on'а и подключение его к RR и аксапта через com. Довольно трудоемко и малопрогнозируемо. Да в добавок малоосуществимо в связи с отсутствием ресурсов.
2. QuickTest вообще не допускает расширения - только тонкую настройку. Можно выкрутится на ограниченном банке тестовых данных и запись скриптов особым образом. Здесь велика вероятность сбоя теста - тестовые данные на то и тестовые, чтобы соответствовать расширению функциональности, да и проследить за консультантами-аналитиками-тестерами не всегда удастся. Так что велик риск несоблюдения сроков работ, ну и т.д.
3. Доработка модуля BM для применения к функциональным тестам. Считается наиболее перспективным. Необходимо дополнить классы BMScope... под расширенную функциональность и вставки checkpoint'ов в тестовые скрипты. Плюсы - знакомая среда работы/разработки, более высокая ожидаемая устойчивость скриптов к изменению данных. Минус - надо писать.

Так что вот-так...
Старый 18.03.2004, 00:30   #9  
mazzy is offline
mazzy
Участник
Аватар для mazzy
Лучший по профессии 2015
Лучший по профессии 2014
Лучший по профессии AXAWARD 2013
Лучший по профессии 2011
Лучший по профессии 2009
 
29,472 / 4494 (208) ++++++++++
Регистрация: 29.11.2001
Адрес: Москва
Записей в блоге: 10
ок. спасибо.
я, похоже, погорячился.
Старый 18.03.2004, 14:34   #10  
mau is offline
mau
Участник
 
34 / 24 (1) +++
Регистрация: 12.03.2003
Адрес: Москва
Я, кажется, тоже был несдержан. Сожалею
Старый 18.09.2014, 16:07   #11  
rDenis2 is offline
rDenis2
Участник
 
62 / 36 (2) +++
Регистрация: 13.05.2010
инструменты автоматического регрессивного тестирования АХ
Добрый день,

Хочу поднять тему.

Буду рад любой информации по вопросам:

1. Появились ли какие-то новые инструменты автоматического регрессивного тестирования АХ (AX2009/AX2012)?
2. Какие универсальные инструменты можно использовать для тестирования АХ?

Поделитесь кто что использует и как подходил к решению этого вопроса.

С уважением, Денис
Старый 18.09.2014, 16:32   #12  
lvan is offline
lvan
Участник
Аватар для lvan
Лучший по профессии 2014
 
856 / 82 (4) ++++
Регистрация: 15.04.2011
Записей в блоге: 1
я пробовал тестировать в AX2012 с помощью VS
работает, но тестовые скрипты неудобно набивать
есть видео с демонстрацией с Tech Conference 2011 на эту тему
вот блог чувака из Microsoft, который этим занимался http://blogs.msdn.com/b/dave_froslie/
как видно, он давненько не писал. наверное уволили =)

Последний раз редактировалось lvan; 18.09.2014 в 16:35.
За это сообщение автора поблагодарили: gl00mie (0), rDenis2 (0).
Старый 19.09.2014, 12:41   #13  
rDenis2 is offline
rDenis2
Участник
 
62 / 36 (2) +++
Регистрация: 13.05.2010
Иван, спасибо.
Старый 20.10.2014, 17:53   #14  
TerraRaa is offline
TerraRaa
Участник
 
2 / 10 (1) +
Регистрация: 20.10.2014
Добрый день!

Хочу поделиться опытом успешной автоматизации UI-тестирования AX.
Полгода назад, когда была поставлена эта задача, также не могла найти информации о практиках автоматизации регресса AX-систем, кроме продуктов Axeptance и Bonair, полностью интегрирующихся в Ax. Но для нашего случая они не подошли, по причине того, что в регресс входила работа с web-формами RF Interface модуля WHS (складской системы). Поэтому рассматривали стандартные инструменты автоматизации тестирования: TestComplete, SilkTest, Ranorex и пр. В итоге остановились на Ranorex по причине полной поддержки .Net и удобного механизма обращения к объектам. За несколько месяцев полностью автоматизировали регресс.

Последний раз редактировалось TerraRaa; 20.10.2014 в 17:57.
Старый 21.10.2014, 10:23   #15  
Ivanhoe is offline
Ivanhoe
Участник
Аватар для Ivanhoe
Лучший по профессии 2017
Лучший по профессии 2015
Лучший по профессии 2014
Лучший по профессии AXAWARD 2013
Лучший по профессии 2011
 
4,143 / 2155 (80) +++++++++
Регистрация: 29.09.2005
Адрес: Санкт-Петербург
А можете примерно сказать, сколько потратили на это (можно в деньгах, можно в часах) и что получили взамен (можно в деньгах, можно в часах)? На практике вопрос возникает достаточно часто, вот только никто не хочет платить за это, т.к. выход непонятен. Вопрос именно про AX.
__________________
Ivanhoe as is..
Старый 21.10.2014, 15:19   #16  
TerraRaa is offline
TerraRaa
Участник
 
2 / 10 (1) +
Регистрация: 20.10.2014
Затраты: стоимость инструмента (указана на сайте ranorex.com) + рабочие часы специалиста (изучение инструмента, создание тестовых сценариев, разработка методологии и самих скриптов, ну и разумеется, их поддержка, запуск, анализ результатов).
Результат: возможность проводить качественный регресс и убеждаться в работоспособности функционала до выкладки релиза, а в случае обнаружения проблем, своевременно предпринимать меры по устранению ошибок или отказе от некачественной версии до установки на прод.
Старый 21.10.2014, 16:40   #17  
gl00mie is offline
gl00mie
Участник
MCBMSS
Most Valuable Professional
Лучший по профессии 2017
Лучший по профессии 2015
Лучший по профессии 2014
Лучший по профессии AXAWARD 2013
Лучший по профессии 2011
Лучший по профессии 2009
 
3,684 / 5788 (200) ++++++++++
Регистрация: 28.11.2005
Адрес: Москва
Записей в блоге: 3
Не, это понятно, что на входе лицензии + трудозатраты, а на выходе - возможности что-то делать автоматом. Тут именно цифры интересны:
  • сколько часов ушло на изучение инструмента, создание тестовых сценариев (если до этого их не было), написание скриптов;
  • сколько ошибок в итоге удалось отловить с помощью этого инструмента, насколько сократились трудозатраты на тестирование. Скажем, раньше каждый прогон занимал 24 человекочаса, за цикл разработки делалось N прогонов, итого 24N человекочасов, теперь прогон занимает 0,5 человекочаса (анализ логов), за цикл разработки делается M > N прогонов, плюс 20 часов актуализируются скрипты, что в итоге дает 0,5M + 20 человекочасов, экономия столько-то часов, сокращение периода с появления ошибки до ее обнаружения в M/N раз.
В консалтинге, к сожалению, нельзя сказать клиенту, мол, заплати за автоматизацию тестирования столько-то денег, и это даст "возможность проводить качественный регресс, своевременно предпринимать меры по устранению ошибок" - такие абстрактные выкладки клиент не поймет...
 

Похожие темы
Тема Автор Раздел Ответов Посл. сообщение
Тестирование производительности АОС (32 || 64) SHiSHok DAX: Администрирование 40 17.12.2008 13:59
Тестирование, документооборот OOuph DAX: Программирование 5 27.03.2008 10:54
aEremenko: Тестирование производительности в DAX 4.0 Blog bot DAX Blogs 0 12.03.2008 16:05
Тестирование прав доступа в Ax 4.0 Ivanhoe DAX: Администрирование 27 14.12.2007 17:55
автоматизированное тестирование whoami DAX: Программирование 4 14.12.2005 15:48
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход

Рейтинг@Mail.ru
Часовой пояс GMT +3, время: 13:58.
Powered by vBulletin® v3.8.5. Перевод: zCarot
Контактная информация, Реклама.