Можно ли доверять результатам тестов?
Всегда щекотливый вопрос. Даже есть тестировщик отметит тест как PASS, где гарантия, что у клиента будет тот же результат?
Как не крути все держится на честном слове :) (это если все утрировать).
Столкнулась с проблемой моего доверия к своему же тестированию.
Есть два варианта:
Проверить функционал официальным путем, через UI приложения.
+ так работают пользователи.
- время на подготовку необходимых данных и тестирование может занимать ОЧЕНЬ много времени. А надо на вчера :)
Второй вариант:
Подготовить данные через базу Insert\Update и протестировать.
+ быстро, ОЧЕНЬ быстро.
- возникла проблемка, иногда результат работы функционала отличается, если работать через UI. А иногда нет :)
Второй вариант очень соблазнительный, так как дает значительное приемущество выиграша по времени :), но ему не хватает доверия.
И для того, что-бы его получить можно:
* более точно определить свои подходы к базе.
* После тестирования через базу провести контрольный тест на UI
А может всетаки тестеровщику не лезть в код? много слышу о том, как это плохо. Но как-то ведь тестируют же?!
Все эти рассуждения имеют место, только если действительно оно того стоит. А в моем случае это дало бы прирост производительности раз в 10 не меньше.
"Того стоит" = max(качество)+min(время)
или "как мед, так и ложкой" :)
1 comment:
Конечно через базу результаты тестов могут отличаться, так как данные проходят такой путь: UI->внутренние преобразования->протокол->база. При тестировании через базу вы не тестируете первых 3 звена, то етсь упускаете баги в них. Это может приводить к искажениям в расчетах и к громадным багам у заказчика - а ему плевать, что база работает - он заказывал рабочий продук, а не базу.
Еслои так хотите быстро, то тогда автоматизируйте ввод данных через UI.
А вообще, задумайтесь о стратегии: на вчера быть не должно. И тот вопрос который поднят сейчас, должен подниматься на стадии разработки стратегии тестирования и планирования времени на тестирование.
Post a Comment