Situation:
Клиент сигнализировал о баге, степов нет, только сообщение, что есть ексепшен.
Локально воспроизвести не получается.
Програмист сознал искуственные данные ("а ручки вот они где") и воспроизвел багу - пофиксил.
Q1: Тестировать или нет? Считать багу пофикшеной или нет?
A1:
с одной стороны причина не выяснена и соответственно не бага пофикшена по сути.
с другой - что-то пофикшено оно же протестировано и работает.
Dilemma1: Необходимо принять решение закрывать или нет багу. Вот такие моменты делают, жизнь тестировщика острее.
6 comments:
В ответ на "там что-то не работает" надо отвечать "мы что-то пофиксили".
Тестировать, конечно. Вместе с клиентом.
До тех пор оставить открытой.
Абсолютно согласен с Алексеем.
У меня правда не было пока ситуаций, что я что-то не мог воспроизвести, а программист мог. :)
Был случай, когда у клиента (у одного из сотрудников) вылазила сложно воспроизводимая бага, связанная с особой IT-инфраструктурой, воспроизвести которую у нас не предоставлялось возможным в силу многих причин.
Процесс ее проверки был построен так.
1. Программист, по описаным синдромам пытался что-то исправить
2. Создавалась сборка.
3. Отправлялась только этому клиенту и он сообщал о результате.
Надо сказать, что бага возникала в определенное время из-за особенностей графика жизни сотрудника. :) В общем, за три дня мы ее исправили (т.к. ошибка возникала раз в день). :)
предложеные варианты раньше я использовала, но что если:
- доступ к данным по некоторым причинам закрыт.
- система довольно таки глобальная, т.е. установка специальной версии невозможна так как это повлияет на всех пользователей.
Эскалировать проблему.
Доступ к данным для вас закрыт? Сообщить об этом заинтересованным лицам. Сообщить о том, что по таким-то причинам вы не можете воспроизвести/проверить дефект.
Закрыт в плане конфиденциальности. :)
тестовые данные это за итекший срок.
после фикса, повторных сообщений о проблеме не было.
Но сам факт с точки зрения тестирования: что-то пофикшено оно и протестировано. Однако, что это именно та проблема, пришлось решать верить програмисту или нет.
%)
почти что руская рулетка.
в том случае я поверила - и выжила:)
Но если что, как поступать в следующий раз? незнаю, по ситуации прийдется решать.
Еще раз повторюсь. Вы должны эскалировать эту проблему.
В следующий раз можете не выжить. И когда к вам придут и скажут: "Наталья, тут у клиента баг проявился, из-за которого он потерял N-ую сумму денег. Вы подтвердили, что баг исправлен. Потрудитесь написать ..."
Политическое решение вопроса:
Тестировщик должен сообщить о проблеме до того, как она дойдет до конечного пользователя. Если вы не можете проверить по объективным причинам, сообщайте о них руководству, пусть они дальше решают.
Техническое решение:
Вы можете затребовать версию обезличенных данных. Внесите предложение о создании тестового стенда. Обоснуйте его необходимость (можно привести в пример данные баги).
Post a Comment