Friday, 5 March 2010

трудности раб будней или проблема принятия решения

Situation:
Клиент сигнализировал о баге, степов нет, только сообщение, что есть ексепшен.
Локально воспроизвести не получается.
Програмист сознал искуственные данные ("а ручки вот они где") и воспроизвел багу - пофиксил.

Q1: Тестировать или нет? Считать багу пофикшеной или нет?

A1:
с одной стороны причина не выяснена и соответственно не бага пофикшена по сути.
с другой - что-то пофикшено оно же протестировано и работает.

Dilemma1: Необходимо принять решение закрывать или нет багу. Вот такие моменты делают, жизнь тестировщика острее.

6 comments:

Алексей Лупан said...

В ответ на "там что-то не работает" надо отвечать "мы что-то пофиксили".

Тестировать, конечно. Вместе с клиентом.

До тех пор оставить открытой.

Ilya Dunin said...

Абсолютно согласен с Алексеем.

У меня правда не было пока ситуаций, что я что-то не мог воспроизвести, а программист мог. :)

Был случай, когда у клиента (у одного из сотрудников) вылазила сложно воспроизводимая бага, связанная с особой IT-инфраструктурой, воспроизвести которую у нас не предоставлялось возможным в силу многих причин.

Процесс ее проверки был построен так.
1. Программист, по описаным синдромам пытался что-то исправить
2. Создавалась сборка.
3. Отправлялась только этому клиенту и он сообщал о результате.

Надо сказать, что бага возникала в определенное время из-за особенностей графика жизни сотрудника. :) В общем, за три дня мы ее исправили (т.к. ошибка возникала раз в день). :)

Novotna Natalia said...

предложеные варианты раньше я использовала, но что если:

- доступ к данным по некоторым причинам закрыт.
- система довольно таки глобальная, т.е. установка специальной версии невозможна так как это повлияет на всех пользователей.

Ilya Dunin said...

Эскалировать проблему.

Доступ к данным для вас закрыт? Сообщить об этом заинтересованным лицам. Сообщить о том, что по таким-то причинам вы не можете воспроизвести/проверить дефект.

Novotna Natalia said...

Закрыт в плане конфиденциальности. :)
тестовые данные это за итекший срок.

после фикса, повторных сообщений о проблеме не было.

Но сам факт с точки зрения тестирования: что-то пофикшено оно и протестировано. Однако, что это именно та проблема, пришлось решать верить програмисту или нет.
%)

почти что руская рулетка.
в том случае я поверила - и выжила:)

Но если что, как поступать в следующий раз? незнаю, по ситуации прийдется решать.

Ilya Dunin said...

Еще раз повторюсь. Вы должны эскалировать эту проблему.

В следующий раз можете не выжить. И когда к вам придут и скажут: "Наталья, тут у клиента баг проявился, из-за которого он потерял N-ую сумму денег. Вы подтвердили, что баг исправлен. Потрудитесь написать ..."

Политическое решение вопроса:
Тестировщик должен сообщить о проблеме до того, как она дойдет до конечного пользователя. Если вы не можете проверить по объективным причинам, сообщайте о них руководству, пусть они дальше решают.

Техническое решение:
Вы можете затребовать версию обезличенных данных. Внесите предложение о создании тестового стенда. Обоснуйте его необходимость (можно привести в пример данные баги).

Post a Comment