Нам надо больше тестеров?

[zerych]

Отличный вопрос задали наши тестеры на работе - им в рамках контроля качества продукции поручили установить, какой процент нашей функциональности покрыт тестами, и, следовательно, сколько нужно тестов/тестеров, чтобы ее, родимую, покрыть целиком

Comments

[anjutka]

Это хороший план, главное, чтобы наоборот, начальство не решило, что раз мы тестируем 0%, то можно вообще убрать тестеров, и ничего не изменится:)

[zerych]

Ну, для увеличения уровня продаж нам нужно, чтобы можно было демонстрировать наш софт на конечном ненулевом числе примеров. Следовательно, конечное число тестеров нам все же необходимо. Хотя и не достаточно :)

[anjutka]

Это с тестерами вообще так: чем больше, тем лучше:)

[fyz]

Блеск! Зачитывала вашу дискуссию нашим тестерам вслух :)

[spri]

а если всерьез - в авионике, кажетяс, есть требование по покрытию кода (возможно не тестами, а проверки на то, что ве написанные выполняется).
для этого же есть какие-то тулзы ?

цените-своих-тестеров-пока-они-у-вас-есть

[zerych]

Увы, полное покрытие кода тестами имеет косвенное отношение к его проверке. Полная проверка возможна либо полным перебором пространства состояний (что даже для конечного автомата непросто, не говоря уж о вычислениях с плавающей точкой), либо математическим доказательством того, что код работает верно (а доказательство - это всего лишь дискуссия между несколькими людьми и тоже полной гарантии не дает).

Даже для элементарной строчки вида
y = 1/x
тот факт, что она удачно выполнилась для некоторого тестового набора x, вовсе не означает, что она в точке 0 выдаст нечто разумное. Что уж говорить о более сложных случаях. Если что, я писал и сертифицировал код для автопилотов, так что это всё вполне практические рассуждения :)

[spri]

Да я не говорю, что задача тестирования аналитически разрешима :)

Покрытие кода - первое, что приходит в голову для требований вроде "оценить что-то касающееся программы, в %".
То есть в покрытом тестами коде есть ошибки, но по крайней мере кто-то над ним лишний раз подумал.
Не ради же красоты это требование есть (?) в DO-178.

[zerych]

Кто любит колбасу и стандарты, не должен знать, как их делают ;)

Покрытие тестами как метрика качества релевантно отнюдь не всегда. Для некоторых случаев (например, UI или работа с БД) такая метрика хороша. Но, к примеру, для реализаций сетевых протоколов связи эта метрика малополезна в силу того, что их лучше проверять тестированием совместимости с эталонной реализацией.
Для сложной математики, ИМХО, эта метрика тоже плоха, и соответствующие отраслевые стандарты фокусируются на функциональном тестировании как на основной метрике качества, взять, к примеру, нежно мной любимый iec 62065.