Методы тестирования программного обеспечения: черный и белый ящик, системные испытания

Тестирование программного обеспечения представляет собой критически важный процесс оценки системы или ее отдельного компонента. Данная процедура выполняется вручную или автоматизированными средствами для проверки соответствия заранее определенным требованиям и выявления расхождений между ожидаемыми и фактическими результатами. Фундаментальной целью тестирования является целенаправленное использование программы для обнаружения скрытых дефектов и ошибок. Важно понимать, что успешное прохождение тестов не гарантирует абсолютного отсутствия изъянов в системе. Тестирование может доказать наличие проблем, но не способно подтвердить их полное отсутствие, что определяет его вероятностную природу.

Деятельность тестирующего сотрудника не ограничивается простым поиском недостатков; она включает комплексную оценку надежности, безопасности и безотказности программы в условиях, имитирующих эксплуатацию. Существует также экономический аспект, связанный с определением оптимального объема тестирования для крупных проектов. Ключевым вопросом является момент прекращения испытаний и установление приемлемого уровня остаточных ошибок. Программное обеспечение может быть допущено к эксплуатации, если количество выявленных дефектов не превышает определенного критического порога. Базовым допущением всего процесса является стабильность и неизменность сформулированных требований к системе на протяжении всего периода тестирования.

Рис. 22. Разработка программного обеспечения

Эффективная стратегия тестирования должна инициироваться на самой ранней стадии, во время обсуждения и составления спецификаций требований к системе. Сам процесс носит многоуровневый характер, начиная с проверки мелких деталей и заканчивая комплексной оценкой, причем первоначальное тестирование проводят разработчики, а завершающее — конечные пользователи. Значение тщательного и хорошо спланированного тестирования экспоненциально возрастает по мере увеличения сложности создаваемого программного обеспечения. Банк или иная организация определяет необходимый объем процедур в зависимости от характера и критичности информационного решения, применяя полный цикл для собственных разработок и выборочные этапы для готовых продуктов.

Тестирование белый ящик (White-box testing) ориентировано на выявление проблем во внутренней структуре и логике программы. Этот метод требует от исполнителя глубоких знаний ее устройства и не может быть выполнен рядовым пользователем. Его главная задача — обеспечить проверку каждого шага алгоритма и всех возможных ветвлений кода. Ключевым преимуществом стратегий белого ящика является то, что они учитывают внутреннюю структуру всей программы, что позволяет находить ошибки даже при неполных или недостаточно четких спецификациях.

Тестирование по блокам (модульное тестирование) заключается в изолированной проверке отдельного функционального блока — обычно функции, процедуры или класса — от остальных компонентов системы. Небольшой размер блоков позволяет провести их исчерпывающую и тщательную проверку, что значительно облегчает обнаружение и устранение ошибок на начальном этапе. Как правило, модульное тестирование, являясь разновидностью подхода белый ящик, выполняется силами самих разработчиков. Одной из наиболее сложных задач в разработке является интеграция и тестирование крупных подсистем, где возникают труднообъяснимые сбои.

Интеграционное тестирование фокусируется на проверке интерфейсов между несколькими блоками, образующими модуль или подсистему, чтобы гарантировать их совместимость и корректную совместную работу. В противоположность этому, тестирование черный ящик (Black-box testing) направлено на поиск отсутствующих или некорректно реализованных функций с позиции внешнего пользователя, без знания внутреннего устройства. Функциональные тесты подтверждают правильность обработки входных и выходных данных, а идеальными исполнителями таких проверок являются будущие конечные пользователи системы.

Системное тестирование представляет собой комплексную проверку всего продукта в максимально приближенной к реальной эксплуатационной среде. Оно включает тестирование характеристик (Performance Testing), которое измеряет время отклика, использование памяти и производительность. Стресс-тестирование (Stress Testing) нагружает систему на пределе ее возможностей для оценки стабильности и способности обрабатывать ошибки. Тестирование надежности (Reliability Testing) оценивает реакцию системы на различные входные данные и подсчитывает количество отказов за определенный период.

Ретроспективное тестирование (регрессионное тестирование) — это обязательная проверка модифицированного программного обеспечения, призванная убедиться, что внесенные изменения корректны и не оказали негативного воздействия на ранее работоспособные компоненты. Финальной стадией является Приемо-сдаточное испытание (User Acceptance Testing — UAT), которое проводится группой конечных пользователей для окончательного подтверждения готовности системы к промышленной эксплуатации. На этом этапе система проходит наиболее реалистичную проверку, так как пользователи лучше понимают, как она будет применяться в повседневной работе.

Рассмотрим типичные ошибки, совершаемые организациями при попытке наладить эффективный процесс тестирования. Первой проблемой является неправильное понимание роли тестирования, цель которого — целенаправленное обнаружение дефектов, а не доказательство их отсутствия. Второй распространенный недостаток — это недостатки в планировании процесса, когда чрезмерное внимание уделяется функциональности в ущерб проверке взаимодействия компонентов, системным характеристикам и сопроводительной документации. Третья категория ошибок — неправильный подбор персонала; поручать тестирование младшему персоналу недопустимо, а группа должна включать как ИТ-специалистов, так и конечных пользователей. Четвертой проблемой является слабая методика тестирования, когда исполнители уделяют чрезмерное внимание самим тестам, пренебрегая разработкой комплексного и обоснованного плана тестирования.

Сведения об авторах и источниках:

Авторы: Тютюнник А.В., Шевелев А.С.

Источник: Информационные технологии в банке

Публикации предназначены для ИТ-руководителей и топ-менеджеров коммерческих банков, а также для менеджеров компаний-разработчиков и консультантов. Материалы помогут профессионалам в организации и оптимизации управления информационными системами на всех этапах их жизненного цикла.