Проверка методов и способов идентификации программного обеспечения

При низкой и средней жесткости испытаний методы и средства идентификации ПО проверяются на основе документации и выполнения функциональных испытаний (тестирования) ПО.

На основе документации проверяется описание реализованного метода идентификации и способа работы с ним. В случае разделения ПО на программном уровне устанавливается соответствие метода идентификации принципу разделения ПО.

На основе анализа документации получают информацию обо всех частях (модулях) ПО (с учетом его разделения), охватываемых идентификацией. Все части ПО, подлежащие метрологическому контролю (аттестации) должны быть охвачены алгоритмом идентификации.

Оценивается соответствие метода идентификации уровню требуемой защиты.

Проверяется наличие номинального значения, идентифицирующего ПО (номер версии, контрольная сумма и др.). Номинальное значение идентификации ПО вносится в свидетельство об аттестации.

Проверяется функция идентификации ПО, например, выводом номера версии на экран.

При высокой жесткости испытаний проводятся дополнительные испытания на основе анализа исходного кода ПО. При этом устанавливается:

- охват идентификацией всех частей ПО, подлежащих метрологическому контролю (аттестации), например, формирование номинального закрепляемого значения идентификации;

- охват идентификацией частей ПО, не подлежащих метрологическому контролю (аттестации);

- соответствие метода идентификации представленной документации.

Виды испытаний ПО

Погрешность ПО представляет собой отличие результатов, полученных с помощью испытываемого (тестируемого) ПО, от результатов, полученных при тех же условиях эталонным ПО. При этом под эталонным понимается ПО, отвечающее наивысшим требованиям к его точностным и функциональным характеристикам, подтвержденным (в ряде случаев независимыми методами) при его неоднократном тестировании.

Критерии отнесения ПО к эталонному условны и при проведении аттестации ПО СИ являются предметом соглашения между заказчиками аттестации и ее исполнителями. В качестве эталонного может быть использовано аттестованное ПО.

К основным источниками погрешностей ПО относятся:

- программные ошибки вследствие неправильной записи исходного текста программы на выбранном языке программирования, а также ошибки трансляции программы в объектный код;

- алгоритмические ошибки, связанные с неполной или ошибочной формулировкой необходимых условий решения;

- применение неустойчивых алгоритмов при решении плохо обусловленных* измерительных задач;

- ошибки программного преобразования входных данных перед обработкой и ошибки обратной процедуры, если она проводится;

- ошибки округления и др.

Порядок проведения испытаний (тестирования) ПО определяется тестовым заданием и может включать в себя:

- анализ ПО и его алгоритмов, выбор контролируемых параметров, характеристик и свойств;

- определение методов испытаний (тестирования) в соответствии с выбранной жесткостью испытаний;

- определение критериев оценки погрешности, характеристик и параметров ПО;

- выбор (или разработка) эталонного ПО;

- выбор (определение) исходных данных и/или их получение методом генерации или какими-либо другими методами;

- получение результатов u1086 обработки исходных данных в испытываемом (тестируемом) ПО (получение тестовых результатов);

- получение оценки погрешности ПО посредством обработки результатов испытаний (тестирования) (сравнения тестовых результатов с эталонными);

- дополнительные исследования свойств, параметров и характеристик используемых алгоритмов (адекватность измерительной задаче, область устойчивости, время, затрачиваемое на обработку результатов измерений и т.п.).

Основными методами, применяемыми при оценке погрешности ПО, являются:

- сравнительные испытания с применением эталонного (аттестованного) ПО;

- в отсутствие эталонного (аттестованного) ПО сравнительные испытания с использованием моделей исходных данных или с применением метода генерации эталонных данных;

- испытания на основе исходного кода ПО, а также комбинации указанных методов.

Сертификация ПС