АТТЕСТАЦИИ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

При проведении аттестации комиссией экспертов (экспертом) организации, проводящей аттестацию, составляется методика аттестации, содержащая детальное описание всех действий, выполняемых в процессе аттестации. При этом в методике аттестации должны быть предусмотрены следующие основные этапы:

- выбор методов испытаний (тестирования) в соответствии с целями испытаний и степенью их жесткости ----составление тестовых заданий в соответствии с требованиями к ПО и с указанием контролируемых параметров и характеристик, исходных данных и критериев, которым должны удовлетворять результаты, полученные тестируемым ПО- проведение испытаний (тестирования) и получение результатов

функционирования испытываемого (тестируемого) ПО в соответствии с тестовыми заданиями;

- обработка результатов испытаний (тестирования) (сравнение результатов, полученных испытываемым (тестируемым) ПО, с эталонными).

Методика аттестации оформляется для каждого отдельного ПО СИ, с учетом его назначения, функциональных особенностей и применяемых методов испытаний (тестирования).

Испытания (тестирование) ПО СИ при выбранной жесткости могут проводиться на основе изучения документации, сопровождающей ПО, испытаний (тестирования) с использованием аппаратных и программных средств, а также на комплексной основе с использованием как документации, так и аппаратных и программных средств.

При выполнении этапов, указанных в начале, т.е. при составлении методики аттестации, рекомендуется придерживаться следующей последовательности действий: - области применения;

- риска намеренных искажений результатов измерений;

- требуемой степени соответствия утвержденному типу;

- специфических задач аттестации.

По согласованию с разработчиком (заказчиком аттестации) устанавливается жесткость испытаний ПО СИ с учетом

При выбранной жесткости в программу испытаний рекомендуется включать следующие виды испытаний:

Низкая жесткость Средняя жесткость Высокая жесткость 1 2 3

1. Проверка документации.

1. Проверка документации.

1. Проверка документации.

2. Проверка разделения ПО и наличия защищенных интерфейсов (на основе анализа документации).

2. Проверка разделения ПО и наличия защищенных интерфейсов (на основе анализа документации и с использованием программных средств).

2. Проверка разделения ПО и наличия защищенных интерфейсов(с использованием программных средств, в том числе на основе анализа исходного кода).

3. Проверка соответствия утвержденному типу (на основе анализа документации).

3. Проверка соответствия утвержденному типу (идентификация) (на основе анализа документации и с использованием программных средств).

3. Проверка соответствия утвержденному типу (идентификация) (на основе анализа документации и с использованием программных средств, в том числе на основе анализа исходного кода).

4. Испытание (тестирование) функций ПО (с использованием аппаратных и программных средств).

4. Испытание (тестирование) ПО с целью u1091 установления правильности функционирования

и определения его свойств и характеристик, в том числе тестирование обработки данных (с использованием аппаратных и программных средств).

4. Испытание (тестирование) ПО с целью установления правильности функционирования и определения его свойств и характеристик и тестирование обработки данных (с использованием аппаратных и программных

средств, в том числе на основе анализа исходного кода).

5. Установление степени защищенности ПО и данных (на основе анализа документации).

5. Тестирование защищенности ПО и данных (с использованием программных средств).

5. Тестирование защищенности ПО и данных (с использованием программных средств, в том

числе на основе анализа исходного кода).

Примечание - Высокая жесткость испытаний с использованием анализа исходного кода применяется в тех случаях, когда имеют дело с ПО сложных и ответственных измерительных систем, в том числе систем, используемых при коммерческих расчетах, или когда к таким системам предъявляются исключительные требования по безопасности их функционирования. В обычных случаях ограничиваются низкой и средней жесткостью испытаний, при которых тестирование ПО осуществляется методом «черного ящика».

Определяются методы испытаний в соответствии с установленной жесткостью испытаний, которые должны найти отражение в тестовых заданиях. Составляются тестовые задания с учетом того, что эти задания

и/или исходные данные для их формирования, а также методы их выполнения должны обеспечить проверку всех основных режимов функционирования испытываемого (тестируемого) ПО, а также его соответствие требованиям нормативной документации.

Тестовые задания разрабатываются с учетом установленных видов испытаний, руководства пользователя, а также другой необходимой технической документации, представляемой на аттестацию. Каждому требованию и/или контролируемой функции u1076 должно соответствовать не менее одного тестового задания.

В тестовых заданиях определяются контролируемые свойства, параметры и характеристики ПО, методы испытаний тестируемого ПО, необходимые для этого исходные данные, программные продукты, с которыми сравниваются результаты, получаемые в процессе испытаний (эталонное ПО), а также критерии, позволяющие производить оценку характеристик тестируемого ПО.

Описывается последовательность действий при проведении процедуры испытаний (тестирования) в соответствии с установленной жесткостью испытаний и перечнем разработанных тестовых заданий.

Результаты испытаний ПО признаются положительными, если:

- программа соответствует функциональным возможностям, описанным в документации, и выполняет в рамках тестовых заданий все функции, декларируемые в документации;

- полученные значения параметров и характеристик программы при выполнении всех тестовых заданий удовлетворяют установленным критериям или находятся в допустимых пределах отклонений от них;

- в программе реализованы необходимые методы защиты и идентификации в соответствии с требованиями;

- программная документация соответствует требованиям нормативных документов.

Если в процессе выполнения какого-либо из тестовых заданий произойдет отказ программы, ее «зависание» или искажение результатов, то данное тестовое задание может быть модифицировано для подтверждения

ошибки функционирования и повторено. Выявленные ошибки фиксируются в протоколе испытаний.

По результатам испытаний ПО СИ составляется акт о результатах его исследования (тестирования) неотъемлемой частью которого является протокол испытаний, подписанный непосредственными исполнителями испытаний (тестирования) .

Дальнейшие разделы рекомендации конкретизируют виды испытаний (тестирования).

Система сертификации программного обеспечения средств измерений и

информационно-измерительных систем Правила функционирования