Проектирование процесса загрузки и ведения информационной базы

Под системой загрузки и ведения информационной базы понимают некоторый комплекс программной, методической и технической документации, с помощью которой пользователь может осуществить своевременную загрузку и актуализацию данных, хранение достоверных данных, обеспечивать секретность данных, защиту их от сбоев компьютеров и своевременное восстановление утраченной информации.

Проектирование системы загрузки и ведения информационной базы означает проектирование и получение программной и технологической документации по следующим процедурам:

· загрузка и актуализация данных;

· обеспечение достоверности вводимых данных;

· обеспечение защиты данных;

· обеспечение надежности хранения данных.

Достоверность хранения данных в информационной базе подразумевает отсутствие ошибок, своевременность внесения изменений и непротиворечивость информации. Для обеспечения достоверности вводимых и хранимых данных необходимо выполнить следующие работы:

· обеспечить контроль вводимой информации при выполнении процедур загрузки и актуализации информации;

· обеспечить защиту хранимых данных от несанкционированного доступа;

· обеспечить одновременность актуализации одних и тех же данных, находящихся в разных файлах.

В процессе создания (загрузки) и актуализации информационной базы используются интерактивный и пакетный режимы.

Интерактивный режим создания и актуализации информационной базы предполагает ввод или обновление отдельных записей файлов по мере необходимости. Режим интерактивного ввода или обновления данных в основном применяется при создании и ведении файлов оперативной информации, когда происходят получение и оформление отдельных документов первичной информации (см. п. 8.1). Файлы оперативной информации создаются в режиме добавления записей по мере получения документов первичной информации. В этом смысле процессы создания и добавления оперативных данных не различаются. Кроме того, процессы первоначального ввода данных и возможной последующей их корректировки имеют небольшие технологические отличия. Например, ввод заказа и внесение изменений в заказ предполагают работу с одной и той же экранной формой. В первом случае заполняется пустая экранная форма, а во втором случае сначала вызывается заполненная экранная форма, а затем корректируется. В том и другом случае выполняются одинаковые методы контроля. При удалении записи также сначала вызывается соответствующая экранная форма для проверки целесообразности этой операции.

Пакетный режим создания и актуализации базы данных предполагает предварительный сбор пакета документов или подготовку входного файла первичной информации, с которых осуществляется загрузка (наполнение) основного файла или его обновление. Пакетный режим используется для работы с файлами оперативной информации только в тех случаях, когда требуется ведение централизованной базы данных из локальных источников при невозможности подключения этих источников к вычислительной сети или из соображений оптимизации объема передачи данных по вычислительной сети, например при поступлении учетной информации в бухгалтерию. Пакетный режим всегда используется для создания файлов условно-постоянной информации в силу необходимости одноразового ввода большого объема данных, а также часто используется при актуализации этих файлов вследствие, как правило, массового характера обновлений, например плановой информации или информации классификаторов.

В силу сложности технологии пакетного режима рассмотрим особенности проектирования технологического процесса загрузки и актуализации информационной базы на примере файлов условно-постоянной информации.

Под загрузкой информационной базы будем понимать совокупность операций по приему, контролю и регистрации поступившей информации, вводу информации в компьютер, контролю и исправлению ошибок, записи данных в информационный файл.

Содержание операций приема, контроля и регистрации поступившей информации зависит от типа носителя первичной информации. Если поступающая информация представлена на бумажном носителе, то во время ее выполнения осуществляется следующая совокупность действий:

· контроль количества поступивших документов, полноты и качества их заполнения;

· отбор правильно заполненных документов и их регистрация в регистрационном журнале;

· отбраковка документов, не соответствующих требованиям, предъявляемым к документам;

· формирование запроса на исправление документов с ошибками и отсылка их к источнику информации, т.е. в то подразделение, из которого они поступили.

Если информация поступает на машинном носителе (гибком диске), то в этом случае проверяется качество записи диска, регистрируются имя файла, объем, источник и время поступления.

При поступлении информации по каналам связи определяются источник поступления, время, количество поступивших записей.

Операция ввода информации в компьютер может осуществляться несколькими методами:

· ручной ввод данных с бумажных документов с использованием макетов экранных форм;

· автоматизированное чтение данных, содержащихся в документах на бумажных носителях, и загрузка их в информационную базу (см. п. 8.3).

При вводе больших объемов информации в компьютер с клавиатуры оператором допускается значительное количество ошибок, которые необходимо выявить и устранить. При этом контроль вводимой информации, как правило, осуществляется с использованием следующих методов:

· визуальный контроль на экране дисплея;

· метод контрольных сумм, рассчитываемых по каждой строке документа или по всему документу до ввода в компьютер и после ввода, которые затем сверяются между собой;

· метод верификации, при котором осуществляется сверка ранее введенных данных, записанных в файл, и данных первичных документов, вводимых оператором второй раз;

· метод двойного массива, при котором файлы по первичным документам создаются двумя разными операторами и после ввода сверяются по контрольным числам, вычисляемым для каждого из них.

Проверенные и исправленные данные заносятся в файл информационной базы.

Схема технологической сети проектирования процедуры пакетной загрузки базы данных при ручном способе ввода данных первичных документов отражена на рис. 8.1.

Первой выполняется операция «Определение особенностей подготовки данных и формирование требований к системе загрузки» (Ш). Для выполнения этой операции необходимо располагать технологической документацией, описывающей правила работы при получении первичной информации (Д1.1).

Можно выделить следующие особенности подготовки файлов данных:

· внемашинные форматы данных могут не совпадать с внутри-машинными форматами;

· получение и подготовка первичной информации с помощью разнообразных технических средств могут привести к рассогласованию кодов представления вводимой информации и кодов ее представления в компьютере;

· все операции по подготовке файлов являются машинно-ручными, поэтому следует учитывать большое количество возможных ошибок;

· вводимые файлы могут иметь линейную или иерархическую логическую структуру, которую следует учитывать в процессе загрузки;

· структуры записей входных файлов могут не совпадать со структурой записей базы данных.

Рис. 8.1. Технологическая сеть процесса загрузки информации в ИБ: Д1.1 - технологическая документация, описывающая правила работы при получении первичной информации; Д1.2 - требования к процессу загрузки; Д2.1 - схема технологического процесса загрузки; U3.1 - универсум программных средств частичной автоматизации, служебных средств операционной системы и языков программирования; Д3.1 - факторы, определяющие выбор инструментальных средств; Д3.2 - описание выбранных инструментальных средств и методическое обеспечение по их настройке; Д4.1 - блок-схемы программы; Д4.2 - коды программ; Д4.3 - настройка средств частичной автоматизации; Д5.1 -данные контрольного примера; Д5.2 – отлаженная программа; Д5.3 - распечатка результатов контрольного примера; Д5.4 - технологическая документация

Результатом выполнения этой операции является получение списка требований к процедуре загрузки (Д1.2). К основным требованиям, предъявляемым к процедуре загрузки, можно отнести следующие:

· необходимо обеспечение достоверности вводимой информации;

· должны выдаваться сообщения об ошибках и местах их возникновения;

· требуется обеспечение контроля вводимой информации на уровне файла, записи, поля;

· загрузка должна обеспечить перекодирование информации в случае рассогласования кодов;

· должно обеспечиваться преобразование файлов во внутренние форматы;

· должны выполняться редактирование, сортировка и распечатка файлов с постоянной информацией.

Второй операцией рассматриваемого процесса служит операция П2 Определение состава операций ввода и первичной обработки загружаемых файлов. Входной информацией для данной работы являются требования к процедуре загрузки (Д1.2), выходной - состав операций или блок-схема технологического процесса загрузки (Д2.1). Исходя из требований, предъявляемых к процедуре загрузки, выделяют следующие типовые операции, входящие в состав этой процедуры:

· ввод входных данных и их перекодирование;

· синтаксический и семантический контроль;

· распечатка Ведомости ошибок, анализ ошибок и создание файла корректур;

· ввод файла корректур в компьютер;

· корректировка входного файла с целью исправления в нем ошибок;

· редактирование входного исправленного файла;

· формирование записей основного файла;

· сортировка или индексирование основного файла с постоянной информацией;

· распечатка файла с постоянной информацией.

Особое внимание должно быть уделено разработке программы синтаксического и семантического контроля загружаемой информации в информационную базу. Синтаксический контроль может осуществляться на уровне структуры файла, записи и отдельного поля. Контроль на уровне файла сводится к контролю типов записей, соподчиненности различных типов записей (заголовок, подзаголовок), количества экземпляров каждого типа записи. Контроль на уровне записи сводится к контролю числа полей, их последовательности и длины записи. Контроль на уровне поля включает в себя контроль типа и формата поля.

Семантический контроль сводится к арифметическому и логическому контролю содержимого отдельных полей. Арифметический контроль осуществляется следующими методами:

· контрольных сумм по документу;

· контрольных сумм по отдельной записи;

· контрольного числа по файлу;

· контроля по модулю 11;

· балансовый контроль.

Логический контроль применяется для реквизитов-признаков и оснований, и при его построении используют следующие виды контроля:

· контроль на конкретное значение;

· контроль на диапазон значений;

· контроль путем сравнения с некоторой константой;

· контроль зависимостей значений реквизитов;

· контроль по списку значений (справочнику).

На следующей операции (ПЗ) осуществляется «Выбор инструментального средства разработки программ загрузки информационной базы» на основе универсума программных средств частичной автоматизации, служебных средств операционной системы и языков программирования (U3.1). На вход данной операции поступают блок-схема технологического процесса загрузки (Д2.1) и факторы, определяющие выбор инструментальных средств (Д3.1). На выходе получают описание выбранных инструментальных средств и методическое обеспечение по их настройке (Д3.2).

К инструментальным средствам частичной автоматизации относятся: генераторы экранных форм СУБД, специализированные генераторы ввода-вывода и утилиты. К основным факторам, влияющим на выбор средств частичной автоматизации, можно отнести:

· количество и характер функций, выполняемых данным средством, например возможность работы с многоэкранными формами или экранными формами, предназначенными для ввода данных в несколько файлов;

· наличие большого объема свободных вычислительных ресурсов;

· квалификация персонала;

· возможность подключения оригинальных программных средств.

Программные средства частичной автоматизации загрузки данных можно разделить по принципу функционирования на конверторы, предназначенные для преобразования данных, создаваемых в других информационных системах, и программы непосредственной загрузки интерпретирующего или генерирующего типа.

Результатом выполнения данной операции является выбор конкретных средств частичной автоматизации процедуры загрузки или языков программирования, или их комбинации.

Далее осуществляется операция «Настройки средств частичной автоматизации или разработка программ» (П4). В результате формируется программная документация по данной процедуре, в том числе блок-схемы программных модулей (Д4.1), коды программных модулей (Д4.2) и схемы настройки средств частичной автоматизации (Д4.3).

На операции П5 осуществляется «Комплексная отладка программы загрузки информации в базу данных» на основе исходных данных для контрольного примера (Д5.1) с получением отлаженной программы процедуры (Д5.2), распечаток результатов реализации контрольного примера (Д5.3) и создание технологической документации по процедуре загрузки (Д5.4).

Под актуализацией данных будем понимать совокупность операций над файлами информационной базы, связанных с добавлением новых записей, удалением старых, изменением содержания отдельных полей записей.

Процесс проектирования процедуры актуализации условно-постоянной информации в базе данных (технологической сети процесса) представлен на рис. 8.2. Он начинается с операции «Разработка системы организации актуализации данных в ИБ» (П1), сущность которой заключается в определении подразделений - источников изменений, разработке форм документа «Извещение на изменения» и экранных форм, определении маршрутов передвижения этого документа от подразделения-источника до ввода информации об изменениях в компьютер, определении регламента и режима ввода изменений.

Рис. 8.2. Технологическая сеть проектирования процесса актуализации ИБ: Д1.1 - принципы организации ИБ, Д1.2 - структура ИБ, Д1.3 - список поставщиков изменений, Д1.4 - режим внесения изменений, Д1.5 – маршруты движения извещений на изменения, Д1 б - формы внесения изменений, Д1 7 - макет экранной формы, Д2 1 - блок-схема ТП, Д2 2 – технологическая документация, U3 1 - универсум программных средств частичной автоматизации, служебных средств операционной системы и языков программирования, Д3 1 - факторы, определяющие выбор инструментальных средств, Д3.2 - описание выбранных инструментальных средств и методическое обеспечение по их настройке, Д4.1 - блок-схемы программы, Д4.2 – коды программ, Д4.3 - настройка средств частичной автоматизации, Д5.1 – данные контрольного примера; Д5.2 - отлаженная программа; Д5.3 - распечатка результатов контрольного примера, Д5.4 - технологическая документация

Входная информация, используемая при выполнении данной работы, включает описание структуры информационной базы (Д1.2) и описание принципов ее организации (Д1.1). Выходная информация включает в свой состав следующие документы:

· список поставщиков изменяемой информации (Д1.3);

· формы первичного документа Извещение на изменение (Д1.6);

· описания маршрутов движения извещения (Д1.5);

· макеты экранных форм размещения информации об изменениях (Д1.7);

· режимы внесения изменений (Д1.4);

· совокупность файлов, обновляемых одновременно (Д1.8).

Второй выполняется операция «Разработка технологического процесса внесения изменений» (П2). На вход данной операции поступают список поставщиков информации, формы первичного документа «Извещения на изменения», описание маршрутов движения «Извещения», макеты экранных форм размещения информации об изменениях, режимы внесения изменений. Результатом выполнения данной операции являются блок-схема технологического процесса актуализации данных (Д2.1) и технологическая документация (Д2.2). Можно выделить следующие типовые операции технологического процесса актуализации данных:

· выписка «Извещения» - данная операция выполняется в подразделениях предприятия - источниках изменений. Ее результат поступает в виде первичного документа Извещения в пункт ввода информации;

· прием, контроль и регистрация извещений;

· ручная корректировка Ведомости описи актуализируемого основного файла с постоянной информацией;

· ввод информации извещений в компьютер;

· контроль правильности записи информации;

· исправление ошибок и формирование входного файла изменений;

· сортировка файла изменений;

· ввод записей основного файла, требующего изменений;

· актуализация основного файла;

· распечатка актуализированного основного файла;

· сверка начальной и полученной описей основного файла.

При наличии расхождений - повторное выполнение вышеперечисленных операций.

Последующие операции Выбор метода актуализации и инструментального средства разработки процедуры актуализации информационной базы (П3), Настройка и разработка программных средств (П4), Отладка программ и создание технологической документации (П5) выполняются аналогично операциям в технологической сети проектирования процедуры загрузки информационной базы.

Для поддержания надежностихранимых данных при сбоях в работе компьютера и разрушениях информационной базы требуется система резервирования и восстановления, технологическая сеть создания которой представлена на рис. 8.3.

Содержанием первой операции является Выбор метода хранения и восстановления информации (П1). Проектировщики используют несколько методов хранения информации в информационной базе (Д1.1):

· метод дублирования основных файлов и хранения нескольких их копий;

· метод создания и хранения нескольких поколений каждого основного файла ИБ и файлов корректур к ним;

· комбинированную систему нескольких поколений с дублированием последнего поколения и файлов корректур.

В результате выполнения операции П1 получают документ Д1.2, описывающий выбранный метод хранения информации в информационной базе.

Далее проектировщики должны разработать и отладить программу отката и восстановления данных на контрольном примере (П2, П3), в результате выполнения которой получают отлаженный код программы (Д3.1), предназначенной для восстановления хранимых данных в случае сбоя системы при выполнении обращений прикладных программ к файлам ИБ или при выполнении процедуры актуализации данных, результатные данные контрольного примера (ДЗ-2).

Следующей является операция «Разработка технологии восстановления и хранения данных» (П4) и составления технологической документации (Д4.1).

Помимо этого необходимо также спроектировать систему учета эксплуатации файлов (П5), в которую входят: разработка «Журнала учета» (Д5.1), составление и отладка кода программы ведение статистики обращения к файлам (П6, П7) с получением программной документации (Д7.1) и контрольного примера (Д7.2), разработка технологии копирования файлов (П8) с получением соответствующей технологической документации (Д8.1). Проектирование процедур защиты информационной базы от несанкционированного доступа будет рассмотрено в главе 10.

Рис. 8.3.Технологическая сеть проектирования процесса поддержания надежности хранимых данных: U1.1 - универсум методов хранения и восстановления данных; Д1.1 - описание метода хранения и восстановления данных; Д2.1 - код программы восстановления данных; Д3.1 - отлаженная программа, Д3.2 - данные контрольного примера, Д4.1 - технологическая документация; Д5.1 - журнал учета выдачи в эксплуатацию; Д6.1 - код программы; Д7.1 - программная документация; Д7.2 - данные контрольного примера; Д8.1 – технологическая документация копирования файлов