Пронин Ю.Н.
Генеральный директор АО «Промсталь»
Проект статьи в журнал
«Металлург» №8_1999 г.
Как построить систему
мониторинга
Цели построения системы мониторинга.
Прежде всего, определим свое отношение к терминологии.
Будем считать, что мониторинг – это
процесс периодического обследования состояния какой-либо наблюдаемой системы,
отслеживания изменений этого состояния с течением времени, выявления и
ранжирования факторов, обусловливающих эти изменения, а также представления
полученной информации на таких носителях и в таких смысловых формах, которые бы
обеспечивали ее адекватное восприятие лицами, принимающими решения.
Из определения видно, что для построения системы мониторинга необходимо решение как минимум трех следующих задач:
1. Обеспечение полноты первичных данных, что подразумевает надлежащую организацию сбора исходных данных о состоянии и развитии важнейших процессов в обследуемой системе.
2. Обеспечение качества, своевременности и взаимосогласованности выходной информации, что предусматривает наличие разного рода механизмов обработки и преобразования исходных данных.
3. Обеспечение надежного интерфейса с системой поддержки принятия решений, что означает представление выходной информации в таком виде, который исключал бы недооценку, недопонимание или, тем более, ложную интерпретацию полученной информации в процессе принятия решений.
Как правило, последняя задача явно недооценивается информационными менеджерами, хотя многие, наверное, согласятся с тем, что главная цель построения системы мониторинга и состоит в том, чтобы обеспечить работу систем поддержки принятия решений на всех уровнях управления предприятием. Взаимозависимость этих двух систем наглядно показана на рисунках 1 и 2.
В то же время, необходимо признать, что достижению этой цели препятствует не только и даже не столько нерешенность задачи построения вышеуказанного смыслового интерфейса. Более всего следует говорить о проблеме ценности информации, поступающей сегодня в систему поддержки принятия решений. Низкая же ценность этой информации связана как с недостаточным качеством исходных данных, так и с незрелостью механизмов их осмысления и переработки в итоговую информацию.
Первая проблема понятна сама по себе: исторически накопившиеся на корпоративных серверах массивы данных просто по причине отрывочного и противоречивого процесса автоматизации ни могли не быть такими же отрывочными и противоречивыми, неполными, засоренными и даже ошибочными. В разной, конечно, степени: у кого лучше, у кого хуже, но общая ситуация с качеством данных на наших металлургических комбинатах далека от нормальной. В оправдание нужно сказать, что это отнюдь не родовая болезнь нашей отрасли – проблема качества данных сегодня является первостепеннейшей из проблем, которыми приходится заниматься информационным менеджерам в любой точке мира и в любой отрасли. Разве что на крупных и многосложных предприятиях, каковыми и являются наши металлургические комбинаты, и проблем с обеспечением надлежащего качества информации гораздо больше.
Вторая проблема связана с существующим сегодня уровнем организации даже самых простейших информационных потоков и процессов переработки данных на предприятиях, а также с уровнем используемых при этом программных и технических средств. Тот факт, что при выполнении запросов на одном и том же массиве исходных данных разные пользователи могут получить не просто различную, но и порой противоречивую информацию – и это встречается сплошь и рядом, - все это и позволяет говорить о чрезвычайной актуальности второй задачи из числа тех, которые ответственны за построение корпоративной системы мониторинга.
Конечно, выйти из сложившейся ситуации можно и путем запретов и ограничений на доступ конечным пользователям к исходным данным. Что, кстати, в силу очевидной выгодности, зачастую и происходит на наших комбинатах. Однако это путь тупиковый. И выход здесь может быть только один – функциональные специалисты предприятий должны иметь полное право на самостоятельное формирование требующихся им отчетов и справок, какими бы сложными и нестандартными не были бы их запросы.
Информационные службы при этом обязаны обеспечить и строгий контроль за качеством исходных данных, и регулярную выверку нормативно-справочной информации, и надлежащий порядок в корпоративном информационном хранилище, включая тщательную выбраковку данных в многолетних накопленных массивах.
И при всем при этом – обеспечить пользователей набором инструментальных программных средств, которые бы позволяли ему, с одной стороны, выполнять практически любые запросы к хранилищу, а с другой, - быть уверенным в том, что запросы эти не могут выдать неправильную информацию.
И это еще не все – программный инструментарий пользователя (а лучше скажем – аналитика) должен еше и обеспечить последующее представление полученной информации в таких смысловых формах, которые бы исключали ее неадекватную интерпретацию.
Инструментальные средства для
построения системы мониторинга.
Надо признаться, что сформулированные выше требования к информационным службам являются не более чем пожеланиями, и уж никак не основанием для упреков: идеальных корпоративных информационных систем, также как и программных средств для их построения еще не создано.
И поверьте, это вина не только относительно молодой информационной науки. Бесконечно много проблем с отраслевыми и специальными знаниями – достаточно привести пример нерешенности актуальнейшей задачи классификации продукции, в частности, в металлургии. Да и базовые научные ценности к концу тысячелетия все более подвергаются сомнениям. Так, в докладе В.М.Полтеровича “Кризис экономической теории” приводится поразительный, всеразрушающий вывод: ”Сопоставление теорем с опытом указывает на наличие неучтенных обстоятельств. А их учет приводит к разноречивым выводам. ЭКОНОМИЧЕСКИЕ ЗАКЛЮЧЕНИЯ ОКАЗЫВАЮТСЯ НЕУСТОЙЧИВЫМИ ОТНОСИТЕЛЬНО “МАЛЫХ” ВАРИАЦИЙ ИСХОДНЫХ ДОПУЩЕНИЙ”.
Как можно при всем при этом требовать от информационных менеджеров самостоятельной разработки идеальных технологий и систем, а от рядовых работников отделов и служб предприятий – грамотной постановки задач по таким вопросам построения корпоративной информационной системы, по которым до сих пор нет ясного ответа со стороны профессиональной науки?
И все же, что-то уже можно сделать и сегодня. В настоящей статье мы постараемся рассказать об одной отечественной попытке создания программного инструментария для построения систем мониторинга работы металлургических предприятий, ориентированного как раз на изначальную «неидеальность», недостроенность корпоративной информационной системы, на хаос и беспорядок в существующих базах данных, на «зоопарк» сосуществующих программ, платформ, операционных и аппаратных систем.
Если говорить именно об этой стороне устройства этого программного инструментария (см. рис. 3), то следует отметить, что заложенные в нем возможности позволяют выстраивать систему мониторинга на основе заведомо некачественных данных (включая нормативно-справочную информацию), упорядочивая, согласовывая и выверяя эти данные, прогоняя их через долгую цепочку сложных и трудоемких процедур, выправляя со временем сами исторически сложившиеся механизмы их сбора и обработки, и при всем при этом – на приемлемом уровне позволяют обеспечивать работу систем поддержки принятия высших управленческих решений.
То есть, можно было бы говорить о том, что одной из
целей этого аналитического программного комплекса значится следующая: «Обеспечить возможность мониторинга работы
предприятия, мониторинга всех систем его корпоративного учета без кардинальной
перестройки существующих механизмов сбора и первичной обработки исходной
информации».
За достижение этой цели в структуре анализируемого
программного инструментария отвечает нижний блок «Сбор данных и формирование корпоративного информационного хранилища».
Следующим и одним из наиболее важных элементов рассматриваемой системы является
блок «Настройки информационного
хранилища и структурирование аналитических массивов данных». Функции
всесторонней обработки и преобразования исходных аналитических данных выполняет
блок «Инструментальные средства
аналитика». И, наконец, за представление преобразованной информации в виде,
пригодном для использования в системах поддержки принятия решений, отвечает
блок «Программная среда логического
представления информации».
Более детальное описание начнем с последнего блока, так как именно он реализует главную целевую функцию системы мониторинга.
Представление информации в системах
мониторинга.
Информация в системах мониторинга может быть представлена с помощью самых различных материальных или нематериальных носителей: на листах бумаги, на экранах компьютера, на всевозможных типах диспетчерских щитов, на разного рода информационных табло, через звуковые и световые сигнальные установки, и даже с помощью таких современнейших проекционных средств отображения информации, как «видеостена».
Наличие таких
возможностей, безусловно, необходимо учитывать при проектировании систем
мониторинга. Однако, как показывает практика, много важнее детально продумать
смысловые формы представления данных, ибо без них любое дорогостоящее
демонстрационное оборудование останется «игрушкой на час», очередной попыткой
отрапортовать начальству о том, что деньги на автоматизацию затрачены не
напрасно, потешить себя мыслью, что теперь и наша информационная система
соответствует мировому уровню.
С точки зрения информационного менеджера, наиболее просто строить механизмы мониторинга для систем оперативного учета, хотя, конечно, и здесь имеется своя иерархия сложности. Так, хорошо всем известные диспетчерские центры, отражающие информацию о тех или иных процессах или об отклонениях от их нормального хода на визуальных схемах или даже моделях этих процессов – пример самой понятной для восприятия, не самой сложной для организации данных, но одной из самых трудоемких и громоздких в исполнении систем мониторинга (по соотношению «объем информации – трудоемкость представления»).
В качестве примеров других систем мониторинга, также относящихся к оперативному учету, но уже требующих более сложной организации данных и форм их представления, можно упомянуть о балансах «отгрузки-оплаты» по договорам, о календарных графиках исполнения спецификаций, о различных визуальных формах представления денежных потоков на предприятии и т.п.
Еще более сложными являются системы мониторинга бухгалтерского учета, бюджетного учета, учета договоров и сделок. И не столько с точки зрения используемых носителей информации, сколько с точки зрения организации смысловых форм. Ведь в этом случае, для организации доступного для понимания форм представления информации, нужно быть не только классным специалистом в сфере информационных технологий, но еще и прекрасно разбираться в теории и практике функционирования современного предприятия. Только тогда, когда разработчик систем мониторинга для уровня сводного корпоративного учета будет являться одновременно и специалистом по этому самому учету, и в целом - специалистом по построению корпоративной системы управления, - можно надеяться на успех в разработке таких форм представления информации, как формы бюджетного управления, формы контроллинга исполнения платежных схем по договорам, формы балансировки источников средств предприятия и фондов их расходования и т.д.
Таким образом, по мере усложнения задач мониторинга, явно прослеживается тенденция увеличения роли форм представления информации и одновременно снижается критичность к выбору носителей – на этих уровнях, как правило, вполне допустимо обходиться бумажными отчетами и компьютерными формами (даже если они реплицируются на гигантские информационные табло, как это часто бывает в случаях построения Ситуационных центров поддержки принятия решений).
Именно такой вывод и привел нас к необходимости создания нескольких типов конструкторов смысловых форм именно компьютерного представления информации, объединенных в понятие программной среды логического представления данных для систем поддержки принятия решений.
В четырехлетней практике своей работы с Магнитогорским металлургическим комбинатом специалистам нашей организации пришлось разрабатывать великое множество форм представления данных и неудивительно, что мы пришли к заключению в необходимости унификации этой работы. Унификация же естественно предполагает создание всевозможных конструкторов, а для этого недостаточно оказалось довольствоваться традиционными программными средствами – пришлось сделать упор на разработку оригинальных информационных технологий.
Первым, но далеко не единственным результатом такой
политики стало создание в 1997-1999
годах программной среды Визуального репозитория (“Visual Repository by Promstal Software”).
Версия 2.1. этого программного продукта – конструктора
форм представления данных – позволяет:
1. Используя вложенные объекты и стрелки строить
масштабируемые схемы процессов, событий, ситуаций, алгоритмов принятия решений
и т.д. (образец мониторинга процесса
принятия решений по бюджету, например, представлен на рис. 4).
2. Активизируя тот или иной объект схемы вызывать на
экран форму или отчет с данными, созданными в свою очередь с помощью как
стандартных OLAP-систем, так и многочисленных
средств собственной разработки АО «Промсталь» (смотри блок «Инструментальные
средства аналитика»). Проанализировав с их помощью текущие данные о состоянии
объекта можно загрузить встроенные или любые внешние программы, уже
непосредственно отвечающие за принятие конкретных решений по ситуации.
Еще два элемента программной
среды активно используют для визуализации данных базовые технологии
интернет/интранет. Один из них – программа “ВЭБ-диспетчер” – позволяет резко
сократить трудозатраты и ускорить разработку схем диспетчерского управления
различного рода процессами и потоками (товарными, финансовыми, информационными)
на предприятии, обеспечивая вывод критически важных данных для любого сколь
угодно удаленного пользователя (интернет!) в псевдо реальном режиме времени.
Разрабатываемая также с 1997 года программа ситуационного
управления ориентирована на формирование событий реагирования и учет по ним
имеющихся отклонений в работе предприятия. Имея возможность загрузки интернет-эксплорера и в нем – многоуровневых
конструкторов оригинальной разработки, эта программа позволяет строить системы
мониторинга отклонений, например, в стандарте: «Работа – текущее состояние по
исполнению работы – причины невыполнения работы – распределение ответственности
по исполнителям».
Конечно же, заменить
наиболее сложные формы представления данных для систем сводного корпоративного
учета вышеописанные программы полностью не смогут (для этого нужно уже
использовать не конструкторы, а конкретно исполненные разработки). Но
перераспределить нагрузку между программистами и аналитиками им вполне под
силу.
Следует
добавить, что процесс развития информационных технологий и средств быстрой
разработки – а к последним можно с полным правом отнести и Visual Repository
и два других наших программных продукта – все это способствует тому, что все
больший круг задач, в том числе и столь ответственных, как задачи построения
мониторинга работы предприятия, будет
решаться аналитиками самостоятельно. Оставшуюся часть задач вполне можно закрыть
таким методом быстрой разработки, как создание приложений из заготовок
программ, что, в принципе, не требует особо высокой квалификации программистов.
И только в небольшом числе сверхсложных случаев потребуется разработка
мониторинговой программы с нуля под ключ профессионалами.
О конструкторах отчетов.
Один из наиболее принципиальных вопросов построения любой информационной системы – вопрос о самостоятельности конечных пользователей в деле формирования отчетов.
Преобразование данных и формирование отчетов – один из существеннейших элементов любой информационной системы. И вариации, встречающиеся в реальной жизни, могут быть самыми различными: от полного запрета пользователю самостоятельно работать с данными – в этом случае все отчеты по его запросу разрабатывает служба АСУ (это её хлеб, её имидж и от этого весьма трудно отказаться – поэтому политика запретов у нас так распространена), до полной открытости данных для их обработки и формирования произвольных отчетов (как правило в среде EXCEL).
И та, и другая крайность вредят системе. Позиция нашей организации заключается в том, что пользователь должен иметь право самостоятельно формировать самые разнообразные отчеты, непосредственно работая с источником данных, не прибегая к необходимости конвертирования данных в EXCEL-таблицы (что сегодня мы видим везде и повсюду). Но для реализации этого принципа необходимы два условия: во-первых, у пользователя в распоряжении должны быть настолько мощные аналитические инструменты, которые могли бы позволить ему создавать отчеты любой сложности, и во-вторых, конструкторы отчетов и структура хранилища данных – совместно должны исключить любую возможность формирования неправильного отчета, а значит – неправомерного использования исходных данных.
О том, как в АПК «Брэдфорд» блокируется сама возможность исполнения неправильного запроса, мы будем достаточно подробно рассказывать далее в этой статье. Здесь же ограничимся тем, что заверим читателя в том, что всевозможные конструкторы отчетов, входящие в блок «Инструментальные средства аналитика», уже сегодня способны удивить и удовлетворить самого притязательного пользователя.
О данных.
Дальнейшая забота о наделении аналитиков на производстве посильным интуитивно понятным инструментарием создания пусть небольших, но работоспособных ответственных программных систем привела нас к необходимости создания еще одного продукта – визуального дизайнера распределенных запросов (Visual SQL designer). Его предназначение – создание механизмов наполнения форм представления данных, о которых шла речь в предыдущих разделах, этими самыми данными, полученными из самых разных источников.
Данная программа позволяет:
1. С помощью встроенных средств рисования создать алгоритм последовательного преобразования данных, начиная от определения источников и заканчивая формированием результирующей таблицы с искомыми данными.
2. Получить доступ как к традиционным источникам данных (СУБД ORACLE, MS SQL Server, MS Access, DBF и др.), так и к структурированным массивам данных, сформированных специальными средствами собственной разработки.
3. Сгенерировать составной запрос из отдельных его блоков. Каждый блок (фильтрация данных, наложение сложных условий, включая условие «ести…то…», выборка, объединение, формульное исчисление, настройка экспорта из удаленного источника и т.д.) создается в поле визуального составного запроса в любой задуманной последовательности преобразования данных.
4. Настроить протокол исполнения полученного сводного запроса в качестве отдельной задачи на сервере приложений.
О правильных запросах.
Ни для кого не секрет, что главной проблемой при составлении SQL-запроса является обеспечение правильных процедур обработки данных на каждом её этапе, чтобы гарантировать безусловную правильность полученного результата.
Не дай Бог выполнить недопустимую по смыслу, но возможную технически группировку, объединение или какое-либо иное преобразование данных. Пользователь иногда бывает искренне удивлен, если ему показать, что количество запросов, обеспечивающих правильную интерпретацию исходных данных в результате своих преобразований весьма и весьма ограниченно. Гораздо больше есть вероятность написания запросов, которые из изначально безупречных данных создадут вам абсолютно лживый отчет.
Это последнее, кстати, является самым сильным и бронебойным доводом руководителей служб АСУ в пользу того, чтобы запретить прямой доступ аналитикам и уж тем более - другим корпоративным пользователям к исходным данным, к «сырым» таблицам с годами накопленной информацией (мы, кстати, абсолютно солидарны с ними в этом вопросе). Неграмотный запрос пользователя, по каким-либо причинам имеющим доступ к первоисточникам – самое частое объяснение причин того, почему отчетные данные, представленные одним отделом комбината никак не бьются с аналогичными данными, но рассчитанными где-нибудь в другом месте.
Поэтому и мы, оставив, конечно, визуальному конструктору возможность оперировать с живыми таблицами, тем не менее, рекомендуем его использование непрограммистами только в случае работы с так называемыми структурированными массивами данных (СМД). Последние же, будучи заранее описаны с помощью определенных методологий и при использовании специального настроечного инструментария, гарантируют невозможность построения неправильного запроса, конечно, только в том случае, если запрос адресован к данным, находящимся внутри одного настроенного массива.
Таким образом, вероятность ошибок при проектировании
запросов если и не исчезает совсем (в Visual SQL designer возможно допустить объединение двух и более СМД), то уж
снижается значительно.
Разработанная нами система настроек позволяет
формировать структурированные массивы данных самой разной конфигурации и
сложности:
-
на базе части
таблиц внутри ареала,
-
на базе всех
таблиц ареала,
-
с наследуемостью ареалов,
-
с балансировкой ареалов,
-
с интеграцией
ареалов.
При этом под
“ареалом” мы понимаем блок таблиц
хранилища с естественно, генетически установленными взаимосвязями и
заполняемыми данными, характеризующими одно неделимое событие одновременно и,
как правило, из одного же источника. То есть ареал – это место отражения в
хранилище всей информации, характеризующей какое-либо событие, факт
хозяйственной жизни.
Например, событие
отгрузки металлопродукции весьма многомерно и его описание невозможно втиснуть
в одну, даже самую широкую таблицу. Да и неправильно это было бы. Такое событие
сопровождается целой серией транзакций по многим естественно сопряженным
таблицам. (“Естественно” здесь – с точки зрения принципов информационных
технологий, используемых при конструировании баз данных). Вот совокупность
таких таблиц мы и называем ареалом.
Понятие наследуемости
ареалов связано, в том числе, и с работой нашей программы генерации документов
и предполагает, что новый ареал
(соответствующий событию, описываемому в документе, производном от базового –
скажем, счет-фактура, выписываемая на основе ж.д.
квитанции) образуется в результате грамотного преобразования данных базового
ареала. В этом случае автоматически генерируются таблицы связей между главными
таблицами этих двух ареалов и именно эти таблицы
связей станут главными в последующем описании такого объединенного
структурированного массива данных.
Гораздо сложнее дело
обстоит в тех случаях, когда нужно создать структурированный массив данных с
объединением тех таблиц хранилища, в которые данные прописываются о двух разных
событиях и причем – из разных источников и независимо друг от друга. В этом
случае не только данные могут не совпадать из-за возможных ошибок в работе
операторов по тому или иному источнику информации. Горазда
чаще эти данные могут быть и вообще напрямую несовместимыми: скажем,
запись в таблице отгрузки металлопродукции невозможно напрямую никоим образом
связать с записью в таблице декларирования. При этом связь между таблицами по
смыслу -–многое ко многим.
Для того же, чтобы
все-таки иметь возможность объединить эти два события в одном запросе и для
того, чтобы обеспечить безусловную правильность такого запроса, необходимо
выполнить серьезнейшие и трудоемкие операции взаимной разноски. В результате
формируется целый ряд таблиц, отвечающих в совокупности за объединение
вышеуказанных событий в рамках одного ареала.
Еще более сложные
операции разноски и преобразования данных необходимо произвести в случае
интеграции ареалов – объединения в одном СМД блоков таблиц с записями сразу
нескольких независимых событий. Тем не менее, опыт нашей организации
показывает, что и в этом случае ничего невозможного нет. Однако, соотношение
между использованием какого-либо стандартного настраиваемого средства и
разработкой программы под заказ – это соотношение может быть смещено в пользу
второго метода.
О качестве данных.
В этом разделе мы подходим к обсуждению одной из
наиболее важных задач – обеспечение
качества, своевременности и взаимосогласованности исходных данных.
Предлагаем еще раз обратиться к рис.1 – там эта задача входит в базовый блок
системы мониторинга «Сбор данных и формирование корпоративного информационного
хранилища». А поскольку о предыдущих задачах мы вкратце уже упомянули, то самое
время рассказать о некоторых подходах к
обеспечению качества данных.
Прежде всего, из своей практики работы, мы пришли к
выводу о необходимости существования на крупном предприятии двух уровней
системы нормативно-справочной информации (НСИ). На нижнем уровне эта система
обслуживает операторов ввода первичных данных и в силу своих особенностей
должна иметь более гибкий характер, должна быть более открытой для внесения изменений не только системным
администратором, но и необходимым числом пользователей. Например, право ввода
информации в справочники НСИ о какой-либо новой фирме необходимо делегировать
на рабочие места ответственных пользователей в отделах сбыта, снабжения,
финансов. Этого требует сам распорядок работы на крупном предприятии,
необходимость максимально быстрого обслуживания клиентов. Именно так, кстати, и
обстоят дела на Магнитке и мы полностью поддерживаем
такую практику.
Однако, и это неизбежно, в результате такого размывания прав доступа к
изменениям в НСИ, в том же самом корпоративном справочнике предприятий может
оказаться несколько действующих кодов на одну и ту же фирму. Соответственно,
зачастую может сложиться ситуация, когда кредиторская задолженность только по
одной этой причине не может пересечься с дебиторской – разные счета заведены на
разные коды одного и того же предприятия.
Опыт показывает, что аналогичные ситуации
встречаются и с другими справочниками: видов продукции, марок сталей, номеров
профилей, стандартов и т.д.
Выход из этой
ситуации, по нашему мнению, заложен в самой природе многоуровневого построения
информационных систем, когда вся сколь-нибудь значимая информация доступна
пользователю не напрямую из первичных источников данных, а из так называемого
информационного хранилища. Так вот, на этом самом втором этаже и производится
достаточно трудоемкая работа по выправлению нормативно-справочной информации и
даже – по созданию новых справочников производных данных, сгенерированных уже в
самом хранилище на базе входной информации. В результате, отловленные синонимы
(дублирующие коды) автоматически или вручную (хотя и с применением некоторых
методов статистической обработки), стыкуются с главным уникальным кодом
справочника второго уровня НСИ.
Полученная таким
образом система фильтров выправляет в дальнейшем всю прогоняемую через неё
засоренную первичную информацию. Следовательно, в хранилище после такого
чистилища попадают уже достаточно правильные, стыкуемые между собой данные.
Безусловно, в систему заложена и обратная связь для периодической чистки
справочников первого уровня.
Не все, конечно, так
просто. И блок фильтрации – это мощнейшая программная система с достаточно
серьезной математикой и со своими непростыми правилами работы. Но без такого
механизма говорить о качестве данных в хранилище бессмысленно. По крайней мере
– для крупных металлургических предприятий с неизбежно высокой степенью
загрязненности и загрязняемости данных.
Однако, только за счет поддержания второго уровня НСИ и фильтрации
данных полную их выбраковку сделать, конечно же, не удается. Еще одним
немаловажным фактором, постоянно влияющим на ухудшение качества данных,
является тривиальная ошибка операторов. Или – еще дальше по цепочке – экспедиторов,
оценщиков, декларантов, и прочая, и прочая – всех тех,
кто формирует первичные документы учета по какому-либо событию и в дальнейшем
либо самостоятельно вводит их в систему, либо передает операторам для массовой
набивки данных.
Фактически речь идет
об определенном праве человека на ошибку и о том, что он, к сожалению, этим
правом может и злоупотреблять
Противоядием здесь
может выступить только создание интегрированных систем обеспечения качества
данных, с обязательным использованием любых возможностей для дублирования
источников информации об одном и том же событии (вплоть до создания т.н.
псевдодокументарных баз данных) и уже дальше – с применением упоминавшихся выше
технологий взаимной разноски данных, многочисленных инструментов постфактумной верификации
и формированием в конечном счете всесторонне
выверенных СМД.
В итоге опять имеем
сложнейшую систему с мощной математикой и требующей участия в своей работе
многих специалистов различных служб комбината (как правило, нагрузка на них
возрастает, но не до такой степени, чтобы набирать новых работников). Но,
поверьте, качество данных – это тот самый алтарь, на который нельзя не
жертвовать многим. На рисунке 5 показан пример системы выбраковки данных,
реально нами использованной в работе на ОАО “ММК”.
В качестве еще одного фактора, который может
серьезно препятствовать получению в итоге качественных данных (прежде всего в
смысле полноты, взаимосогласованности, доступности), необходимо признать
структуру и методологию построения самого информационного хранилища. Хоть мы и
утверждали в самом начале статьи, что АПК “Брэдфорд” может работать и с
произвольным “мешком данных” (за счет настройки правильных СМД внутри этого
“мешка”), но все-таки гораздо лучше изначально ориентироваться на грамотное
построение хранилища. А это – отдельная серьезная наука и поэтому детально в
этой статье о принципах построения информационного хранилища мы говорить не будем.
О доступе к данным.
Последний, немаловажный вопрос, который мы хотели бы
хотя бы затронуть в данной статье – это вопрос обеспечения доступа к данным. Он распадается на несколько
аспектов:
1.
О “зоопарке” платформ разработки программного
обеспечения и систем хранения данных сказано и так уже достаточно много –
доказывать, что такая проблема существует не будем. Вероятно,
каждый из даже самых реликтовых представителей информационной флоры и фауны
имеет свои основания, чтобы попасть на благодатную почву многоплатформенного хаоса и какие-то свои
скрытые или явные преимущества, чтобы удержаться, но как бы то ни было, сегодня
данные изначально могут лежать в источниках, казалось бы
никак не совместимых между собой и вытащить их оттуда, объединить – это задача
отнюдь не простая.
2.
Ни для кого не секрет, что даже на
лучших комбинатах не все ладно с сетями: опто-волокно легко уживается с самой
примитивной дискетной передачей данных, перегруженность одних участков сети
соседствует с закрытостью других, тщательнейшая работа по обеспечению качества
передаваемой по сети информации зачастую срывается из-за низкой надежности обслуживающего
оборудования и недостаточной культуры или дисциплины персонала.
3.
Политика обеспечения защиты информации импульсивна и
противоречива. С одной стороны, вы месяцами не можете
получить доступ к необходимым данным (и, как правило, не из-за соображений
безопасности, а либо от лёности, либо от корысти, либо от собственнического
чванства), с другой – пароли не меняются годами, коммерческая и другая
служебная информация свободно публикуется в интранете, ответственность за передачу информации третьим лицам или
использование ее в интересах собственной выгоды работниками предприятия
практически не определена.
Из всего этого можно сделать только один вывод:
проектируемая система обеспечения доступа к данным, впрочем, как и сама система
мониторинга в целом, должна быть универсальной, гибкой, “вездеходной” – на все
случаи жизни, а еще - должна иметь
высокую степень “вандалозащищенности”.