Ю.Н.Пронин (АО «Промсталь»)

 

Массовое использование интеграционного инструментария – самый оптимальный путь обеспечения качества и согласованности информационных потоков в холдинговых структурах.

 

1. Развитие процессов интеграции в неоднородных информационных системах 

 

 

В 90-х годах в поиске классического примера неоднородных информационных систем можно было смело ссылаться на любое крупное промышленное предприятие: общесистемные болезни роста и внутренней конкуренции информационных технологий практически повсеместно породили слабосовместимую гетерогенную ИТ-среду, в обиходе именуемую «зоопарком» аппаратных платформ, операционных систем, СУБД и средств разработки приложений.

Неудовлетворенность руководства качеством и взаимосогласованностью данных, поступающих из разных подсистем управления предприятием явилась мощным стимулом развития интеграционных технологий.

Господствующая в то время ИТ-идеология считала атомарными объектами информационной среды разного рода функциональные модули, программные системы, приложения (Applications). Поэтому чисто интеграционное программное обеспечение (ПО) создавалось прежде всего для организации эффективного обмена сообщениями между разноплатформенными приложениями. Однако массовое использование Middleware технологий было затруднено их внутренней сложностью и затратностью написания коннекторов к многочисленным унаследованным приложениям.

 В итоге интеграционные процессы на предприятиях развивались в большей степени в трех других направлениях, что выразилось в повсеместном внедрении жестко подогнанных друг к другу ERP-модулей для автоматизации типовых повторяющихся бизнес-процессов в сфере производственного, оперативного и бухгалтерского учета (1); тотальным использованием электронных таблиц MS EXCEL во всех случаях, когда требовалось решать задачи нестандартной обработки данных – прежде всего на уровне управленческого учета (2) и применением всевозможных «зонтичных» или «надстроечных» технологий для консолидации контента в персонифицированных инструментах пользователей – корпоративных порталов, органайзеров, DocFlow-, OLAP- и DSS- средств визуализации данных и документов (3).

На рубеже веков произошло два значимых для нашей темы события.

В области ИТ-технологий наметился сдвиг в понимании фундаментальных ценностей: Приложения (Applications, функциональные модули) могут морально устаревать и замещаться на более современные, тогда как данные и структура их отношений являются более незыблемой категорией и в большей степени отражают сущность конкретного бизнеса. ".... Меняется представление о том, как нужно стоить КИС. Долгое время считалось, что модульный подход - это хорошо. Что если на каждую задачу есть свой модуль - это панацея. Оказалось, нет. Когда мы выходим на уровень таких объектов, то инструментами автоматизации должны быть не модули (ограниченные и зажатые рамками решаемых ими задач), а данные и способы доступа к ним и их обработки... " (С. Брускин, Robertson&Blums).

Второй сдвиг произошел в структурной организации экономики: стремительный рост холдинговых новообразований, слияний и поглощений резко нарушил устоявшийся на уровне унитарных предприятий баланс между объемами основных учетно-аналитических операций, совершаемых в приложениях ERP-контура с их жестко контролируемой методологией обработки данных, и операциями, выполняемыми в гибкой, но неконтролируемой среде электронных таблиц.

Если на уровне унитарных предприятий такой баланс поддерживался где-то, скажем, в пропорции 70 к 30, что в целом гарантировало вполне допустимый уровень искажений, неизбежно возникающий на этапе произвольной доводки OLTP-данных эксель-ориентированными пользователями, то в управляющих компаниях новоявленных холдингов слой методологически не закрепленной эксель-обработки упорно разъедает длинные, оторванные от «земли» цепочки вычислений, привнося в них чрезмерно высокую долю субъективности.

Результат – критически высокая степень искаженности итоговых данных, несогласованность и противоречивость параллельных потоков информации.

Проблему низкой эффективности управления в холдинговых структурах пытаются лечить старыми, знакомыми методами. Но тотальная ERP-зация на уровне холдинга будет стоить на несколько порядков дороже внедрения ERP-системы на отдельном предприятии. И во столько же раз эта система будет менее эффективна, ибо неизбежно будет тормозить бизнес. Жесткая регламентация бизнес-процессов в микроэкономике хороша только до определенного уровня, а выше ее эффективность резко снижается. Кстати, на уровне макроэкономики эту истину на практике подтвердил плановый эксперимент в нашей собственной стране.

Да и тот же SAP неспроста вдруг выступил в последнее время за отказ от традиционного бюджетирования. Новая концепция SAP “За пределами бюджетирования”  «спроектирована для того, чтобы обходить традиционные препятствия и создавать гибкую, легко приспосабливаемую организацию...» Надо думать, что SAP понимает разницу между автоматизацией отдельного предприятия и автоматизацией всего холдинга, ибо предлагает для последнего не R3 систему, а интеграционный инструментарий пакета mySAP.com.

По нашему заключению, слой ERP-контура в КИС холдинга и впредь будет сосредоточен на нижних, «учетных» этажах управления, и в совокупности вряд ли «закрепит» в себе более половины об общего объема вычислений, связанных с обработкой данных. Схожую оценку (тем более – относительно типового предприятия, а не холдинга) дают В. Боркус и Е. Монахова в статье «Интеграция: новое решение старых проблем»:  “Несмотря на усилия многих разработчиков создать решение по типу "все в одном", достичь этой цели не удалось никому - даже сложные интегрированные пакеты наподобие систем ERP нынче покрывают потребности типового предприятия максимум на 50-60%.“

Но с другой стороны, практика показывает, что слой Excel-обработки данных должен быть существенно ограничен, ибо уровень вносимой им субъективности резко снижает качество данных и непосредственно ведет к снижению уровня информационной определенности и управляемости холдинга.

Задача гармонизации архитектуры информационной системы холдинга ложится на новую промежуточную интеграционную среду, достаточно гибкую, чтобы обеспечить быструю адаптацию бизнеса к изменяющимся условиям рыночного хозяйствования, но и достаточно методологически контролируемую, дабы минимизировать субъективные ошибки в процессе преобразования всего множества информационных ресурсов КИС в формат требуемых руководству знаний (желательно сразу в виде показателей МСФО и ФЭА, Balanced Scorecard, KPI, иерархии бюджетных статей и показателей и т.п., то есть полностью исключить из вычислительной цепочки процесс ручной Excel-доводки данных).

 

2. Роль массового инструментария для формирования интеграционной среды КИС

 

Итак, произошедшие и в сфере ИТ-технологий, и в структуре экономики качественные изменения объективно потребовали формирования в структуре КИС мощной интеграционной среды, постепенно перетягивающей на себя функции управления реальными бизнес-процессами, включая и процессы обработки данных. 

Осознание такого рода объективных потребностей привело к новой волне интереса к интеграционным технологиям, к усилению конкуренции между производителями соответствующего ПО.

Однако, процесс формирования интеграционной среды КИС зависит не только от того, какая из конкурирующих технологий (Web-сервисы, EAI и Middleware-ПО, ETL-технология, workflow-интеграция и т.п.) станет доминирующей. Как правило, ни одно из этих направлений не может решить всего множества интеграционных задач, а значит, в конце концов, все они и будут использоваться в разных связках, балансах и пропорциях.

Поэтому мы не будем вдаваться в преимущества и недостатки каждой из интеграционных платформ. Гораздо важнее понимание того факта, что все они сегодня рассчитаны (и по своей архитектуре, и по сложности интерфейса, и по цене) исключительно на использование внутри профессиональных ИТ-служб. И в этом своем качестве они не могут быть достойной альтернативой средствам массовой неконтролируемой Excel-интеграции.

Формирование мощного слоя управляемой интеграционной среды в структуре информационных систем предприятий и холдингов станет реальностью только в случае создания и широкого распространения достаточно простых и дешевых интеграционных инструментов, доступных для рядовых пользователей, и предоставления последним существенно большей свободы операций с данными (последнее будет правильнее рассматривать не с точки зрения предоставления необдуманно широких прав доступа к корпоративным первоисточникам, сколько в контексте необходимости создания для каждой функциональной группы специалистов своего арсенала регулярно обновляемых хранилищ, витрин, агрегатов и разного рода виртуальных представлений данных).

 

3. Использование Программного комплекса «Брэдфорд» для решения интеграционных задач и запуска процессов «самоорганизации» интеллектуальных информационных систем.

 

Нужно отметить, что сегодня уже появляются вендоры, которые предлагают на рынке что-то вроде «ETL-Офиса», то есть доступного по цене и относительно не сложного для освоения интеграционного пакета, позволяющего широко использовать  для создания контролируемых процедур внутрикорпоративной обработки данных возможности ETL-технологии (извлечение, очистка, перемещение, преобразование и доставка данных).

Один из прототипов такого «массового интеграционного ПО» с 1995 года разрабатывается специалистами АО «Промсталь»  в сотрудничестве с Московским Государственным институтом Стали и Сплавов (МИСИС).

Появление на рынке мощного и одновременно предельно доступного программного конструктора для ETL&OLAP-обработки данных -  а именно таковым является Программный комплекс «Брэдфорд», цена которого в десятки раз меньше цены западных аналогов от фирм Hummingbird, SAS, Business Object, Ascential Software etc. -  позволяет внедрять его в массовом порядке и кардинально повысить инфовооруженность и, следовательно, производительность труда как программистов, так и конечных пользователей. Как следствие, многократно возрастает скорость обработки информации,  повышается ее качество и надежность,  причем не выборочно, а в масштабах всего предприятия.

На уровне предприятий и даже отдельных рабочих групп можно говорить о возможном создании с помощью ПК «Брэдфорд» интеграционной среды, по сути способной оказать на развитие современных информационных систем революционное воздействие, сопоставимое с тем переворотом, который произошел в начале 90-х годов благодаря повсеместному распространению офисных пакетов на персональных компьютерах. Серьезный «синергический» эффект в этом случае обеспечивается за счет ориентации на децентрализованную, саморазвивающуюся автоматизацию самими пользователями множества нерегламентированых (случайных, временных, или просто далеких от влияния ИТ-служб) бизнес-процессов, так или иначе связанных с обработкой и интеграцией данных ...

Основным же результатом массового использования интеграционного инструментария ПК «Брэдфорд» для  ETL&OLAP-обработки данных должно стать постепенное преобразование современных ИТ-систем в интеллектуальные информационные системы, в которых созданы условия для создания, роста и самоорганизации интеллектуальных программных агентов (в виде локальных или опубликованных для коллективного доступа ETL-сервисов), призванных формализовать и закрепить стандарты и регламенты распределенной обработки данных в коллективной вычислительной сети (и, прежде всего, - формирования цепочек хранилищ и витрин агрегированной информации)  и способных взять на себя не только задачи исполнения наиболее рутинных процессов обработки данных, но и управление этими процессами.

 

4. Предназначение и характеристики ПК «Брэдфорд»:

 

q  Для построения и поддержки систем классификации, кодирования и верификации нормативно-справочной информации (СККВ НСИ);

 

q  Для интеграции,  обеспечения качества и взаимосогласованности данных во всех видах информационных систем предприятий и холдингов;

 

q  Для настройки интеллектуальных агентов и организации  интеллектуальных сетей сбора, накопления и доставки данных в корпоративные порталы и хранилища знаний.

 

В самом общем виде, ПК «Брэдфорд» - это инструментарий для выполнения разного рода интеграционных проектов, связанных с решением широкого класса  задач обработки данных (извлечение, очистка, преобразование, доставка, свод, консолидация, расчеты и отчетность) в неоднородных распределенных информационных системах.

 

Предназначение ПК «БРЭДФОРД»  не ограничивается помощью в решении разовых задач обработки данных. Сколь бы простыми или, наоборот, суперсложными они бы не были. Закрепить, зафиксировать однажды успешно выполненную операцию как часть регулярно исполняющегося процесса (например, процесса мониторинга платежного баланса или свода различных потоков данных в бюджет) – вот в чем уникальное преимущество комплекса. И результатом работы будет не только разовый отчет, но и постоянный сервис, опубликованный в корпоративной сети для коллективного или VIP-доступа.

Еще более серьезным результатом использования комплекса должно стать оформление любой более-менее значимой работы по обработке данных в виде самостоятельного интеллектуального программного агента, на которого перекладываются функции  повторения однообразных процессов, распространения и обработки запросов и диалогов, поиска дисбалансов, реагирования на критичные сигналы и передачи сообщений в системы поддержки принятия решений.

Предлагаемый Программный комплекс позволяет решить одну из главнейших проблем построения автоматизированных систем управленческого учета – проблему автоматизации процессов сбора и интеграции больших объемов первичных данных из различных разноплатформенных распределенных источников.

 

Главная задача использования комплекса – повышение качества информации на всех уровнях корпоративной системы управления, методологическое закрепление процессов обработки данных в унифицированных корпоративных стандартах и регламентах, обеспечение  взаимосогласованности  между различными информационными потоками в организации.

 

5. Структура ПК «Брэдфорд»:

 

1.      DataForms-конструкторы форм ввода данных обеспечивают быстрое создание самых различных АРМов (автоматизированных рабочих мест), связанных с вводом, анализом и корректировкой информации;

2.      инструментарий Bradford ETL-сервера (Extract–Transform–Load) призван обеспечить верификацию, многоступенчатую переработку, консолидацию и доставку массовых потоков данных из первичных источников (корпоративных, ведомственных или муниципальных баз данных транзакционного характера) в аналитические Хранилища;

3.      специализированное ПО для работы со справочниками и классификаторами позволяет построить и поддерживать работу распределенных систем управления НСИ (включает программную среду создания НСИ-приложений, множество специализированного инструментария и вспомогательных справочников, а также Интернет-модуль организации работы с НСИ и ПО гарантированной доставки сообщений на основе JMS-RMI);

4.      OLAP-генераторы отчетов  могут быть настроены как на первичные базы данных, так и на Хранилища агрегированной информации и, в свою очередь, поставляют готовые отчетные документы в Сводные системы управленческой отчетности;

5.      DSS-формы представления информации позволяют в удобной графической форме представить полученные знания  лицам, принимающим решения.

ПК «БРЭДФОРД» - это комплекс программ для ввода, выбраковки, консолидации, OLAP-обработки и доставки данных.  Включает специфику работы с верификацией нормативно-справочной информации и рабочих баз данных. Центральный элемент комплекса – ETL-Сервер или Менеджер задач сбора-передачи данных - отвечает за моделирование реальных процессов доставки данных, построения и расчета цепочки показателей, исполнение регламента формирования и пересылки готовых отчетов.

Беспрецедентная экономичность ПК «Брэдфорд» делает целесообразным его массовую установку на рабочих местах руководителей, аналитиков, функциональных работников, ИТ-специалистов как средства резкого увеличения их  инфовооруженности для повышения производительности их индивидуального и коллективного труда, для ускорения оборачиваемости информации  и роста эффективности системы управления в целом.

Около двух десятков специализированных инструментов этого универсального ETL&OLAP-конструктора дают  возможность даже рядовым пользователям   (не профессиональным программистам)  быстро и эффективно решать самые сложные задачи, связанные с обработкой данных в таких промышленных СУБД, как Oracle, MS SQL Server, DB-2, Sybase, MS Access, DBF-Base, а также – в электронных таблицах MS EXCEL.

 

6. Направления возможного использования ПК «БРЭДФОРД»:

 

1.                      Построение и дизайн персональных Информационных систем руководителей с использованием мультиагентной сети для обеспечения контроля качества, взаимосогласованности и своевременности доставки аналитической информации.

 

2.                      Обеспечение широкого круга менеджеров, рядовых функциональных специалистов и аналитиков удобными и мощными инструментами работы с базами данных, соответствующими их уровню ИТ-подготовки,  позволяющими  быстро, качественно и, главное, самостоятельно решать серьезные аналитические задачи, которые – ввиду сложности организации данных и их объема – вышли за пределы использования электронных таблиц (вплоть до задач быстрой разработки интеллектуальных агентов в распределенных информационных системах).

 

3.                      Интеграция, консолидация и унификация  справочной, плановой и фактографической информации из  различных разноплатформенных и распределенных источников: приложений ERP-контура, систем бухгалтерского и управленческого учета, аналитических систем.               Верификация внутренних справочников и привязка их к общероссийским и ведомственным классификаторам и стандартам. Автоматизация регламента работы системы управления НСИ с помощью сети программных агентов.

 

4.                      Создание систем оперативного бюджетного управления, финансового планирования, управления капитальными вложениями, управления сбытом и экспортом, систем учета сбалансированных показателей Balanced ScoreCard, KPI, систем мониторинга контролируемых индикаторов.

 

5.                      Комплексное обеспечение процессов диагностики и аудита информационных систем, предобработки и доставки массовых потоков данных в Центры принятия решений, Ситуационные центры,  Системы мониторинга и анализа данных, Корпоративные порталы.

 

7. История создания ПК «Брэдфорд» и реальные сферы его применения.

 

Разработчик: АО «Промсталь»

 

Период разработки: с 1995 года по наст. время

 

Где был внедрен и используется (на договорных основах):

 

ОАО «Магнитогорский металлургический комбинат», ОАО «ЗСМК», ОАО «ПЗМЗ», ФГУП концерн «Росэнергоатом», ОАО ГМК «Норильский Никель», ОАО «Мосэнерго».

 

Какие информационные системы (ИС) были построены с помощью ПК «Брэдфорд»:

 

-          ИС сбыта/экспорта металлопродукции;

-          CRM-система поддержки работы с клиентами;

-          ИС транспорта/логистики;

-          ИС учета движения металла по переделам металлургического производства;

-          ИС казначейства, учета рублевых/валютных платежей и аккредитивов;

-          ИС свода баланса взаиморасчетов с контрагентами, в том числе – бартерного баланса;

-          ИС верификации и управления нормативно-справочной информацией;

-          ИС финансового планирования и бюджетирования;

-          локальные задачи автоматизации отдельных бизнес-функций управленческого учета;

-          и др. (см. схему № 1)

 

 

 

 

8. Решение проблем централизации и обеспечения качества нормативно-справочной информации в холдинговых структурах.

 

Эффективность управления зависит от качества и взаимосогласованности потоков данных, поступающих руководству. Добиться этого невозможно, не устранив существующие противоречия и нестыковки в нормативно-справочной информации (НСИ), используемой различными приложениями в различных территориально распределенных системах учета и обработки данных.

 

Например, Вы не получите объективного баланса дебиторской и кредиторской задолженности, если один и тот же контрагент в справочниках разных подразделений заведен под разными идентификационными кодами. А такое дублирование очень часто встречается даже в рамках одного и того же справочника.

Проблемы мониторинга материально-технических ресурсов (МТР) еще более серьезны, ибо только частично решаются с построением системы единой централизованной идентификации объектов учета. Здесь свою долю хаоса и неразберихи вносят действующие общероссийские классификаторы продукции ОКП, ОКДП и ТН ВЭД, на основе которых, (и, как правило, с неудовлетворительным результатом) большинство разработчиков пытается  систематизировать МТР.

Неправильная идентификация основных средств, отнесение однотипного оборудования к различным кодам ОКОФ и группам амортизации чревато уже не только трудностями при своде и анализе, но и реальными штрафными санкциями со стороны налоговых органов и увеличением издержек на аудит

 

 

 

Как показывает практика, даже в очень серьезных организациях используются весьма поверхностные методы и инструменты обеспечения качества НСИ.

При построении же единой централизованной системы ведения нормативно-справочной информации приходится сталкиваться не только с проблемой определения оптимальной архитектуры такой системы, не только с проблемой выбора инструментального средства ее построения, но и с проблемой поиска экспертов для проведения выверки существующих массивов НСИ, построения эталонных справочников и классификаторов, увязки их с бюджетными статьями и показателями, объединения на их основе (с помощью системы переходных ключей) не только справочных баз данных, но и баз данных оперативного и бухгалтерского учета (к примеру, построение системы «Досье клиента»).

АО «Промсталь» предлагает услуги по постановке распределенной системы управления нормативно-справочной информацией, а также предлагает поисковую систему с набором общероссийских и международных классификаторов и специализированный программный комплекс «Bradford ETL&OLAP Server» для самостоятельной поддержки систем НСИ.

В качестве начального этапа сотрудничества мы готовы в сжатые сроки выполнить работы по выверке и объединению  массивов НСИ в рамках любого предприятия или холдинга:

справочников контрагентов (предприятий, организаций, внутренних подразделений),

материалов и продукции (в т.ч. с построением корпоративного классификатора МТР  на базе собственной модели систематизации продукции),

основных фондов (в т.ч. привязка к кодам ОКОФ и группам амортизации),

бюджетных статей и показателей (в т.ч. Balanced ScoreCard, KPI),

других справочников, нормативов и классификаторов, входящих в состав информационного обеспечения различных автоматизированных систем Вашей организации.

Работы выполняются профессиональными экспертами с помощью уникальной методики и специализированного инструментария, а также с использованием  множества вспомогательных баз данных и информационных ресурсов.

По желанию Заказчика, в состав работ могут быть включены не только работы по предварительной диагностике, сопоставлению, аудиту и верификации существующих массивов справочных и фактографических данных, но и:

 

·              формирование единых эталонных справочников и классификаторов;

·              разработка ключей состыковки внутренних справочников приложений в различных подразделениях предприятия/холдинга с эталонными внутрикорпоративными справочниками и общероссийскими классификаторами;

·              разработка и корректирование бюджетных статей и показателей, привязка их к эталонным справочникам, настройка механизмов автоматического свода плановой и фактической информации в бюджет;

·              разработка сводного реестра НСИ, регламентов ввода новых справочных данных, выявления и исправления дубликатов в справочниках и рабочих базах данных;

·              настройка распределенных интеллектуальных программных агентов и сетевых сервисов для автоматизации процессов мониторинга и исправления НСИ;

·              объединения на уровне управляющих компаний распределенных баз данных оперативного, бухгалтерского и управленческого учета с использованием эталонных справочников и классификаторов;

·              обучение ИТ-персонала Заказчика использованию средств и методов ПК «БРЭДФОРД» для самостоятельного развития единой интеллектуальной системы управления НСИ на предприятии или в холдинге.