Метод управления нормативно справочной информацией (НСИ) в автономных информационных системах

Аннотация

А.М. Бородин, С.Г. Мирвода, С.В. Поршнев

Дата поступления статьи: 20.11.2013

В статье рассмотрены типовые схемы организации доступа к нормативно-справочной информации в инфомрационных системах предприятий. Предложен подход дополнения (enrichment) объектов данных ИС путем автоматического выбора и применения функций, организованных в виде глобального каталога в централизованном хранилище НСИ. Предложенный подзод назван подходом каталога методов связывания источников справочной информации.

Ключевые слова: интеграция данных, нормативно справочная информация, бизнес процессы, автоматизация металлургических предприятий, сервисная шина предприятия

05.13.01 - Системный анализ, управление и обработка информации (по отраслям)

05.13.18 - Математическое моделирование, численные методы и комплексы программ

1. Введение
Одной из основных задач любого предприятия, для решения которых используются информационные системы (ИС), является задача управления нормативно справочной информацией (НСИ, по-английски - Master Data Management, MDM). Управление НСИ это системно независимый процесс организации, хранения, назначения ответственных над ключевыми объектами (сущностями) данных предприятия [1]. Единый подход к НСИ дает возможность получения (расчета) и анализа ключевых показателей деятельности предприятия, на основе информации, собираемой всеми используемыми на данном предприятии ИС.
На практике наиболее часто к решению задачи управления НСИ приступают после успешного внедрения проектов бизнес-аналитики (БА) и появления на предприятии единого хранилища данных (Enterprise Data Warehouse), в котором консолидируется информация из всех ИС, используемых на предприятии. Первый шаг решения данной задачи, предваряющий их загрузку в ХД, состоит в очистке и приведении данных к общим справочникам НСИ.
Наличие на предприятии обсуждаемого ХД обеспечивает менеджмент предприятия критически важной информацией и потенциальной возможностью проведения анализа деятельности предприятия в целом. Однако в процессе преобразования данных из автономных ИС теряется возможность их последующей идентификации. Отмеченная проблема проявляется в том, что установить источник тех или иных данных после обнаружения средствами БА в ХД той или иной проблемы в деятельности предприятия оказывается самостоятельной (обратной) задачей, решение которой существенно осложняется вследствие потери связи между исходными данными ИС и данными, загруженными в ХД. Один из подходов, позволяющий уменьшить потерю информации о связи между источником данных и самими данными, хранящимися в ХД, предусматривает использование максимально прозрачного управления НСИ. В соответствие с данным подходом на предприятии составляется каталог метаинформации по каждому объекту, участвующему в кросс-системных операциях, например: исполнитель, материал, поставщик, потребитель, единица продукции и т.д. В этой связи задача выбора способа управления НСИ является актуальной.
В статье проводится описание и обоснование нового метода управления НСИ, основанного на использовании глобального каталога функций.  
2. Анализ существующих подходов к управлению НСИ
Классическим подходом к управлению НСИ является подход, основанный на использовании так называемой Мастер системы – ИС, в которой искомый объект, описканный в НСИ, исторически появился раньше, чем во вновь разрабатываемой (внедряемой) ИС. При реализации данного подхода на практике возникают следующие проблемы:
1) технологические - большинство критически важных для производства ИС были разработаны и внедрены в 80х, 90х годах прошлого века и не могут предоставить данные в современных форматах, либо предоставляют их в неоптимальном виде);
2) технические - увеличение в геометрической прогрессии сложности интеграции ИС при увеличении количества интегрируемых ИС.
Пример схемы реализации типового подхода показан на рисунке 1 слева, из которого видно, что даже при небольшом количестве интегрируемых систем, связи между ними становятся достаточно сложными.

       
Рис 1. Способы интеграции систем: стихийная (слева) и с применением интеграционной шины (справа).

Здесь CRM (Customer Relationship Management) - cистема управления взаимоотношениями с клиентами, ERP (Enterprise Resource Planning)- система планирования ресурсов предприятия, MES (Manufacturing Execution System) - система управления производственными процессами, HR (Human Resource)- система управления кадрами.
Развитием классического подхода стали системы интеграции данных (Enterprise Data Integration - EDI) (рисунок 1 справа). Здесь применяется отдельно внедряемая платформа интеграции данных, которая управляет (в литературе – orchestrates) потоками данных. Эта платформа внедряется в общую шину данных.
Примерами платформ EDI являются программные продукты Microsoft BizTalk [2] и IBM WebSphere [3]. В качестве подхода к интеграции EDI использует задаваемые пользователем правила по распространению, преобразованию и восстановлению данных и связей между ними после ошибок. Системы EDI гораздо проще, чем программные средства, реализующие классический подход, масштабируются, оказываются более устойчивыми к нагрузкам и могут быть интегрированы со стандартными инструментами управления ИТ инфраструктурой.
К недостаткам систем EDI следует отнести их высокую стоимость и, соответственно, высокие затраты на ее сопровождение и обслуживание, а также сложность ее внедрения [4, 5]. Так же необходимо отметить, что системы EDI именно интегрируют данные, собираепмые различными ИС  предприятия, т.е. создают общее информационное пространство с BASE семантикой [6] (в определенной мере консистентное).
Наиболее современным решением задачи управления НСИ являются MDM- системы, например: MS SQL Server Master Data Services, Oracle MDM, IBM InfoSphere Master Data Management. Эти системы помимо собственно интеграции данных реализуют следующие функции:

• управление метаинформацией НСИ;
• создание и редактирование НСИ в едином пользовательском интерфейсе
• широкий инструментарий для распространения и предоставления доступа к НСИ;
• контроль валидности справочных данных;
• контроль доступа.

MDM-системы обеспечивают непротиворечивость справочных данных внутри всего предприятия и абстрагируют механизмы создания и управления НСИ от внешних ИС. Каждая из обособленных ИС получает НСИ из MDM-систем и хранит в своём хранилище только ссылки на объекты из соответствующего MDM-каталога, тем самым обеспечивая единое информационное пространство, технически реализованное на базе обособленных ИС [7].
К недостаткам MDM-систем следует отнести существенные трудозатраты по полному изменению всей ИТ инфраструктуры предприятия, а также необходимость существенной переработки ИС, входящих в общую среду НСИ [8]. Отметим, что при использовании MDM-систем возникают, не только проблемы, решение которых должны искать ИТ-службы предприятия, но и проблема менеджмента - определение ключевых для данного бизнеса объектов НСИ [9,10].
3. Подход к управлению НСИ на основе каталога методов связывания источников справочной информации
Наличие недостатков, присущих описанным в предыдущем разделе подходам к управлению НСИ, определяет необходимость разработки новых подходов к решению данной задачи. В качестве такового мы считаем целесообразным использовать новый подход, основанный на использовании каталога методов связывания (КМС) источников справочной информации. Данный подход, как показала практика его использования, одновременно, сочетает в себе преимущества всех известных способов управления НСИ, и свободен от присущих им недостатков.
Предлагаемый авторами подход основан на использовании трех основных компонент:

• каталога метаописаний объектов НСИ;
• каталога мастер-систем;
• каталога функций, предоставляющих данные из мастер-систем в виде объектов НСИ.

Каталог метаописаний служит для определения пользователем объектов НСИ. Объекты в нем задаются в виде ассоциативных массивов. Множества ассоциативных массивов образуют непротиворечивое пространство НСИ. Кроме атрибутов сущностей (например, имя, табельный номер, вес и т.д.) метаинформация может содержать дополнительные данные, в том числе о волатильности, безопасности, исполнителе, ответственном за непротиворечивость вносимой в конкретную ИС информацию,  и т.д.
Каталог мастер-систем служит для определения источников данных НСИ. Отметим, что при этом данные продолжают храниться в самой автономной ИС и извлекаться из неё по требованию.
Каталог функций по запросу обращается к необходимой мастер-системе, выбрав её из каталога при помощи метаописания требуемого объекта НСИ, преобразует объекты в требуемый формат (JSON, XML SOAP, BSON и т.д) и возвращает вызывающей стороне.
Каталог функций предоставляет только базовый интерфейс получения списка объектов по типу и получения объекта по идентификатору тем самым уменьшая зависимость подключаемых систем. Так же необходимо отметить, что важной особенностью каталога является возможность автоматического определения типа НСИ и его дополнение недостающими атрибутами на основании частичных данных.
Как очевидно, преимущество предложенного нами подхода в сравнении с известными подходами, используемыми в MDM-системах, состоит в отсутствии их разрушительного воздействия на автономные системы - источники НСИ. Последние продолжают работать как раньше, а потому не требуется их существенная переработка. Преимущества предложенного решения обеспечиваются:
1) в сравнении с EDI за счет использования глобального метакаталога НСИ, в котором определёны: состав, взаимосвязи и инфраструктурные особенности каждого типа НСИ, а EDI занимается исключительно распространением данных;
2) в сравнении с прямым доступом к мастер-системам за счет использования двойного механизма абстракции данных: абстракция состава объекта (через метаописание) и абстракция получения (через глобальный каталог функций).
Так же необходимо отметить, что в предложенном решении  достаточно просто удается решить проблемы, связанные с подключением новых мастер-систем и типов НСИ. Для этого оказывается достаточным описать объект НСИ в терминах метакаталога и использовать набор функций для получения данных.
Недостатками данного подхода являются неустойчивость к каскадным ошибкам и некоторое влияние на мастер-системы. Однако отмеченные недостатки можно достаточно просто компенсировать, используя соответствующие систему кэширования и механизмы дросселирования (в литературе – троттлинга, throttling).
Ниже приведен пример сценария работы системы для поддержки бизнес процесса движения единицы продукции (ЕП) по технологическому маршруту металлургического предприятия.
1.  Агрегата завершает обработку ЕП, после чего оператор вводит в Цеховую информационную систему (ЦИС) следующие данные: номер ЕП, материал ЕП, номер смены.
2.  ЦИС посылает запрос в КМС, в виде ассоциированного массива
({EP_NUMBER:1;EP_MATERIAL:22ГЮ;TURN_NUMBER:123})
3.  КМС автоматически определяет, что может получить дополнительные данные по атрибуту EP_MATERIAL из системы MES, и состав смены из системы HR по атрибуту TURN_NUMBER.
4.  В ЦИС возвращается ответ от КМС в виде XML-кода(рисунок 2), автоматически заполняющего соответствующие поля в АРМ оператора

Рисунок 2. Пример XML ответа от КМС

5.  Соответственно п. 4 из системы HR возвращается состав работающей на маршруте смены в виде фамилий, имен, отчеств  и табельных номеров, сотрудников предприятия, работавших в этой смене.
6.  ЕП переходит на следующий технологический этап, где информация полученная из системы MES посредством КМС, используется для автоматической дефектовки ЕП.
7.  После завершения всей последовательности технологических операций  информация из ЦИС посредством КМС предаётся в систему ERP-систему (информация о кол-ве ЕП, информация о смене).

Заключение

Предложенный метод КМС был успешно апробирован при разработке информационной системы для анализа данных металлургического предприятия. Система управления НСИ, в которой реализован данный метод, позволила  интегрировать корпоративные информационные системы (КИС), MES-системы и ERP-системы в условиях неизвестного заранее объекта автоматизации и необходимости тиражирования информационной системы с множеством внешних связей.
Работа выполнена в рамках договора № 02.G25.31.0055 (проект 2012-218-03-167) при реализации комплексного проекта по созданию высокотехнологичного производства с участием российского высшего учебного заведения по теме: «Разработка автоматизированной системы слежения, контроля, моделирования, анализа и оптимизации полного цикла выпуска  металлургической продукции на основе создания и интеграции математических моделей технологических, логистических и бизнес-процессов предприятия (АС ВМП)»

Литература:

1. DAMA International The DAMA Guide to the Data Management Body of Knowledge (DAMA-DMBOK) / DAMA International // Technics Publications, LLC; First edition. – 2010. –C.430
2. Управление нормативно-справочной информацией [электронный ресурс] // – Режим доступа:  http://www.navicongroup.ru/biztalk/horizont/ypravl/ (доступ свободный, дата доступа 19.11.2013) – Загл. с экрана. – Яз. рус.
3. Типовой подход к управлению НСИ [электронный ресурс] // – Режим доступа: http://www.osp.ru/resources/izones/smartplanet/Short/Short_3.html (доступ свободный, дата доступа 19.11.2013) – Загл. с экрана. – Яз. рус.
4. Curl A. EAI issues and best practices / Ana Curl, Kresimir Fertalj // In Proceedings of the 9th WSEAS international conference on Applied computer science (ACS'09). –2009. –c.135-139.
5. Manouvrier B. Application Integration: EAI B2B BPM and SOA / Bernard Manouvrier, Laurent Menard // Wiley-IEEE Press. -2008. –C.256.
6. Pritchett D. BASE: An Acid Alternative / Dan Pritchett // ACM Queue volume 6, issue 3 (May 2008). –2008. –c.48-55.
7. Богуславский В.И. Особенности построения корпоративной инновационной подсистемы промышленного предприятия [Электронный ресурс] // «Инженерный вестник Дона», 2008, №2. – Режим доступа 
   http://www.ivdon.ru/magazine/archive/n2y2008/68 (доступ свободный, дата доступа 14.12.2013) – Загл. с экрана. – Яз. рус.
8. Allen M. Master Data Management in Practice: Achieving True Customer MDM. / Allen M., Cervo D // – Wiley Corporate.  – 2011.–C.247.
9. Кирищиева И.Р., Скорев М.М. Реинжиниринговые технологии в развитии бизнес - систем железнодорожного транспорта предприятия [Электронный ресурс] // «Инженерный вестник Дона», 2012, №2. – Режим доступа 
   http://www.ivdon.ru/magazine/archive/n2y2012/785 (доступ свободный, дата доступа 14.12.2013) – Загл. с экрана. – Яз. рус.
10. Adam F. Making Sense of the Master Data Management (MDM) Concept: Old Wine in New Bottles or New Wine in Old Bottles / Adam F., Carlsson S., Nagle T., Sammon D. // In Proceedings of the 2010 conference on Bridging the Socio-technical Gap in Decision Support Systems: Challenges for the Next Decade. –2010. – c.175-186.