Информационно-аналитические технологии, их задачи
Любая аналитическая работа обеспечивается комплексом технологий обработки информации, основанных на целостной методологической базе. Информационные технологии - это неотъемлемая часть современных технологий в целом, прежде всего прогностических, образовательных, технических, компьютерных и иных . В настоящее время, когда активно развиваются и внедряются ЭВТ и высокоскоростные средства связи, их значение сильно возрастает. Однако все эти технологии зависят от «человека с карандашом» - мыслителя, аналитика, способного рождать новые продуктивные идеи. Без такого субъекта - генератора и производителя идей вся информационная работа ничего не значит.
Уровень развития информационных технологий, безусловно, играет важнейшую роль во всех сферах деятельности человека, прежде всего в сфере управления, политики, технических ресурсов, гуманитарных отраслях науки.
Но если суть информационных технологий состоит, скорее в том, что они призваны соответствующим образом подготовить массивы данных для дальнейшего их изучения человеком-аналитиком (т. е. в их информационно-справочной функции), то суть информационно-аналитических технологий - в том творческом, интеллектуальным содержании аналитических процедур, которые осуществляет аналитик или лицо, принимающее решение, по получении набора данных.
Информационно-аналитические технологии (ИАТ) можно определить как систему знаний, методов, операций и правил, позволяющих на основе привлечения энергетических, сырьевых, технических, интеллектуальных, кадровых, организационных, информационных и прочих ресурсов обеспечить наибольшую эффективность того или иного вида деятельности . Важнейшей особенностью ИАТ является их междисциплинарный характер, они находится на «стыке» целого ряда научных дисциплин, порою слабо связанных между собой. К их числу можно отнести философию, социологию, логику, математику, экономическую науку, информатику, управленческую науку, психологию и другие отрасли науки.
Информационно-аналитические технологии - это не только планы и проекты созидательной направленности... Они могут выступать и в качестве мощного оружия. Не случайно с целью нанесения противнику максимально разрушительного удара, способного обратить даже созидательную его деятельность на разрушение собственной страны, разорение собственного дома и семьи, на борьбу с вымышленными врагами, ориентировать его на достижение ложных целей, создано именно информационное оружие . Одной из разновидностей ИАТ являются и технологии проведения информационных акций деструктивной направленности .
Впрочем, вспомним советско-латинское речение студентов-медиков «симилис симилисом» («клин клином вышибают»)... В каком-то смысле ИАТ не отличается от лекарств в духе медицины средневековья. Информационно-аналитические технологии являются и инструментом нападения, и инструментом противодействия деструктивным информационным акциям. Можно сказать, что «ИАТ - это и яд, и противоядие в одном флаконе».
Помните, «железную логику» из фильма «С легким паром»? - Так вот, в фильме мы видели классическую схему рассуждений (аналитическую технику), направленных на преодоление фрагментарности знаний, а уж насколько это удалось героям - это другой вопрос. Считайте, что примерно так выглядят люди наутро после взрыва «информационной бомбы», точь-в-точь, как алкоголики, по протрезвлении, собирают отрывочные воспоминания. Именно эта процедура восстановления перемолотой в крупу мировоззренческой системы нам очень знакома (начиная с 1917 года, в среднем один раз за 20 лет нашим соотечественникам приходилось радикально менять свои взгляды, но вот беда - это всегда происходит с большими потерями). Да и «утро» такое наступает, как правило, уже спустя годы - как это было в 1995 году. Тогда, в итоге преобразований, начатых в 1988 г., вместо автомобиля «Волга» в руках у граждан оказались бумажки, способ применения которых был совершенно не очевиден, но зато слово «ваучер» уже навязло в зубах и казалось приветливым и знакомым.
Итак, повторим, что в противовес информационному оружию, нацеленному на дестабилизацию и разрушение опорных элементов целостной системы мировоззрения, существуют средства, стабилизирующие и организующие процессы мышления и целеполагания . Именно таким средством противодействия информационному оружию являются аналитические технологии . Но для того, чтобы информационно-аналитические технологии действительно могли работать в качестве системы противодействия информационному оружию, необходимо, чтобы аналитик непрерывно осуществлял контроль за состоянием своего модельного мира . Этот модельный мир, «помещенный» в голове аналитика, выступает в качестве основы для реализации всех процессов целеполагания. Позже мы рассмотрим вопросы, связанные с режимами модификации модели мира аналитика, определим, что есть аналитический режим восприятия информации и какие режимы восприятия информации вообще бывают. Пока ограничимся тем замечанием, что аналитик не должен допускать спонтанной (неосознанной) модификации модели мира, а также заботиться об актуальности содержания этой модели.
Следует также заметить, что чтение периодических изданий, специальной литературы, посвященной самым разнообразным отраслям человеческой деятельности, художественной (и даже не слишком художественной) литературы должно быть такой же привычкой аналитика, как чистка зубов и прочие повседневные «ритуалы». Так, например, даже чтение макулатуры жанра «фэнтези» может оказаться нелишним , поскольку позволяет обнаружить стилевые клише в идеологической литературе, адресованной молодежи, либо самим активно использовать «родной язык» 14-17-летних для организации запрограммированного психологического и идеологического воздействия.
Как видим, очень важен фактор личности аналитика , его социальный и личный опыт. Как в никакой другой сфере, в аналитике чрезвычайную роль играет субъективный фактор. Знания, опыт и интуиция аналитика, его профессионализм и гражданская ответственность служат основанием для аналитических оценок и выводов.
В настоящее время в литературе используется термин «интеллектуальные технологии». Фактически этот термин по своему содержанию равнозначен термину «информационно-аналитические технологии».
Информационно-аналитические технологии позволяют:
1. Снизить нагрузку на лицо, принимающее решение, за счет осуществления первичной фильтрации потока данных.
2. Освободить аналитика от рутинной работы по систематизации, реферированию данных.
3. Повысить системность восприятия данных об обстановке за счет введения процедур интеграции информации.
4. Обеспечить преобразование данных об обстановке к виду, более удобному для восприятия аналитиком.
5. Автоматизировать поиск аргументации в подтверждение или опровержение выдвигаемых аналитиком гипотез.
6. Обеспечить автоматическую индикацию логически противоречивых данных (при наличии соответствующих процедур их формализации).
7. Обеспечить автоматическую индикацию ожидаемых событий за счет постановки заданий автоматизированным системам.
8. Повысить эффективность информационно-аналитической работы за счет алгоритмизации и стандартизации аналитических процедур.
9. Обеспечить более высокую психологическую устойчивость эксперта-аналитика к стрессовым воздействиям за счет применения специальных методик.
Как видно из перечня функций ИАТ - это не только и не столько программные и аппаратные средства обработки данных и сигналов, сколько специфические методики, пригодные как для реализации их с применением средств автоматизации, так и для использования вне комплекса средств автоматизации. В первую очередь ИАТ применяются в интересах снижения напряженности и повышения эффективности интеллектуального труда, что часто достигается за счет алгоритмизации деятельности аналитика (умеренной, конечно).
То есть в рамках ИАТ могут быть выделены две компоненты : автоматизация деятельности (инструментальное направление) и алгоритмизация деятельности аналитика (методолого-организационное направление).
Благодаря этому ИАТ позволяют эффективно решать разнообразные практические задачи в самых различных сферах деятельности: в науке, технике, экономике, социальной сфере, политике, гуманитарных отраслях и иных. На их основе проводятся: анализ социально-политической ситуации, обоснование выбора политических или экономических решений на различных уровнях властных полномочий, прогнозирование результатов выборов, а также решаются многие другие проблемы, находящиеся в плоскости социальных процессов.
В этом смысле ИАТ направлены на обеспечение деятельности различных лиц, принимающих решения в условиях дефицита времени, неполноты сведений об исследуемых процессах, нечеткости, противоречивости или недостоверности информации.
ГЛАВА 1. МОНИТОРИНГ И ЕГО РЕАЛИЗАЦИЯ В УПРАВЛЕНИИ НЕДРОПОЛЬЗОВАНИЕМ.
1.1. поняше мониторинга.
1.2. Классификация видов мониторинга.
1.3. Мониторинг недропользования.
1.4. Особенност и мониторинговой деятельности в недропользовании.
ГЛАВА 2. ФОРМАЛИЗАЦИЯ ОПИСАНИЯ ПРОЦЕССА МОНИТОРИНГА И ОПРЕДЕЛЕНИЕ ПОДХОДА К ПРОЕКТИРОВАНИЮ ПРИКЛАДНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ МОНИТОРИНГА НЕДРОПОЛЬЗОВАНИЯ.
2.1. Модель процесса мониторинга.
2.2. Проектирование прикладных информационных сис гем мониторинга недропользования.
2.3. Пример проектирования фрагмента прикладной информационной системы.
ГЛАВА 3. МЕТОДИКО-ТЕХНОЛОГИЧЕСКАЯ СХЕМА ПРОЕКТИРОВАНИЯ И РАЗРАБОТКИ^ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ СИСТЕМ МОНИТОРИНГА НЕДРОПОЛЬЗОВАНИЯ
3.1. Функции информационно-анали i ического обеспечения мониторинга недропользования.
3.2. Интегрированные информационно-анали гические системы (ИАС).
3.3. Создание территориально распределенных ИАС.
3.4. Методико-технологическая схема iipoekiирования и разработки прикладной ИАС.
ГЛАВА 4. ТЕХНОЛОГИЯ СОЗДАНИЯ ПРИКЛАДНЫХ ИНТЕГРИРОВАННЫХ ТЕРРИТОРИАЛЬНО-РАСПРЕДЕЛЕННЫХ ИАС МОНИТОРИНГА НЕДРОПОЛЬЗОВАНИЯ НА ОСНОВЕ РАЗРАБОТАННОЙ ИНСТРУМЕНТАЛЬНОЙ ТЕХНОЛОГИЧЕСКОЙ ПЛАТФОРМЫ.
4.1. Технологичгские платформы разработки ИС.
4.2. Технология разработки ИАС с применением инструментальной технологической платформы ИАС "Конструктор".
4.3. Разработка клиентских мест в среде «ИАС-конструктор».
4.4. Разработка ГИС-компонента ИАС.
4.5. ИАС-конвертор - программно-т ехнологические средства загрузки данных.
4.6. средства аналитической обработки и анализа данных.
ГЛАВА 5. РЕЗУЛЬТАТЫ АПРОБАЦИИ И ВНЕДРЕНИЯ РАЗРАБОТАННЫХ МЕТОДИКО-ТЕХНОЛОГИЧЕСКИХ РЕШЕНИЙ.
5.1. Ав томат изирован11ая система лицензирования недропользования.
5.2. Информационно-аналитическая cuciema государственного мониторинга состояния подземных вод РФ.
5.3. Информационная система «Уче1 и баланс подземных вод РФ».
5.4. ИАС сопровождения работ по выявлению, обследованию и ликвидации экологически опасных скважин на нефть и газ нераспределенного фонда недр российской федерации.
5 5. Территориально распределенная информационная система документального мони торипга фонда скважин на неф iь и газ.
5.6. ИАС мониторинга состояния и использования ресурсной базы углеводородного сырья распределенного и нераспределенного фонда недр.
5.7. информационная система г осударственного банка информации о недрах и недропользовании
Республики Казахстан.
Рекомендованный список диссертаций по специальности «Геоинформатика», 25.00.35 шифр ВАК
Методика и технология разработки территориально-распределенных информационно-аналитических систем в управлении природопользованием 2008 год, кандидат технических наук Попов, Александр Сергеевич
Создание единой среды для интеграции информационных ресурсов в природопользовании 2005 год, доктор технических наук Чесалов, Леонид Евгеньевич
Аналитическое и программно-технологическое обеспечение поддержки принятия управленческих решений в природопользовании 2005 год, кандидат технических наук Аракчеев, Дмитрий Борисович
Управление процессами недропользования на ранних стадиях подготовки освоения углеводородных ресурсов 2013 год, кандидат экономических наук Иутина, Марина Михайловна
Методологические основы повышения эффективности системы лицензирования недропользования 2011 год, доктор экономических наук Никитина, Наталия Константиновна
Введение диссертации (часть автореферата) на тему «Методика и технология создания информационно-аналитических систем мониторинга недропользования»
Понятие «мониторинг» часто употребляется в современном обществе и проникает во все новые сферы хозяйственной практики. Оно обязательно включает в себя наблюдение за объектами мониторинга, учет и контроль их состояния, анализ динамики изменения этого состояния и синтез мониторинговой информации для представления на различных уровнях управления. Мониторинговые системы, вне зависимости от сферы применения, обладают некоторыми общими характеристиками, что позволяет выделить мониторинг в единую информационную сущность, реализация которой осуществляется в рамках управленческой деятельности, а также разработать концепцию формализованного описания мониторинговой деятельности.
Цель мониторинга в сфере недропользования - оценка деятельности, связанной с изучением, разведкой и эксплуатацией недр. В системе такого мониторинга проводится оценка состояния и использования ресурсной базы, отслеживание процессов лицензирования и контроль выполнения лицензионных условий, анализ режимов пользования ресурсами, планирование освоения и охраны недр и пр. Система наблюдений в геологоразведке во многом строится на ретроспективных материалах, отчетности, информация об объектах мониторинга в области управления недропользованием характеризуется большими объемами, разнородностью, пространственной привязанностью, недоступностью объектов для прямого изучения, а хранящие ее организации - территориальной распределенностью.
В настоящее время роль информационных мониторинговых систем в геологоразведке возрастает, однако их использование тормозится отсутствием утвержденных оценочных показателей объектов мониторинга, согласованных систем классификации информации, дублированием информационных потоков и функциональной нагрузки между организациями геологоразведочной отрасли. Отсутствие унификации разработок ведет к появлению дублирующих и несовместимых между собой информационных систем, используются различные методики и технологии их построения, форматы хранения данных и кодирования информации.
Таким образом, актуальна унификация методико-технологического подхода к созданию информационно-аналитического обеспечения мониторинга недропользования. В основе такого подхода - разработка по отдельным направлениям управления недропользованием иерархических интегрированных по данным территориально распределенных информационно-аналитических систем (ИАС) с возможностью удаленного доступа и синхронизации данных, предназначенных для решения задач 3 мониторинга состояния и использования недр на универсальной технологической основе. Создание на единых концептуальных и методико-технологических принципах комплекса взаимодействующих ИАС в сфере мониторинга состояния и использования недр постепенно сформирует единое информационное пространство мониторинга выполнения методического, финансово-экономического, социального и экологического режимов недропользования.
Целью работы являлась разработка методики и технологии создания прикладных информационно-аналитических систем мониторинга недропользования, базирующихся на формализованном описании процесса мониторинга и унификации технологического подхода.
Основными задачами исследований являлись: /
1. Обзор и анализ определений понятия мониторинга, механизма его реализации, структуры и функций мониторинговых систем; конкретизация задач и определение особенностей реализации мониторинга в сфере недропользования.
2. Формализация описания процесса мониторинга и определение подхода к проектированию прикладных информационных систем мониторинга недропользования.
3. Создание методического обеспечения проектирования и разработки прикладных систем информационно-аналитического обеспечения мониторинга недропользования, определение принципов их организации и функционирования.
4. Разработка унифицированной технологии построения интегрированных территориально распределенных информационно-аналитических систем мониторинга недропользования.
5. Апробация разработанного методического и технологического обеспечения при создании прикладных информационно-аналитических систем мониторинга недропользования в геологоразведочной отрасли.
Для"решения сформулированных задач применялись методы системного анализа, теории объектно-классификационного моделирования сложных систем, анализа иерархий, проектирования и разработки баз данных и информационных систем, аналитические методы пространственного анализа и моделирования, поддержки принятия решений, организации \¥еЬ-доступа и пр.
Научная новизна исследований формулируется следующим образом:
1. Впервые построена модель процесса мониторинга состояния сложных систем, описывающая структуру основных этапов и элементов мониторинговой деятельности и обеспечивающая формализацию задач при разработке прикладных мониторинговых систем в сфере недропользования.
2. Предложена методико-технологическая схема проектирования и разработки прикладных информационно-аналитических систем мониторинга недропользования на унифицированной технологической основе.
3. Реализована технология создания прикладных информационно-аналитических систем, основанная на совмещении этапов проектирования и разработки, в единой инструментальной среде.
4. На основе разработанной методики и технологии созданы комплексы моделей (объектной, функциональной и динамической) с одновременной реализацией прикладных информационно-аналитических мониторинговых систем различной тематической направленности.
В работе защищаются следующие положения:
1. Построена модель процесса мониторинга и определена стратегия подхода к проектированию прикладных информационных систем на ее основе, обеспечивающие формализацию конкретных задач мониторинга и методику проектирования и разработки систем в сфере недропользования.
2. Предложенная методика проектирования и разработки информационно-аналитических систем мониторинга недропользования, включающая выбор схем организации и функционирования, определение состава и типа технологических компонентов, конструирование клиентских мест без использования программирования, обеспечивает выбор оптимальной структуры прикладных систем и определяет технологию их унифицированной разработки с учетом специфики решаемых задач.
3. Технология проектирования и разработки территориально распределенных информационно-аналитических систем мониторинга недропользования, базирующаяся на инструментальной технологической платформе конструирования НАС, обеспечивает универсальность (функционирование в локальной сети Windows и глобальной сети Интернет), снижение трудозатрат на создание клиентских мест и их легкую модифицируемость, повышает скорость разработки и надежность работы прикладных систем.
4. Созданные на основе разработанной методики и технологии прикладные ИАС обеспечивают информационно-аналитическую поддержку решения различных задач мониторинга недропользования, включая формирование и унифицированное ведение учетных массивов геоданных, оценку текущего состояния недр и прогноз его изменения, контроль и планирование использования ресурсов недр.
Практическая ценность работы основана на применении предложенных решений при создании, апробации и внедрении ряда прикладных ИАС мониторинга 5 недропользования в федеральных и территориальных органах управления России и Республики Казахстан; геологических организациях отрасли, в частности: Мониторинг лицензирования:
Автоматизированная система лицензирования недропользования. Внедрена в Центральном аппарате Роснедра, эксплуатируется всеми территориальными управлениями по недропользованию РФ.
Мониторинг ресурсной базы и состояния подземных вод:
Информационно-аналитическая система государственного мониторинга состояния подземных вод РФ. Внедрена в федеральном центре ГМСН (ФГУГП «Гидроспецгеология») и>региональных центрах ГМСН РФ.
Информационная система государственного учета и баланса ресурсов и эксплуатационных запасов питьевых и технических подземных вод, включая БД сводного-реестра лицензий и участков недр, выданных на добычу подземных вод. Передана для апробации в ФГУНПП «Росгеолфонд».
Информационно-аналитическая система по учету подземных вод Самарской области. Внедрена в Куйбышевской гидрогеологической экспедиции.
Мониторинг ресурсной базы и объектов УВС:
Автоматизированная система «Мониторинг состояния и использования ресурсной базы углеводородного сырья распределенного и нераспределенного фонда недр». Внедрена в ФГУП «ВНИГНИ».
Система информационно-аналитического сопровождения работ по выявлению, обследованию и ликвидации экологически опасных скважин на нефть и газ нераспределенного фонда недр Российской Федерации. Внедрена в ОАО «НПЦ Недра».
Информационная система документального мониторинга фонда параметрических, поисковых и разведочных скважин на нефть и газ. Внедрена в системе Роснедра, ОАО «НПЦ Недра».
Мониторинг минерально-сырьевой базы:
Информационная система Государственного банка информации о недрах и недропользовании Республики Казахстан. Внедрена в Комитете геологии и недропользования РК, Республиканском центре геологической информации «Казгеоинформ», МТД (территориальных управлениях) Республики Казахстан, Информационно-аналитическом центре геологических минеральных ресурсов РК; и другие.
2007 год, кандидат геолого-минералогических наук Мотрук, Валерий ДмитриевичМаркшейдерское обеспечение недропользования при скважинной гидродобыче богатых железных руд 2006 год, доктор технических наук Колесников, Василий Ильич
Обоснование направлений экономически эффективного освоения малых и средних золоторудных месторождений 2010 год, кандидат экономических наук Самсонов, Николай Юрьевич
Заключение диссертации по теме «Геоинформатика», Митракова, Ольга Владимировна
Заключение
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.
Информационно-аналитический блок мониторинга выполняет его основную функцию, поскольку для принятия обоснованных управленческих решений соответствующим органам важным является анализ и оценка состояния объекта и динамики показателей его деятельности. Эффективную информационно-аналитическую поддержку решения необходимых задач способны обеспечить системы автоматизации аналитической деятельности специалистов органов управления, организуют процессы сбора, хранения и обработки информации. Концепция такого рода систем для широкого класса управляемых объектов должно основываться на современной технологии интегрированных хранилищ данных и углубленного аналитической обработки накопленной информации на базе современных информационных технологий.
Как уже отмечалось, традиционными и общепринятыми источниками первичной информации является статистическая отчетность, бухгалтерский и управленческий учет, финансовая отчетность, анкетирование, интервью, опросы и т.
Этап аналитического и статистического обработки структурированной первичной информации также несколько традиционных общепринятых подходов. Возникновение этих подходов и системная интеграция их были обусловлены объективной необходимостью автоматизации учетно-статистических работ с целью как можно более точного, качественного и своевременного отражения процессов, протекающих в анализируемой предметной области а также выявление их характерных тенденций.
Автоматизация статистических работ получила отражение в создании и функционировании автоматизированных статистических информационных систем: в 1970-х годах - автоматизированной системы государственной статистики (АСДС), а с 1988 года - в проектировании единой статистической информационной системы (ЭСИС) . Основной задачей этих разработок были сбор и обработка учетно-статистической информации, необходимой для планирования и управления народным хозяйством на базе широкого применения экономико статистических методов, средств вычислительной и организационной техники, систем связи в органах государственной статистики.
В структурно-территориальном аспекте АСДС была строго иерархической, имела четыре уровня: союзный, республиканский, областной, районный (городской). На каждом уровне обработки информации осуществлялось в целях реализации задач прежде всего данного уровня.
В функциональном аспекте в АСДС выделяют функциональные и обеспечительные подсистемы. Эти подсистемы, независимо от содержания конкретных статистических задач, реализовывали функции сбора и обработки статистической информации, комплексного статистического анализа, контроля над выполнением показателей, получения статистических данных, необходимых для текущего и оперативного планирования, своевременного представления руководящим органам все необходимые статистических данных. С точки зрения пользователя мониторинговые задачи по своему назначению подразделяются на:
регламентные задачи, связанные с обработкой данных статистической отчетности на соответствующих структурно-территориальных уровнях АСДС;
задачи информационно-справочного обслуживания; задачи углубленного экономического анализа.
Регламентные задачи связанные с обработкой данных статистической отчетности на уровнях АСДС. Каждая регламентная задача, как правило, связана с обработкой данных некоторой конкретной формы статистической отчетности или нескольких, тесно связанных по смыслу форм отчетности. Решение таких задач осуществляется комплексами электронного обработки информации, которые представляют собой совокупность программных, технических и организационных средств с использованием локальных массивов информации.
Задачи информационно-справочного обслуживания предусматривают формирование по запросам необходимых статистических данных для оперативного составления докладов, аналитических записок и справок, не регламентированы по содержанию. их решения обеспечивается с помощью автоматизированного банка данных в виде системы накопления, хранения, поиска, обработки и выдачи информации по запросам пользователей в нужном виде.
Задачи углубленного экономического анализа основаны на использовании:
динамических рядов (построение полигонов, гистограмм частот и кумулятивных линий, подбор трендов с выбранного класса функций);
сглаживания исходного динамического ряда, диагностика на основе выбранного тренда и авторегрессионной модели, анализ остатков на автокорреляции и нормальность)
парной регрессии (определение уравнений линейной и нелинейной регрессии, оценка их статистических характеристик, отбор оптимальной формы связи);
множественной регрессии (определение матрицы парных коэффициентов корреляции, определение уравнений множественной линейной регрессии),
факторного анализа (получение линейной модели, описывается небольшим числом факторов, расчет значений "нагрузок на общие факторы" и самых общих факторов, графическая интерпретация факторов на плоскости и в пространстве);
корреляционного анализа (получение корреляционных матриц, средних и стандартных отклонений).
Организационно-технологическая форма решения данного класса задач - аналитические комплексы, представляющие собой совокупность пакетов прикладных программ, ориентированных на реализацию математико-статистических методов. Для охвата широких временных диапазонов анализируемых данных используется регистровая форма мониторинга на основе автоматизированных регистров, позволяющих сохранять и обрабатывать значительные совокупности данных, организованных
в виде массивов, независимых от структуры статистических отчетов по каждому объекту или определенной группой объектов мониторинга. Регистровая форма мониторинга особенно эффективна для статистической информации, характеризующей относительно устойчивые объекты, поэтому регистры можно рассматривать как автоматизированную картотеку групп однородных единиц статистического наблюдения определенного типа. Ее применение дает возможность пользователю путем заполнения унифицированного бланка запроса получать различные данные, характеризующие состояние того или иного объекта.
Важным направлением совершенствования статистического мониторинга стало обеспечение повышения содержательности, достоверности и оперативности отчетных данных на основе сочетания текущей отчетности, единовременных учетов, выборочных и монографических обследований, а также оптимизации потоков информации. Особый акцент сделан на совершенствовании экономико-математических методов анализа и прогнозирования развития систем. Кроме того, существенным прогрессом в эволюции методов мониторинга послужило использование новых информационных технологий, а именно:
разработка комплексной технологии обработки информации при использовании банков данных и компьютерных сетей;
создание средств компьютерного моделирования систем обработки данных;
разработка интеллектуализированных типов интерфейса конечного пользователя с компьютером на базе автоматизированных рабочих мест, предусматривающих использование экспертных систем.
Новые информационные технологии существенно расширили возможность прямого автоматизированного доступа к необходимой статистической информации, разнообразило состав и содержание аналитических работ. Появилась возможность интеграции одной статистической информационной системы мониторинга с другими информационными системами всех уровней управления каналами телекоммуникационных связей.
Однако все рассмотренные методы аналитического и статистического обработки данных имеют существенный недостаток. Вся совокупность данных обрабатывается в них как разрозненная множество, из-за чего отсутствует их системное единство. Между тем или иным информационными потоками может быть установлен лишь искусственный связь путем объединения их в определенную отчетную форму. Однако невозможно предусмотреть все формы для всех возможных явлений и связей. Традиционные методы аналитического и статистического обработки данных не учитывают того, что между любого рода явлениями и событиям существует естественная связь, основанный на универсальных, присущих всем им показателях. При наличии системы таких природных
связей появляется возможность сопоставлять с рассматриваемым явлением все связанные с ним в явном или неявном виде факторы, события, данные. Мониторинга, основанном на таком подходе, свойственна полнота охвата причинно-следственных связей факторов взаимовлияния скрытых тенденций. Все это рассматривается в неразрывном системном единстве.
Устранить указанный недостаток можно благодаря весьма распространенном в последнее время подхода к проблеме аналитического и статистического обработки данных на основе новейшей технологии OLAP - Online Analitical Processing (оперативный анализ данных) .
Срок OLAP обозначает методы, которые дают возможность пользователям баз данных в реальном времени генерировать описательные и сравнительные сведения данных и получать ответы на различные аналитические запросы. К определяющих принципов концепции OLAP относятся:
многомерное концептуальное представление - базы данных OLAP должны поддерживать многомерное представление данных, предусматривает классические операции разбиения и вращения концептуального куба данных;
прозрачность - пользователям не нужно знать, что они используют базу данных OLAP. Для получения ими данных и принятия нужных решений они могут использовать хорошо знакомые им инструменты. им также не нужно что-либо знать об источнике данных;
доступность - программные средства должны сами выбирать и связываться с наилучшим для формирования ответа на данный запрос источником данных. Они должны обеспечивать автоматическое отображение собственной логической схемы в различные гетерогенные источники данных;
согласована производительность - производительность практически не должен зависеть от количества измерений в запросе. Системные модели должны быть достаточно мощными, чтобы справиться со всеми изменениями рассматриваемой модели;
поддержка архитектуры клиент-сервер - средства OLAP должны быть в состоянии работать в клиент-серверной среде, так как предполагается, что сервер многомерной базы данных должен быть доступен из других программ и инструментов;
равноправие всех измерений - каждое измерение данных должно быть эквивалентно одновременно и по структуре, и по операционным возможностям. Основная структура данных, формулы и форматы отчетов не должны ориентироваться на какое-то одно измерение данных;
динамическое обработки разреженных матриц - типичные многомерные модели могут с легкостью обращаться к большой множества
ссылок на ячейки, многие из которых не имеют данных в какой-то конкретный момент. Эти недостающие значения должны храниться эффективным образом и не производить негативного влияния на точность или скорость извлечения информации;
поддержка множества користурачив - средства OLAP должны поддерживать и поощрять работу в группах и обмен идеями и результатами анализа между пользователями. Для этого очень важно наличие многопользовательского доступа к данным;
поддержка операций между различными измерениями. Все многомерные операции (например, агрегация) должны определяться и быть доступными таким образом, чтобы они выполнялись единообразно и согласованно, независимо от количества измерений;
интуитивное управление данными - данные, предоставляемые пользователю-аналитику, должны содержать всю информацию, необходимую для эффективной навигации (формирование срезов, изменения уровня детализации представления информации) и выполнения соответствующих запросов;
гибкое формирование отчетов - пользователь имеет иметь возможность извлекать любые необходимые ему данные и формировать их в любом необходимом ему виде;
неограниченные измерения и уровни агрегации - не должно ограничений по количеству поддерживаемых измерений.
Использование систем, основанных на технологии OLAP, дает возможность:
организовать единое информационное хранилище, основанное на данных статистической и другой отчетности;
обеспечивать простой и эффективный доступ к информации хранилища с разграничением прав доступа
обеспечить возможность оперативного аналитической обработки хранимых данных, проведения статистического анализа;
упорядочить, стандартизировать и автоматизировать создание форм аналитических отчетов с отображением данных в заданном виде.
Главной отличительной особенностью и важным преимуществом многомерного представления данных по сравнению с традиционными информационными методиками является возможность совместного анализа больших групп параметров во взаимной связи, что важно при изучении сложных явлений.
Технология OLAP заметно сокращает время сбора и анализа первичной информации, необходимой для принятия решений в той или иной сфере человеческой деятельности, а также повышает наглядность и информативность отчетов о процессах и явлениях, происходящих в этих сферах.
OLAP-системы позволяют накапливать большие объемы данных, собираемых из различных источников. Такая информация обычно
Прежде чем создавать такую систему, следует рассмотреть и выяснить три основных вопроса:
данные накапливать и как на концептуальном уровне моделировать данные и управлять сохранением их; как анализировать данные;
как эффективно загрузить данные из нескольких независимых источников.
Эти вопросы можно соотнести с тремя основными компонентами системы поддержки принятия решений: сервер хранилища данных, инструментарий оперативного аналитической обработки данных и инструменты для пополнения хранилища данных.
Поскольку организация информационных хранилищ является предметом других дисциплин, рассмотрим лишь вопрос аналитической обработки данных. В настоящее время существует ряд средств OLAP, которые можно использовать для анализа информации. Это такие программные продукты как MicroStrategi 7 и, WebIntelligence, Cognos Powerplay, AlphaBlox тому подобное. Сделаем обзор указанных продуктов, основываясь на следующих критериях:
удобство пользования - программный продукт должен быть достаточно простым для пользователя, не имеющего специальной подготовки;
интерактивность - программное средство имеет реализовывать интерактивные возможности, в том числе: просмотр документов, динамическое обновление имеющихся документов, обеспечивает доступ к последней информации, динамическое выполнение запросов к источникам данных, динамическое неограниченное "углубление в данные";
функциональность - приложение должно обеспечивать такие же возможности, как и традиционные клиент / серверные аналоги;
доступность - информация должна быть доступной для любого устройства и рабочего места, а клиентская часть - быть небольшой, чтобы удовлетворить различным уровням пропускной способности сети пользователя и отвечать стандартизированной технологии;
архитектура - это критерий характеризует аспекты программной реализации продукта;
независимость от источников данных - приложение должно обеспечивать доступ к документам любого типа и предоставлять интерактивный доступ к реляционных и многомерных баз данных,
производительность и масштабируемость - для обеспечения производительности и масштабируемости приложения необходимо реализовать возможности универсального доступа к базам данных, возможность кэширования сервером данных и тому подобное;
обеспечение безопасности - аспекты администрирования приложений для предоставления различных прав доступа различным категориям пользователей;
стоимость внедрения и администрирования - стоимость внедрения продукта OLAP в расчете на одного пользователя должно быть существенно ниже, чем для традиционных продуктов.
MicroStrategi 7 и :-набор программных продуктов с широким диапазоном функций, построенный на унифицированной серверной архитектуре. Пользовательское среду реализовано в Мисго- Strategi Web Professional.
Пользователям предлагается ряд статистических, финансовых и математических функций для комплексного OLAP и реляционного анализа. Для всех пользователей предусмотрен доступ как к агрегированной, так и к детальной информации (на уровне транзакций). Можно выполнять новые вычисления, фильтровать данные отчета, вращать и добавлять промежуточные суммарные значения, оперативно менять содержание отчета.
Основные функциональные возможности достигаются за счет следующих средств:
MicroStrategi 7 и OLAP Services - интерфейс к продуктам "третьих" фирм;
технология Intelligent Cube - упрощает выполнение анализа и развертывания, предоставляя сводную информацию для быстрого просмотра в интерактивном режиме;
MicroStrategi Narrowcaster - дает пользователям возможность пересылать показатели или платить их через Web- интерфейс. Пользователи могут пересылать по электронной почте свои отчеты, планировать пересылки отчетов, публиковать их для рабочих групп и экспортировать в Excel, PDF или HTML-форматы.
В этом продукте обеспечивается кросплатформенных поддержка и интеграция, переносимость в Unix, поддержка серверов приложений "третьих" фирм.
В основе продукта лежит XML-архитектура. Пользователи могут интегрировать XML-код, созданный в MicroStrategi Web, в свои приложения, или форматировать его нужным образом.
Тонкий клиент, реализованный в формате HTML, устраняет проблемы совместимости с браузерами, разворачивается через все средства сетевой защиты. Вид и функции программы можно настроить под конкретные нужды. Можно встраивать MicroStrategi Web в другие приложения, работающие в сети.
Компьютеры, на которых работает MicroStrategi Web, можно объединять в кластеры, обеспечивает масштабируемость и надежность. Предусмотрено добавление дополнительного оборудования. если
случается сбой при выполнении задания, оно передается на другой компьютер с того самого кластера.
Данные защищены на уровне ячеек с использованием фильтров защиты и списков управления доступом. Безопасность Web-трафика обеспечивается технологией шифрования данных на транспортном уровне - SSL (Secire SocxeT Level - уровень защищенных сокетов).
WebIntelligence -Web-продукт для создания запросов, отчетов и анализа данных. Предоставляет пользователям сети (как Intranet, так и Extranet) защищенный доступ к данным для дальнейшего исследования их и управления ими. Он делает аналитические возможности доступными для различных категорий пользователей. Обеспечен широкий набор средств бизнес-анализа, в том числе создание сложных отчетов, выполнения вычислений, фильтрация, детализация и агрегирование.
Weblntelligence обеспечивает следующие возможности:
форматирования и печать отчетов в режиме визуального проектирования;
багатоблокови отчеты. В сложных отчетах для передачи исчерпывающей информации иногда необходимо разместить сразу несколько таблиц или диаграмм. Для этого в WebIntelligence предусмотрена возможность добавления нескольких блоков и диаграмм в один отчет;
возможности детализации данных в интерактивном режиме.
Продукт обеспечивает ряд функций:
доступ к данным, которые хранятся как в традиционных реляционных базах, так и на OLAP-сервере;
функции анализа данных;
возможность совместного использования информации. WebIntelligence является "тонким" клиентом, не требует установки и сопровождения программного обеспечения приложений или промежуточного программного обеспечения баз данных на клиентском месте. При установке клиентской части предусмотрена возможность выбора технологии. Обеспечивается развертывание на платформах Microsoft Windows и Unix.
С помощью WebIntelligence можно исследовать и анализировать различные OLAP-источников данных, а также совместно использовать OLAP и реляционные данные.
Продукт настраивается таким образом, чтобы в наибольшей степени соответствовать корпоративной структуре любого объекта.
WebIntelligence может выполняться как на одном сервере, так и на нескольких NT или Unix-машинах. Серверы можно добавлять в систему по мере необходимости, если случается сбой на одном из компонентов, автоматически используется другой. Взвешенное балансировки нагрузки между несколькими серверами оптимизирует системные ресурсы и гарантирует короткое время отклика.
Weblntelligence использует различные технологии защиты информации. При необходимости компоненты обозначаются с помощью технологии цифровых сертификатов. Для работы с различными системами сетевой защиты используется протокол передачи гипертекста.
Приложение имеет стандартный Web-интерфейс. Поддерживаются основные возможности (выборка данных с заданными измерениями и значениями, "углубление" в данные, вложенные перекрестные таблицы, вычисления, включение / отключение отображения строк, столбцов и графиков; фильтры, сортировка) для просмотра, исследования, отчетности и публикации OLAP-данных в интерактивном режиме.
Cognos Powerplay обеспечивает выполнение следующих функций: применение HTML / JavaScript, которое предоставляет универсальный доступ для пользователя, работающего с Netscape Navigator версии 3.0 и выше или Microsoft Internet Explover;
доступ к OLAP-данных любого пользователя объекта; создание и публикация ВРМ-отчетов (Business Performance Management - управление эффективностью бизнеса) в виде PDF- документов для Cognos Upfront портала, благодаря чему пользователи имеют доступ к самым важным корпоративных данных в среде Web;
преобразование данных из PDF-формата на динамические отчеты, их дальнейшее исследование и передачи результатов на Upfront;
сервер поддерживает работу с платформами: Windows NT, Windows 2000 и выше, SUN Solaris, HP / UX, IBM AIX.
Благодаря поддержке протокола SSL PoverPlay гарантирует защищенность данных, направляются через Web. Кроме того, задавая классы пользователей, системные администраторы могут контролировать доступ их как к локальным кубов, так и в оболочке Web- портала. Эти классы хранятся в специальном, доступном по протоколу LDAP (Light Directory Access Protocol - облегченный протокол доступа к сетевому каталогу), программном компоненте, который отвечает за централизованное управление безопасностью всей системы, а также за интеграцию с текущим защитой.
Использование HTML для реализации клиентских мест предусматривает функционирование сервера PoverPlay в защищенной среде. Тем самым обеспечивается безопасное развертывание приложений для клиентов, партнеров и поставщиков.
AlphaBlox - связующее программное обеспечение, которое предоставляет инструментарий и компоновочные блоки для работы в Web. Благодаря этому устраняются сложности, связанные с защитой сетевых соединений с базами данных, авторизацией и форматированием данных Аналитическая платформа AlphaBlox реализована на основе стандартизированной И2ЕЕ-совместимой архитектуры.
Продукты AlphaBlox спроектированы для проведения аналитических вычислений внутри и вне объекта.
Особый интерес представляют Java-компоненты (Виох). Из этих компонентов можно создать аналитический Web-приложение. Одна из трудоемким задач при создании Web-продукта OLAP - отражение и форматирование данных в браузере. Очень часто данные нужно показывать как таблицу или диаграммы. При создании программы с использованием AlphaBlox в него можно вставить любое количество таких Java-компонентов и настроить их для решения нужных задач путем задания определенных параметров апплетов, тем самым контролируя вид и функции компонентов. Этот программный продукт обеспечивает следующие возможности: доступ к информации - данные извлекаются из различных реляционных и многомерных баз данных;
запросы и анализ - компоненты выполняют простые и сложные запросы к различным источникам данных, при этом не требуется программирование на CQL;
представление - возможность представления данных в различных форматах (в виде отчетов, таблиц, диаграмм).
Java-компоненты имеют модульную структуру и могут использоваться многократно. их можно применять при реализации аналитических возможностей для множества бизнес-функций. Поскольку они управляются набором параметров, их свойства можно изменять с помощью текстового редактора. Это обеспечивает гибкость при разработке и модернизации аналитического решения. Компоненты можно настраивать для удовлетворения определенных бизнес-требований и повторно использовать, внедряя дополнительные приложения в других сферах деятельности. Разработчики приложений могут писать дополнительный код на JSP, JavaServlets или языке JavaScript.
AlphaBlox-решения используют сервисы, предоставляемые сервером приложений и средой Java Runtime Environment (JRE), любые Java-расширения или заказные расширения, разработанные для этой платформы.
Структура приложений AlphaBlox основывается на стандартах и допускает интеграцию с имеющимися операционными системами, транзакционные инфраструктурой, с традиционными системами. Обеспечивается пользовательский доступ к данным из различных источников и последующий анализ их.
AlphaBlox использует стандартные ресурсы и возможности сервера приложений, в том числе http-обработки / кэширования и управления памьятпо / процессами, а также интеграцию с Web-серверами. Кроме того, 12ЕЕ-совместимая архитектура устраняет лишнее обновления страниц и позволяет выполнять основную логику на сервере.
AlphaBlox использует ту же модель защиты, и сервер приложения, реализованную с помощью стандартных функций платформы J2EE. За счет этого устраняется необходимость в создании независимой модели механизма защиты.
Простота развертывания - одно из главных преимуществ Web- приложения. Это в полной мере касается приложений AlphaBlox. Однако для них требуются определенные версии браузеров и Java платформы, тогда как тонкий HTML-клиент работает в большинстве браузеров.
Оперативный анализ данных на базе технологии OLAP позволяет аналитикам, менеджерам и исполнителям вникнуть в данные, используя фиксированный, общий, интерактивный доступ к широкому разнообразие возможных форматов данных, которые были получены из необработанных данных, чтобы отразить реальное положение объекта в виде, понятном пользователям. Функциональность OLAP характеризуется динамичным многомерным анализом сводных данных объекта, необходимых для поддержки конечного пользователя аналитическими действиями, включая исчислением и моделированием, применимым к данным путем анализа тренда над последовательными интервалами времени, выполнения среза ггидмножины данных для просмотра на экране, изменения уровня детализации представления информации в более глубоких уровней обобщения и тому подобное.
OLAP-средства сосредоточены на обеспечении многомерного анализа информации. Для достижения этого используются многомерные модели хранения и представления данных. Данные организованы в кубах (или гиперкубах), определенных в многомерном пространстве, состоит из отдельных измерений. Каждое измерение включает множество уровней детализации. Типовые операции OLAP включают операции изменения уровня детализации представления информации (продвижение вверх и вниз по иерархии измерений), выбора определенных частей куба и переориентации многомерного представления данных на экране (получение сводной таблицы).
Для баз данных OLAP разработан эталонный тест АРВ-1 . Этот тест моделирует реальную ситуацию для серверного программного обеспечения OLAP. Стандарт определяет набор измерений, которые определяют логическую структуру. Логическая структура базы данных состоит из шести измерителей: время, сценарий, мера, продукт, заказчик и канал. Эталонный тест не предусматривает конкретной физической модели: входные данные обеспечиваются в формате файлов ASCII. Операции теста тщательно моделируют стандартные операции OLAP над большими объемами данных, которые последовательно загружаются из внутренних или внешних источников. Данные операции включают агрегацию информации, детализацию данных по иерархии, вычисления новых данных, основанных на бизнес-моделях и тому подобное.
Рассмотрены возможности технологии OLAP является основой организации и многомерного анализа мониторинговой информации. Рассмотрим этапы этого процесса.
Прежде чем загрузить информацию в многомерную базу данных мониторинга (ББД), ее следует извлечь из различных источников, очистить, превратить и консолидировать (рис. 1.3). В дальнейшем циЬ информацию надо периодически обновлять.
Рис. 1.3.
Извлечение данных - это процесс выборки данных из операционных баз данных и других источников. Анализ имеющихся источников информации показывает, что большая часть их представлена в виде табличных данных, полученных или в электронном или в печатном виде. Современные средства сканирования и распознавания изображений позволяют практически полностью автоматизировать этот этап подготовки данных.
Прежде чем заносить информацию в базу данных, обязательно нужно выполнить ее очистки. Обычно очистка предусматривает заполнение отсутствующих значений, корректировку опечаток и других допущенных при вводе данных ошибок, определение стандартных сокращений и форматов, замену синонимов стандартными идентификаторами и тому подобное. Данные, которые определяются как ложные и не могут быть исправлены, отбрасываются.
После очистки данных необходимо преобразовать всю полученную информацию в формат, который будет отвечать требованиям используемого программного продукта (OLAP-сервера). Процедура преобразования приобретает особую важность, когда необходимо объединить данные, поступившие из нескольких различных источников. Этот процесс называется консолидацией.
Этап загрузки информации в ББД заключается в создании необходимой структуры данных и заполнении ее информации, полученной на предыдущих этапах подготовки данных.
Извлечение информации из ББД позволяет осуществлять Microsoft SQL Server Analysis Services, которая является одновременно поставщиком как многомерных данных (multidimensional data provider), так и табличных данных (tabular data provider). Таким образом, выполнение запроса возвращает или многомерный набор данных, или обычную таблицу зависимости от используемого языка запросов. Analysis Services поддерживает как SQL, так и расширения MDX (multidimensional expressions).
SQL-запросы могут передаваться в Analysis Services, используя такие средства доступа к данным:
Microsoft OLE DB и OLE DB для OLAP;
Microsoft ActiveX Data Objects (ADO) и ActiveX Data Objects Multidimensional (ADO MD).
OLE DB для OLAP расширяет возможности OLE DB, включая объектами, специфическими для многомерных данных. ADO MD расширяет ADO аналогичным образом.
Microsoft SQL Server Analysis Services позволяет выполнять залить с MDX-расширениями, которые обеспечивают богатый и мощный синтаксис запросов для работы с многомерными данными, хранимыми OLAP-сервером в кубах. Analysis Services поддерживает функции MDX для определения вычисляемых полей, построения локальных кубов данных и выполнения запросов, используя компонент сводных таблиц (Pilot Table Services).
Возможно создание пользовательских функций, которые работают с многомерными данными. Взаимодействие с ними (передачи аргументов и возвращения результата) происходит с использованием синтаксиса MDX.
Analysis Services обеспечивает более 100 встроенных MDX- функций для определения сложных вычисляемых полей. Эти функции подразделяются на следующие категории: работа с массивами; работа с измерениями; работа с иерархиями; работа с уровнями иерархий; логические функции; работа с объектами; числовые функции; работа с наборами; работа со строками; работа с кортежами.
Возможно создание локальных кубов, предназначенных для просмотра на компьютерах, где установлен OLAP-сервера. Создание локальных кубов требует использования MDX-синтаксиса и проходит через компонент сводных таблиц (Pilot Table Services), который является OLE DB-клиентом OLAP-сервера. Этот компонент также делает автономную работу с локальными кубами при отсутствии соединения с OLAP-сервером, предоставляя интерфейс источника данных OLE DB. Для создания локальных кубов используют операторы CREATE CUBE и INSERT INTO.
Язык запросов MDX, которая является расширением SQL, позволяет осуществлять запросы кубов с данными и возвращать результат в виде многомерных наборов данных.
Так же, как и в обычном SQL, создатель MDX-запроса должен сначала определить структуру набора данных, возвращается. В большинстве случаев создатель MDX-запроса представляет себе возвращен набор данных в виде многомерных структур. В отличие от обычного SQL-запроса, который оперирует с таблицами для получения двухмерного набора записей, MDX-запрос имеет дело с кубами для формирования многомерного результативного набора данных. Следует отметить, что MDX-запрос может возвращать и двумерные наборы данных, которые являются частным случаем многомерного набора данных.
Визуализация многомерных наборов данных может быть достаточно тяжелой. Один из методов визуализации заключается в ограничении подачи плоской, двухмерной таблице, используя множество вложенных измерений вдоль одной оси. Такая вложенность приведет к появлению подзаголовков.
Pilot Table Services, входящая в состав Microsoft SQL Server Analysis Services, является OLAP-сервером, предназначенным для получения доступа к данным OLAP. Этот компонент функционирует как клиент Analysis Services.
Функции Pilot Table Services заключаются в анализе данных, построении кубов и в оптимальном управлении памятью. Компонент предоставляет интерфейс к многомерных данных. Возможно сохранение данных в локальном кубе на компьютере клиента и последующий анализ без подключения к OLAP-сервера. Pilot Table Services нужен для выполнения следующих задач:
установления соединения с OLAP-сервером как клиентским компонентом;
предоставление программам интерфейса OLE DB с OLAP- расширениями;
функционирование в качестве табличного источника данных, поддерживает подмножество SQL;
функционирование в качестве многомерного источника данных, поддерживает MDX-расширения;
создание локального куба данных;
функционирования в качестве мобильного настольного OLAP- клиента.
Компонент сводных таблиц может работать только с одним локальным разделом куба. Также в нем нет встроенной системы управления уровнями предоставления информации. Поэтому производительность Pilot Table Services прямо пропорциональна объему данных, к которым он адресуется.
Следует отметить, что OLAP-интерфейс прост и требует знаний не более, чем электронная таблица. OLAP позволяет использовать различные формы отчетов, интерфейс интерактивного анализа данных и возможность генерации печатных форм. Однако по сравнению с традиционными способами программирования и генерации пользовательских отчетов OLAP не только в сотни раз уменьшает расходы на программирование, но и меняет сам принцип работы пользователя с отчетом.
Отличие OLAP как инструмента генерации отчетов заключается в возможности автоматического и интерактивного выполнения таких операций с данными:
рекурсивного группировки данных; вычисления промежуточных итогов по подгруппам; вычисления окончательных итогов.
Команды на выполнение этих операций даются самим пользователем. В качестве элементов управления выступают разделы используемой таблицы. Когда пользователь изменяет форму отчета (например, перемещает столбики), система выполняет расчеты промежуточных итогов и отражает новый отчет.
Дополнительно пользователь может изменить сортировку и выполнить фильтрацию по произвольным сочетаниями данных, увидеть данные в процентном выражении, изменить масштаб и выполнить другие необходимые преобразования отчета (эти возможности не являются непременным атрибутом технологии OLAP, а зависят от конкретной реализации инструмента).
В результате пользователь может самостоятельно, интуитивно понятным ему способом из имеющегося набора данных сформировать все возможные для этого набора виды отчетов. Это помогает преодолеть извечный ограничения информационных систем, которое заключается в том, что мощность интерфейсов всегда ниже мощность базы данных.
Технология OLAP позволяет реализовать практически все возможные виды табличного изображения содержимого базы данных. Если продукт достаточно гибкий, то задачей программиста является описание семантического слоя (словаря), после чего квалифицированный пользователь может самостоятельно создавать новые кубы, оперируя терминами известной ему предметной сферы. Остальные пользователи могут формировать отчеты по каждому кубу.
Таким образом, технология OLAP служит как разработчикам, так и пользователям во всех тех случаях, когда нужно видеть информацию в форме табличных отчетов, в которых данные сгруппированы, а для групп вычислено итоговые показатели.
Опыт показывает, что недостаточно предоставить пользователям большой куб, состоящий из множества измерений и фактов. Это обусловлено следующими причинами.
Во-первых, в каждый момент пользователю нужен вполне определенный отчет.
Во-вторых, некоторые алгоритмы вычисления итогов описываются сложными формулами, а пользователь может не обладать достаточной квалификацией для их определения.
В-третьих, OLAP-отчет может иметь специфическую, заданную автором отчета методику расчета итогов, расположение измерений и начальных условий сортировки.
В-четвертых, во многих случаях понять данные проще, если смотреть не на таблицу с цифрами, а на диаграмму. Для настройки OLAP-диаграммы иногда нужно иметь неплохую пространственное воображение, поскольку куб с множеством измерений нужно отразить как набор фигур или линий в трехмерном рисунке. Количество свойств современных графических компонентов исчисляется тысячами, поэтому предварительное настройки диаграммы или графика для OLAP-отчета может занять много времени.
В-пятых, как и для любого другого отчета, для OLAP-отчета важно его эффектное оформление, включающее настройки заголовков и подписей, цветов и шрифтов.
Таким образом, для комфортной работы пользователя OLAP-отчет должен содержать определенный набор прикладных метаданных, описывающих алгоритмы агрегации, предварительные условия фильтрации и сортировки, заголовки и комментарии, правила визуального оформления.
При визуализация информации многомерного куба значимым фактором является упорядочение измерений согласно их сходством. Основная идея заключается в том, что измерения, которые характеризуют схожие параметры, располагаются рядом. Для определения подобных измерений применяют различные методы кластеризации, в частности, можно использовать эвристические алгоритмы.
Описанная информационно-аналитическая технология не является единственно возможной. Но все они развитием Business intelligence (ВИ), назначением которой является сбор, систематизация, анализ и представление информации. Выбор конкретной информационно-аналитической технологии остается за пользователем с учетом особенностей объекта предметной сферы.
Информационно-аналитическая система КПС «Мониторинг-Анализ» позволяет осуществлять контроль за процессом таможенного оформления в области номенклатуры, стоимости, веса оформляемых товаров, начисления таможенных платежей.
«Мониторинг-Анализ» реализует процесс интеграции для различных информационных источников (БД ГТД, БД ТП НСИ, БД ЕГРЮЛ, БД ЕГРН) и последующее использован накопленных (агрегированных) данных для формирования разных по форме отчетов и справок.
«Мониторинг-Анализ» выполняет следующие функции:
– обеспечение доступа к ЦБД ГТД, а также ЦБД таможенных приходных ордеров (ТПО);
– предоставление возможности создания и редактирования условий, ограничивающих выборку данных из ЦБД ГТД;
– наглядное отображение и вывод на печать информации отчетов;
– корректировку полученных отчетов в Microsoft Excel.
Информация о деятельности таможенных органов в области таможенного оформления ГТД в «Мониторинг-Анализ» представляется по разным критериям, в том числе:
– стоимости, весу и номенклатуре оформляемых товаров;
– начисленным платежам;
– стране происхождения и стране направления перемещаемых товаров;
– участникам таможенного оформления (таможенные органы, таможенные инспекторы, участники ВЭД);
– динамике процессов таможенного оформления.
«Мониторинг-Анализ» дает возможность получать как общие данные таможенного оформления товаров, так и детальную информацию по каждому из участников ВЭД, конкретному складу и таможенному инспектору.
Дополнительно «Мониторинг-Анализ» предоставляет возможность доступа (анализа и контроля) к процессам доставки товаров под таможенным контролем.
Мониторинг-Анализ» имеет ярко выраженную трехуровневую структуру. Пользователь (через Internet-проводник) посылает запрос на WWW-сервер. WWW-сервер передает запрос на СУБД ORACLE. СУБД обрабатывает запрос и возвращает WWW-серверу.
WWW-сервер в свою очередь преобразует полученные данные в HTML-страницу и возвращает результат пользователю. Поэтому все обновления программного обеспечения КПС «Мониторинг-Анализа» происходят на WWW-сервере и в СУБД ORACLE. Изменения в программном обеспечении соответственно становятся доступны пользователю.
– ЦБД ТПО – мониторинг процессов таможенного оформления ТПО по ЦБД ТПО;
– ЦБД ДКД – мониторинг процессов доставки товаров таможенным контролем (доступ к БД «Доставка-ЦБД»);
– Поиск в ЕГРН, ЕГРЮЛ - поиск информации о юридических лицах – участниках процессов таможенного оформления.
3. Общие сведения об ас адппр «Аналитика-2000
В базе данных ЕАИС ФТС России хранятся и обрабатываемые огромные объемы информации по различным аспектам таможенной деятельности, включая электронные копии грузовых таможенных деклараций (ГТД) и таможенных приходных ордеров (оформленных таможнями России, начиная с 1991 г.) Темпы роста объема БД в среднем составляют 600 тыс. записей в квартал (около 2,5 млн. в год). Этот массив данных содержит ценнейшую информацию о внешнеэкономической деятельности России.
Значительные объемы информации о внешнеэкономической деятельности России требуют наличия эффективных средств обработки для обеспечения процессов поддержки принятия решений по управлению таможенной деятельностью.
Первым шагом в создании полномасштабной системы поддержки принятия решений (СППР) корпоративного уровня стала обработка системы оперативного многомерного анализа данных электронных копий таможенных документов, которая обеспечивает новый уровень анализа данных и несопоставимые по сравнению статистическим анализом показателей производительности.
Системные целисоздания системы «Аналитика-2000»:
– сокращение времени и трудозатрат, необходимых для получения агрегированной информации;
– повышение производительности труда сотрудников ФТС;
– улучшение качества аналитических данных, выдаваемых по запросу вышестоящих организаций;
– предоставление возможности руководителям высшего и среднего звена, а также аналитикам ориентироваться в огромных объемах данных и выбирать информацию, необходимую для принятия решений;
– обеспечение графического представления данных.
В Украине уже создаются соответствующие информационно-аналитические структуры, которые разрабатывают собственные технологии обработки информации, но они действуют пока особняком, дробно, без координации и взаимодействия
. Информационно-аналитические технологии в сфере управления - это совокупность методов сбора и обработки информации о исследовательские процессы, специфические процессы диагностики, анализа и синтеза, а также оценки последствий принятия различных вариантов решений
Существуют различные варианты классификации информационно-аналитических технологий, но наиболее целесообразной, по мнению ученых и специалистов, является типологизация по четырем базовым признакам , приведена в табл 21
. Таблица 21 типологизации. ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ. ТЕХНОЛОГИЙ
|
Признаки для типологизации |
Типы технологий по соответствующим признакам |
Название типа технологии |
|
1 По методу сбора информации |
Массовые опросы (анкетирование респондентов) Специализированные опроса (интервьюирование экспертов) Опрос свидетелей или тестирования участников Контент-анализ материалов СМИ или официальных документов Совокупность всех способов сбора информации |
Респондента Экспертная Тестовая Фактографическая Много-родниковая |
|
2 По способу обработки информации |
Ручная (традиционный) обработка информации Автоматизированная обработка информации Автоматизированная обработка информации (без участия человека) |
Автоматизированная Автоматическая |
|
3 По степени приспособления к решению разнообразных задач |
Применяется при решении различных задач Широкое профиля Специализированная, которая реализует конкретную задачу |
Универсальная Гибкая Специализированная |
|
4 По степени совершенства технологии |
Какая реализует один технологический цикл Какая связывает между собой независимые технологические участки |
Единственная единственными |
Различают мониторинговые, инициированные и кумулятивные аналитические исследования . Мониторинговые исследования предназначены для долгосрочного аналитического наблюдения за развитием определенной ситуации с целью обеспечения возможности апр риорного синтеза управленческих решений, которые имеют профилактическое или предупреждающий характер. Технология особенно хорошо может быть разработана для мониторинговых исследований, так как в них достаточно четко регла аментуються отдельные этапы обработки информацииції.
. Инициированные аналитические исследования проводятся по ранее незапланированными поручениями руководства или в результате выявления при проведении мониторинговых исследований новых проблемных ситуаций. Инициированные ис ния будем рассматривать как отдельный вид исследований, акцентирует внимание на начальных стадиях новых ись.
. Кумулятивные исследования характеризуются высокими требованиями к оперативности их проведения (включая начало и завершение), применением специализированных методов обработки экспертной информации
Для всех видов исследования предусматривается проведение многостороннего анализа ситуации, изучаемого с учетом истории ее развития, результатов исследований подобных ситуаций, а также использованием широкого спектра адекватных теоретических подходов и эвристических проблем. Остановимся более подробно на каждом из перечисленных видев.
. Мониторинговые аналитические исследования как правило регламентируются этапами обработки информации, выбранной тематике и фиксированным набором источников. Главное здесь - суровая ориентация на конкретную постановку задачи, группу аналитиков и экспертов, с обеспечивают целенаправленную содержательную обработку информацииї.
. Мониторинг - непрерывное наблюдение за состоянием окружающей среды и управление им путем своевременного информирования о возможности наступления неблагоприятных, критических или недопустимых ситуаций
Мониторинговые исследования предусматривают получение статистических или содержательных показателей, характеризующих объект наблюдения и которые можно измерить. Система наблюдений строится на фиксации дискретных ных количественных характеристик объекта наблюдения, накоплении этих сведений и на возможности путем интеллектуальной интерпретации полученных сведений сделать выводы о качественном состоянии объекта. Мо ниторинг основывается на наблюдении типичных черт в поведении объектов наблюдения и на своевременной фиксации на их фоне различных отклонений от нормми.
. Информационно-аналитический мониторинг - вид информационной деятельности, связанный с процессами анализа, синтеза информации с применением методов моделирования, экспертного оценивания, диагностики и прогнозирования, реализуемых в режимах постоянного сбора информации из традиционных и нетрадиционных источников с целью регулярного информационного обеспечения пользователи.
Принимая во внимание, что в аналитических службах одновременно ведется несколько мониторинговых исследований, а источников информации может быть достаточно много, технологию организации ее сбора и аналитической обработки м можно представить поэтапной.
На первых этапах в аналитической службе осуществляют прием, регистрацию и первичную обработку информации, поступившей. Эти этапы, как правило, сочетаются с традиционным процессом приема корреспонденции с помо ощью средств автоматизации делопроизводства. Входящие документы регистрируются, в базу данных вводятся их основные характеристики, включая название и аннотацию. Важно, чтобы аннотация была содержательно ориентирована на т ематику исследований, проводимых аналитической служебнымбою.
Далее необходимо обеспечить привязку полных текстов документов, поступивших в электронном виде, в регистрационные данные и автоматически загрузить их в информационно-поисковую систему, позволяющую в дальнейшем оперативно найти необходимые фрагменты текстов документов не только по регистрационным данным, но и по содержанию. Для этого должны использоваться программно-технические средства, обеспечивающие в исокоякисний поиск информации, представленной в текстовом, графическом или в табличном виді.
Если документы поступают на бумажном носителе, то целесообразно превратить их в электронный вид с помощью сканера. В этом случае, распознавания текстов не обязательно - информация может храниться и и в факсимильном виде (при наличии запоминающих), поскольку процедура распознавания достаточно трудоемкая, а необходимость дальнейшего использования всего исходного материала в тексто ном формате не всегда очевидна сейчас на мировом рынке заслуженным вниманием пользуются системы поддержки факсимильной делопроизводства, которые предполагают применение достаточно нетрадиционных для украинской р инку программно-технических средствеів.
На следующем этапе аналитических исследований дополнительно оказывается тематическая или проблемная (с привязкой к конкретной задаче) ориентация информации, поступившей проводится ее распределение по соответствующим рубрикам. Как правило, эту работу выполняют вручную высококвалифицированные специалисты, которые являются опытными и даже участвуют в исследованиях. Она связана с содержательным осмыслением поступившей и определением необходимости ее использования в том или ином исследовании. Главное здесь - обеспечить максимальную полноту подборки информации по каждой решаемой в аналитической службе проблеме. Жесткая тематическая фильтрация информации недопустима. Каждый конечный пользователь, аналитик должен иметь возможность оперативно получать открытые информационные материалы, даже если на первых этапах они были отне сени к смежным для его интересов тематических и проблемных. Рубраубрик.
Поиск ответа на вопрос о высококачественной автоматизацию распределения (рубрикация) входной текстовой информации по тематическим и проблемных рубрикам продолжается уже не один десяток лет, однако относитель но украиноязычных полнотекстовых документов, по нашему мнению, решение еще не найдено. Есть теоретические и практические исследования, посвященные обеспечению высококачественного поиска полнотекстовых документов. В целом же аналитические материалы в процессе мониторинга готовят эксперты-аналитики. Однако и здесь значительное место, особенно на заключительном этапе, занимают диалоговые технологические средства редактирования и визуального графическим ного представления информации. Эти технологические компоненты используются в любом аналитическом исследовании и заслуживают отдельного рассмотрения }
