www.tehnosk.ru
 
Вход для клиентов
Имя
Пароль

Наши партнеры:

карта сайта
www.tehnosk.ru
сегодня:
24 июня 2017 года

Хранилища данных

  • Централизованная автоматизированная система управления эффективностью холдинга (CPM- Corporate Performance Management) на базе программного продукта "1С: Управление холдингом 8";
  • Автоматизированная система сопровождения и поддержки жизненного цикла программного обеспечения (Стандарты: ГОСТ 34.601-90 и ГОСТ Р ИСО/МЭК 12207-2010);
  • Система автоматизированного управления проектами и задачами при разработке автоматизированных систем на базе платформы Atlassian JIRA.
  •  

    Практически все разработчики реляционных баз данных,  используемых в автоматизированных информационных системах, придерживаются принципа обработки данных в режиме реального времени (OLTP – online transaction processing). Оперативные базы данных  содержат информацию в виде, максимально пригодном для совершения простых операций большими группами пользователей. Неудивительно, что в силу именно такой оптимизации они становятся совершенно непригодными для использования их  малым количеством людей, но со сложными запросами. К таким немногочисленным группам, запросы которых игнорировать никак нельзя, относится руководство крупных кампаний и обеспечивающие информационную поддержку принятия решений аналитики.

     

    Для получения сводных таблиц, синтетических отчетов, представлений о взаимозависимости и влиянии различных показателей бизнеса - из оперативной базы требуется «отжать» все лишнее и освободиться от 99,99% избыточной информации.  Чтобы получить, например, обобщенные показатели – какая группа клиентов совершает операции  определенного типа, или каким активом и на какой срок располагает кредитная организация (для планирования своих инвестиционных  операций), – для построения таких презентаций или «витрин» вовсе не требуется представлять банковскую клиентуру поименно (без чего немыслима работа фронт-офиса по розничному обслуживанию). Тем самым возникает необходимость построения НАДбазы, в которой содержались бы необходимые данные, сведенные воедино из всех филиалов, удаленных рабочих мест, а также по операциям, совершенных клиентами дистанционно. Причем обновление и поддержание актуального состояния такого суперхранилища данных должны отставать от реальных событий не слишком надолго – скажем не более чам на сутки, хотя в отдельных случаях требуется и более оперативное реагирование.  

    Кроме того, как известно, организации для осуществления своей деятельности пользуются различным программным обеспечением, часто имеющим абсолютно разную структуру, работающим на различных платформах (ORACLE, MS SQL, DB2 и т.д.). Понятно, что формат хранения одних и тех же таблиц будет у них различным, что не упрощает задачи сведения данных воедино. Но даже в случае однородности используемого программного обеспечения, различные пользователи вносят невообразимое разнообразие во вводимую информацию. Например, один и тот же адрес может храниться в базе как «2‑й Обыденский переулок», а может быть также внесен как «Второй Обыденский», либо как «Обыденский 2й». Кроме приведенных вариантов есть еще неисчерпаемый простор для опечаток и творческой фантазии операционистов.  Очевидно, что для поиска и фильтрации необходимых данных рассмотренные варианты не обязательно представляют одно и то же (хуже всего в этом «необязательно» - т.е. для каких то случаев может оказаться, что все-таки одно и то же).

    Разработчики хранилищ данных уже лет 20 как знакомы с этими проблемами. Обычно для их преодоления используется очистка данных по процедуре ETL (Extraction-Transformation-Loading), т.е. извлечение - преобразование – загрузка. К слову сказать, этот вид IT-деятельности относится скорее к искусству, чем к точным наукам, и требует от разработчиков высочайшего уровня подготовки.

     

    Предлагаемая Технос-К технология создания хранилища данных решает описанные проблемы следующим образом.

     

    На первом этапе происходит вычленение информации, необходимой для задач аналитики и отчетности, и выгрузка этих данных в строго структурированные файлы (при этом данные освобождаются от заведомо ненужных «подробностей», например вместо перегрузки однотипных повторяющихся справочных данных может передаваться всего лишь их идентификатор, занимающий,  как правило, не более байта). Загрузка в файлы необходима для приведения данных из баз, имеющих различное ядро, к одной структуре.

     

    На втором этапе с помощью SQL LOADER осуществляется загрузка данных из «сборных» файлов (возможно, полученных из разных оперативных систем) в единую промежуточную базу - без каких-либо дополнительных проверок. Данные из этого «слоя» не будут участвовать в формировании отчетности, они нужны для так называемого процесса послед-контроля.

       

    На третьем этапе осуществляется послед-контроль, т.е. верификация данных из различных источников, их взаимоконтроль (поверка на совместимость), и перенос программами преобразования в основное хранилище.  Программы преобразования, как следует из их названия, также отвечают за преобразование данных из общей структуры в структуры таблиц, удобных для быстрого извлечения данных.

     

    На последнем этапе происходит агрегация данных, т.е. сбор агрегированных данных по различным группам клиентов и финансовых инструментов. Таким образом, над слоем персонифицированных данных строится слой данных, не отягощенный избыточными подробностями и максимально пригодный для анализа.

     

    При необходимости всегда остается возможность обращения к слою персонифицированных данных  для получения детальных отчетов, если агрегированного отчета недостаточно или требуется его расшифровка.

     

     
      контактная
    информация

    119991, Москва,
    Ленинский проспект, д.53
    схема проезда

    телефон/факс:
    (499) 135-22-70,
    (499) 132-69-03,
    (495) 730-21-69 многоканальный

    e-mail:
    mail@tehnosk.ru

    отдел продаж:
    (495) 730-21-69 (многоканальный) sales@tehnosk.ru

    менеджер по персоналу:
    Москалев Вячеслав
    (499) 135-22-70, доб. 109 personal@tehnosk.ru


    Технос-К © 2017
    Рейтинг@Mail.ru Rambler's Top100 Rambler's Top100