Построение корпоративных систем хранения данных (DWH ‑ data warehouse)
Накопление и надежное хранение данных – основа для аналитических систем и залог успешного развития бизнеса.
Корпоративное хранилище данных (DWH) – технология построения систем, надежно хранящих исторические данные для использования в аналитических системах.
Узнать большеКакие задачи решает корпоративное хранилище данных (DWH)
- Хранение данных в одном месте;
- Сбор и преобразование данных из различных источников;
- Надежность хранения исторических данных.
- Предоставление данных для различных аналитических систем и систем искусственного интеллекта.
Технологии построения
В зависимости от объема данных, скорости их поступления, требований по скорости выдачи данных DWH могут строится на различных технологиях. Мы гибко подходим к вопросам построения, не имеет смысла использовать «дорогие» технологии для построения DWH c сравнительно небольшим объемом данных.
В некоторых случаях вполне можно обойтись и реляционной СУБД PostgreSQL. Мы ориентированы на OpenSourse решения, хотя в зависимости от требований могут быть использованы и продукты, включенные в реестр российского ПО, которые в абсолютном большинстве платные. Исключение, пожалуй, составляют только продукты от Arenadata, которые имеют Comunbity Edition релизы в несколько урезанном виде.
Решение может быть построено как в облаке, так и on-premise.
Варианты платформ
Вариант построения на OpenSource ПО
Решение содержит все слои DWH:
RAWR – слой сырых, неочищенных данных
RODS – слой операционных, минимально очищенных данных
RРDDS – слой детальных данных
RDM – витрины данных, подготовленные для использования в системах потребителях
Внедрение DWH c КСК ТЕХНОЛОГИИ
Анализ требований к системе
Оценим кол-во систем сбора информации, подготовим техническое задание, сделаем наглядный прототип будущего DWH.
Внедрение DWH
Проведем полный цикл мероприятий по внедрению и настройке выбранной системы по согласованному ТЗ, протестируем и обучим сотрудников.
Подбор платформы на основании проведенного анализа
Выберем основные технологии для построения DWH: ETL, СУБД. Проведем пилот на ваших данных и оценим стоимость и сроки проекта внедрения.
Продажа лицензий
Подберем для вас технологию с открытым кодом (не требующих платного лицензирования) или поможем купить лицензию для построения DWH без дополнительного договора с вендором.
Поддержка системы
Сопроводим готовую систему на протяжении всего жизненного цикла, проведем мелкие доработки и исправим возникшие проблемы.