Хранилище данных и ETL: все системы в одном месте с обновлением по расписанию
Строим хранилище данных и ETL-конвейеры под ключ. Данные из BAS, CRM, касс, банков и рекламы каждый день попадают в одну базу, очищенные и согласованные. На этой основе работают отчёты, BI и модели ИИ.
Что болит
Данные разбросаны по десятку систем. BAS, CRM, касса, склад, банк, рекламные кабинеты. Чтобы ответить на простой вопрос о марже по каналу, аналитик неделю выгружает и склеивает файлы.
Отчёты строят прямо из рабочей базы учёта. Тяжёлый запрос тормозит BAS в рабочее время, и бухгалтерия жалуется. Историю изменений никто не хранит, поэтому сравнить с прошлым годом невозможно.
Скрипты выгрузки когда-то писал один разработчик. Он ушёл, документации нет. Когда что-то ломается ночью, утром все отчёты показывают нули, и никто не знает почему.
Что строим
- Аудит источников данных: что есть, как часто меняется, кто владелец
- Архитектура хранилища на PostgreSQL, BigQuery или ClickHouse под Ваш объём
- ETL-конвейеры из BAS, CRM, касс, банковских API и рекламных кабинетов
- Модели данных в dbt с тестами качества на каждом шаге
- Хранение истории изменений для сравнения период к периоду
- Расписание обновлений и повторные попытки при сбоях источника
- Мониторинг конвейеров с алертами в Telegram или Microsoft Teams
- Разграничение доступа и журнал, кто что читал
Что Вы получаете
- Рабочее хранилище данных в Вашем облаке или на Вашем сервере
- Код конвейеров и моделей dbt в Вашем репозитории
- Каталог данных: таблицы, поля, источники, владельцы
- Дашборд состояния конвейеров и настроенные алерты
- Runbook для типовых сбоев и обучение Вашей команды
Как измеряем результат
- Свежесть данных: сколько часов от события до хранилища
- Количество падений конвейеров в месяц и время восстановления
- Доля тестов качества данных, проходящих каждый день
- Время аналитика на подготовку типового отчёта
Системы и стек
Отрасли
Вопросы
Сколько стоит хранилище данных и ETL?
От $10 000. Цену определяют количество источников, наличие у них API, объём данных и требования к свежести. Ежедневное обновление из пяти систем дешевле, чем почти реальное время из двадцати. Фиксированную смету даём через 2-3 дня после discovery. Превышение по нашей вине доделываем за свой счёт.
Сколько длится проект?
От 6 до 12 недель. Первые источники подключаем и показываем данные уже на 2-3 неделе. Дальше добавляем системы по одной, чтобы каждая была проверена. Сроки чаще всего растягивают источники без API, с которыми приходится работать через файлы.
Работаете ли с BAS и украинскими сервисами?
Да. Подключаем BAS через OData или выгрузки, Checkbox, Poster, Новую Почту, API monobank и ПриватБанка, KeyCRM, SalesDrive, Rozetka и Prom. Для систем без API настраиваем обмен файлами по расписанию. Рабочую базу учёта не нагружаем в рабочее время.
Где хранятся данные?
Там, где Вы решите: в Вашем облачном аккаунте, на Вашем собственном сервере или на выделенном сервере в ЕС (Hetzner, Германия). Подписываем NDA и DPA, работаем по ISO/IEC 27001:2022. Доступы разграничены по ролям, чтение журналируется.
Какое хранилище выбрать?
PostgreSQL подходит большинству средних компаний и дёшев в обслуживании. BigQuery удобен, если уже есть Google Ads и GA4. ClickHouse выбираем для больших потоков событий. Рекомендацию даём после аудита объёмов, а не из любимого инструмента.
Кто ведёт хранилище после запуска?
Передаём код, каталог данных и runbook. Ваша команда может вести хранилище сама. Или берём его на SLA: мониторинг конвейеров, реакция на сбои источников, подключение новых систем. Изменения API у сторонних сервисов отслеживаем мы.
Связанные услуги
Другие услуги раздела
Опишите задачу. Ответим в течение рабочего дня, первый звонок с фаундером.
Опишите задачу. Первый звонок с фаундером.
Ответим в течение рабочего дня. 30 минут, чтобы сказать, стоит ли это делать и сколько это стоит.