Сховище даних і ETL: усі системи в одному місці з оновленням за розкладом
Будуємо сховище даних і ETL-конвеєри під ключ. Дані з BAS, CRM, кас, банків і реклами щодня потрапляють в одну базу, очищені й узгоджені. На цій основі працюють звіти, BI і моделі ШІ.
Що болить
Дані розкидані по десятку систем. BAS, CRM, каса, склад, банк, рекламні кабінети. Щоб відповісти на просте питання про маржу по каналу, аналітик тиждень вивантажує і склеює файли.
Звіти будують прямо з робочої бази обліку. Важкий запит гальмує BAS у робочий час, і бухгалтерія скаржиться. Історію змін ніхто не зберігає, тож порівняти з минулим роком неможливо.
Скрипти вивантаження писав колись один розробник. Він пішов, документації немає. Коли щось ламається вночі, вранці всі звіти показують нулі, і ніхто не знає чому.
Що будуємо
- Аудит джерел даних: що є, як часто змінюється, хто власник
- Архітектура сховища на PostgreSQL, BigQuery або ClickHouse під Ваш обсяг
- ETL-конвеєри з BAS, CRM, кас, банківських API і рекламних кабінетів
- Моделі даних у dbt з тестами якості на кожному кроці
- Збереження історії змін для порівнянь період до періоду
- Розклад оновлень і повторні спроби при збоях джерела
- Моніторинг конвеєрів з алертами в Telegram або Microsoft Teams
- Розмежування доступу і журнал, хто що читав
Що Ви отримуєте
- Робоче сховище даних у Вашій хмарі або на Вашому сервері
- Код конвеєрів і моделей dbt у Вашому репозиторії
- Каталог даних: таблиці, поля, джерела, власники
- Дашборд стану конвеєрів і налаштовані алерти
- Runbook для типових збоїв і навчання Вашої команди
Як міряємо результат
- Свіжість даних: скільки годин від події до сховища
- Кількість падінь конвеєрів за місяць і час відновлення
- Частка тестів якості даних, що проходять щодня
- Час аналітика на підготовку типового звіту
Системи і стек
Галузі
Питання
Скільки коштує сховище даних і ETL?
Від $10 000. Ціну визначають кількість джерел, наявність у них API, обсяг даних і вимоги до свіжості. Щоденне оновлення з п’яти систем дешевше, ніж майже реальний час з двадцяти. Фіксований кошторис даємо за 2-3 дні після discovery. Перевищення з нашої вини доробляємо власним коштом.
Скільки триває проєкт?
Від 6 до 12 тижнів. Перші джерела підключаємо і показуємо дані вже на 2-3 тижні. Далі додаємо системи по одній, щоб кожна була перевірена. Терміни найчастіше розтягують джерела без API, з якими доводиться працювати через файли.
Чи працюєте з BAS і українськими сервісами?
Так. Підключаємо BAS через OData або вивантаження, Checkbox, Poster, Нову Пошту, API monobank і ПриватБанку, KeyCRM, SalesDrive, Rozetka і Prom. Для систем без API налаштовуємо обмін файлами за розкладом. Робочу базу обліку не навантажуємо в робочий час.
Де зберігаються дані?
Там, де Ви вирішите: у Вашому хмарному акаунті, на Вашому власному сервері або на виділеному сервері в ЄС (Hetzner, Німеччина). Підписуємо NDA і DPA, працюємо за ISO/IEC 27001:2022. Доступи розмежовані за ролями, читання журналюється.
Яке сховище обрати?
PostgreSQL підходить для більшості середніх компаній і дешевий в обслуговуванні. BigQuery зручний, якщо вже є Google Ads і GA4. ClickHouse обираємо для великих потоків подій. Рекомендацію даємо після аудиту обсягів, а не з улюбленого інструменту.
Хто веде сховище після запуску?
Передаємо код, каталог даних і runbook. Ваша команда може вести сховище сама. Або беремо його на SLA: моніторинг конвеєрів, реакція на збої джерел, підключення нових систем. Зміни API у сторонніх сервісах відстежуємо ми.
Пов’язані послуги
Інші послуги розділу
Опишіть задачу. Відповімо протягом робочого дня, перший дзвінок з фаундером.
Опишіть задачу. Перший дзвінок з фаундером.
Відповімо протягом робочого дня. 30 хвилин, щоб сказати, чи варто це робити і скільки це коштує.