Почему ваш бизнес не готов к ИИ: проблема Data Pipelines

Пять симптомов того, что ваши данные не готовы

Диагностика занимает у нас два-три дня, но первичный скрининг CEO может сделать за один вечер. Если узнаете себя минимум в трех пунктах — любой AI-пилот на текущем фундаменте провалится:

• Одна и та же выручка в трех отчетах разная. 1С, CRM и Excel отдела продаж считают по своим правилам. Единой версии правды не существует, значит, модели нечему учиться.
• Ключевые данные живут в головах и личных файлах. «Все контакты у Марины в таблице» — это не хранилище данных, это единичная точка отказа компании.
• Ручной ввод без валидации. Менеджеры пишут телефоны в шести форматах, названия компаний — как попало. Дедупликация таких записей вручную съедает дни.
• Нет истории изменений. Цена изменилась — старая затерта. Для ML важна временная ось: что клиент видел, сколько стоило, когда. Без нее прогнозирование невозможно в принципе.
• Отчеты собираются вручную. Если аналитик тратит полдня на еженедельную сводку, вы платите зарплату за копипаст и получаете данные с опозданием на дни.
• Интеграции сделаны на коленке. Скрипты «у Вити на компьютере», которые падают молча. Данные неделями текут с пропусками, и никто не замечает.

Общий знаменатель всех пяти симптомов — данные не являются инженерным объектом: у них нет владельцев, контрактов и мониторинга. Пока это не исправлено, любая нейросеть будет лишь дорогим генератором правдоподобных цифр. Автоматизация рутины поверх такого фундамента дает экономию 70% операций только на бумаге — в реальности ошибки ввода просто ускоряются. Сначала порядок в данных, потом модели; обратный порядок мы не беремся реализовывать даже за большие бюджеты, потому что результат предсказуем.

Сколько стоит построение Data Pipeline и когда оно окупается?

Стоимость зависит от количества систем-источников и объема данных: связка из CRM, 1С и сайта с ETL-оркестрацией на Airflow — это проект от сотен тысяч рублей. Окупаемость считается честно: часы аналитиков, собирающих отчеты руками (обычно это 20-30% их рабочей недели), плюс деньги, замороженные из-за решений на искаженных цифрах, плюс стоимость ошибок ввода, которые валидация отсекает автоматически. На практике полный цикл внедрения AI-модели поверх готового хранилища сокращается с месяцев до недель, а MVP аналитического контура запускается за 4-6 недель. Дальнейшие AI-инициативы садятся на этот фундамент практически бесплатно.

Data Lake против Data Warehouse: что выбрать

Ошибка номер один на этом этапе — выбор архитектуры под влиянием моды. Data Warehouse — структурированное хранилище со строгой схемой: данные очищены, нормализованы, разложены по таблицам. Идеально для финансовой отчетности, BI-дашбордов и обучения предиктивных моделей. Быстро, дорого в изменении схемы, зато предсказуемо.

Data Lake — сырой склад всех данных во всех форматах: логи, JSON из мессенджеров, картинки, выгрузки. Гибко и дешево на входе, но без дисциплины превращается в data swamp — болото, где найти что-либо нельзя. Для RAG-систем и работы с документами нам нужен именно слой сырых данных; для аналитики и ML — витрины Warehouse. В enterprise-проектах мы почти всегда строим гибрид: озеро как приемник, хранилище как источник истины, ETL между ними.

Критерий выбора один: какие задачи вы решите в ближайший год, а не что рекомендуют в статьях. Мы фиксируем список целевых сценариев до проектирования схемы — это экономит месяцы переделок.

Отдельно про Data Governance — пункт, который технические команды пропускают чаще всего. Хранилище без назначенных владельцев данных деградирует за квартал: кто-то переименовал поле в CRM, кто-то начал заводить сделки задним числом, и пайплайн молча тащит искажения в отчеты. Поэтому вместе с архитектурой мы внедряем три регламента: кто владеет каждым источником, кто и как может менять структуру, что происходит при обнаружении аномалии. Это организационная работа, но именно она отличает актив от свалки.

Как быстро данные начнут работать после аудита?

Первый работающий пайплайн по одной бизнес-цепочке (например, «лиды из сайта + сделки из CRM») мы поднимаем за 4-6 недель вместе с базовой отчетностью. Дальше подключаем источники итерациями по одной-две неделе на систему: 1С, телефония, склад, реклама. Критично другое — параллельно идет работа с людьми: правила ввода данных и регламент владельцев источников. Без этого пайплайн будет исправно тащить мусор с той же скоростью, что и Excel раньше.

И еще одна цифра для планирования: после запуска хранилища внедрение первой ML-модели или RAG-ассистента занимает недели вместо месяцев, потому что этап сбора и очистки уже пройден. Именно поэтому компании с выстроенным Data Engineering масштабируют AI-инициативы в разы быстрее конкурентов: каждый новый проект стартует с середины пути.

Что делать с данными, которые существуют только на бумаге?

Три пути по убыванию стоимости. Первый — остановить бумажный поток: перевести процесс в цифровую форму до автоматизации чего-либо, часто это вопрос недель, а не проекта. Второй — разовая оцифровка архива: OCR с последующей ручной верификацией ключевых полей, имеет смысл только если исторические данные реально нужны моделям (для прогнозов — да, для операционки — чаще нет). Третий — начать с чистого листа: собирать данные с сегодняшнего дня, а модели запускать через несколько месяцев накопления истории. Мы честно говорим клиентам, когда третий путь дешевле первых двух.

Практический ориентир: если бумажных документов меньше нескольких тысяч в год, оцифровка архива почти всегда избыточна — история за 2-3 года, собранная в цифре, дает моделям достаточно материала. Если документов сотни тысяч и по ним идут споры и проверки, без OCR-проекта не обойтись, но закладывайте на верификацию распознанного столько же времени, сколько на само распознавание.