«Окраина» и «Призма Пик» перенесли аналитику из Excel в Yandex.DataLens

Представитель компании «Призма Пик» рассказал «Мясному Эксперту» об успешном проекте, который системный интегратор и разработчик программного обеспечения реализовал для мясоперерабатывающего завода «Богородский», более известного нашим читателям под брендом «Окраина».

Для успешного ведения бизнеса современной компании нужно обратить в свою пользу огромный и непрерывно меняющийся поток информации, полученной из разнообразных источников: от сотрудников, клиентов, поставщиков и даже от конкурентов. Все данные необходимо не просто найти, но и структурировать, обработать, сохранить, чтобы в дальнейшем использовать для поиска эффективных управленческих решений.

Недостатки старой методики

До недавних пор завод нанимал штат аналитиков, которые вручную находили и собирали необходимые сведения. При этом использовались четыре конфигурации на платформе 1С, онлайн-системы управления транспортной логистикой, Яндекс.Метрики для интернет-магазина, карты Яндекс.Погода и Яндекс.Пробки — для фирменной розницы.

Собрав все необходимые данные, аналитики приводили их в единообразную форму, а затем — снова вручную — заносили в Microsoft Excel, где автоматически создавались отчеты для принятия решений. В столь громоздкой и медленной системе обработки информации то и дело возникали ошибки. Из-за просчетов приходилось затрачивать дополнительное время, человеческие и вычислительные ресурсы.

Тем временем информационные системы эволюционировали. Появилось много новых форматов хранения и передачи данных, связанных со спецификой отраслевых решений. Объемы информации продолжали расти. Система аналитики, существовавшая на тот момент в «Окраине» перестала справляться с их переработкой.

Потребность в модернизации

Назрела необходимость сравнительного анализа маркетинговой информации для понимания и оценки эффективности промоакций и других PR-мероприятий, направленных на продвижение бренда. Для исследования рыночной ситуации требовалось расширять перечень источников и использовать новые форматы данных.

Чтобы повысить качество аналитики, команда «Окраины» стала подыскивать решение с высокой степенью автоматизации, способное оперативно обрабатывать непрерывно поступающие данные. Оно должно было не только легко справляться с огромными объемами информации, но и легко масштабироваться по мере нарастания потока. 

Были сформулированы дополнительные требования к системе: низкая стоимость ввода в эксплуатацию, доступность инструментов и удобство их использования. Более всего перечисленным критериям соответствуют облачные сервисы.

Разреженные данные переместили в облако

В начале 2020 года «Окраина» обратилась к стратегическому партнеру — системному интегратору «Призма Пик» — и предложила реализовать проект, соответствующий запросам заказчика. С февраля по август инженеры МПЗ «Богородский» обеспечивали специалистам компании «Призма Пик» доступ к ресурсам и подготовку источников данных, а те, в свою очередь, последовательно занимались разработкой и внедрением новой системы аналитики.

Почему команда выбрала Yandex.ClickHouse?

Первые три месяца посвятили тестированию и сравнению систем управления базами данных (СУБД) и BI-сервисов различных провайдеров. Затем проанализировали существующую систему отчетности, перестроили иерархию ключевых показателей и распределили источники данных по степени достоверности.

В фоновом режиме провели эксперименты по выгрузке данных из 1С в несколько СУБД и устраивали пробные просмотры BI-систем. Изучили потребности клиента в сторонних данных. Реализовали функции выгрузки языка описания (DDL) и данных в текстовом формате (CSV) для импорта в тестируемые системы управления базы данных: PostgreSQL, MySQL и MS SQL.

Промежуточные результаты проделанной работы были далеко не радужными. Во всяком случае производительность при прямом подключении источников данных к локальным СУБД оставляла желать лучшего.

Наконец, в апреле решили тестировать еще одно специализированное решение для обработки аналитических данных OLAP-СУБД — Yandex.ClickHouse. Постепенно подключали загрузку информации из всех доступных источников: нескольких конфигураций 1С, таблицы Excel, кассовой системы SET Retail на 3-4 БД PostgreSQL, покупаемых данных из магазинов, Яндекс.Метрики.

Когда эксперименты по загрузке данных в разных СУБД завершились, стал очевидным выбор в пользу системы Yandex.ClickHouse. Оказалось, что она идеально подходит для импорта необходимой информации из 1С и целого ряда других источников с разнородной структурой данных, потому что не требует их преобразования.

Как и аналогичные системы того же класса, 1C эволюционно развивается не первое десятилетие. Таблицы ее справочников часто включают сотни полей с разреженными данными, где некоторые ячейки включают пустое значение (NULL). Недостаток универсальных СУБД при работе с 1C заключается в том, что на обработку подобных таблиц затрачивается гораздо больше времени и ресурсов, чем требовалось. В отличие от них, Yandex.ClickHouse показала высокую производительность при работе с большими таблицами, имеющими плоскую структуру (а они часто встречаются при большом наборе источников данных!).

В частности, многократно ускорился процесс обработки сторонних данных о продажах в торговых сетях. Если раньше при объеме блока 500 МБ он занимал до двух недель, то теперь он оказывается в базе данных за считанные минуты после получения. И, что особенно важно, с этими данными сразу можно было работать, получая любые выборки и проекции.

Еще одно важное достоинство ClickHouse: при построении аналитических запросов, основанное на полученных данных, она ожидаемо выдавала специализированное решение гораздо быстрее, чем другие СУБД.

Чем привлекателен Yandex.DataLens?

После тестирования выяснилось, что для визуализации аналитических данных больше всего подходит сервис Yandex.DataLens. Во-первых, существует бесплатная версия этого инструмента для первичных экспериментов. Во вторых, он не требует установки дополнительного программного обеспечения на компьютеры пользователей. К тому же Yandex.DataLens прост в освоении и одинаково подходит как для офисного, так и для удаленного режима работы.

Выгодное сочетание

Серия экспериментов, проведенных специалистами компании «Призма Пик», показала, что связка Clickhouse и DataLens — это очень выигрышное сочетание для производственной аналитики.

Какие качества системы оно обеспечивает, спросите вы. Суммируем.

• Быструю обработку разреженных данных, типичных для систем 1C;

• высокую скорость импорта больших объемов данных через открытый формат CSV;

• разнородные данные из внешних файлов обрабатываются и становятся доступны гораздо быстрее;

• пользователи получают возможность самостоятельно создавать и настраивать отчеты;

• единая платформа позволяет внедрять методологию и культуру хранения исторических данных.

Подготовительный этап к созданию новой аналитической системы для «Окраины» завершился разработкой промо-версии с использованием актуальной информации о продажах, ближайших планах компании, показателях работы интернет-магазина и купленных данных торговых сетей. Она была готова в мае — и «Призма Пик» тут же представила проект на утверждение заказчику.

Построение новой системы

Самым интенсивным периодом стало лето. Одновременно с разработкой новой системы аналитики специалисты «Призмы Пик» разворачивали существующую инфраструктуру в Yandex.Cloud, переводили в облачные сервисы часть разработки под 1С и продолжали экспериментировать с данными в 1С.

Стратегические партнеры создали рабочую группу из руководителей нескольких подразделений завода, в том числе отделов продаж и маркетинга, фирменной розничной сети и интернет-магазина. Группа занялась разработкой сбора и импорта данных, которые раньше существовали только в виде таблиц Microsoft Excel.

Сотрудники «Окраины» и «Призмы Пик» обсуждали форматы представления данных и совместно создавали чарты с обобщенными данными. Добавили к промо-версии обмен данными с СУБД PostgreSQL, которую использует кассовая система SET.

В июле к деятельности подключились экономисты и производственники. К тому моменту у команды уже сформировалась обратная связь с  разработчиками 1С, потому что процесс сбора данных сопровождается аудитом и оптимизацией работы уже существующих систем.

Следующим шагом к воплощению замысла стало составление документации по развертыванию системы, налаживанию механизмов и регламента взаимодействия компонентов. Были собраны дополнительные данные, на основе которых строится раздел с фильтрами для их анализа в разных проекциях, интересующих заказчика.

В августе были решены задачи отдела продаж, фирменной розницы, интернет-магазина, маркетологов, экономистов и производственников и сформулированы задачи для разработчиков 1С. Необходимо было подготовить специфические данные, которые никогда раньше не использовались в системе анализа.

В процессе освоения системы завершили тонкую настройку в ClickHouse и DataLens. Обучили пользователей базовым навыкам редактирования дашбордов и чартов. После первых аналитических сессий перешли к практическому применению отчетов в деятельности компании. Значительная часть работы пришлась на период самоизоляции, когда преимущества облачной аналитики перед ручной обработкой данных стали особенно наглядными.

На финальном этапе были сделаны специализированные дашборды. Экономисты получили отчеты по себестоимости подготовки сырья и основной продукции. Транспортный отдел получил аналитику по маршрутам и затратам на топливо, а производства — по последним стадиям реализации продуктов.

Решение готово к тиражированию

Систему автоматического сбора данных и сквозной аналитики из всех доступных источников построили на основе сервиса Yandex.DataLens. Такой подход обеспечил создание дашбордов с широкими возможностями настроек и фильтров для каждого подразделения ООО «МПЗ „Богородский”». Все они используют данные системы для оперативных совещаний и подготовки отчетов.

Высокая производительность Yandex.ClickHouse вывела аналитику на новый уровень углубленного анализа деятельности компании, ранее недоступный из-за медленной обработки информации и ограниченных возможностей устаревшей системы.

Удобство и легкость настройки DataLens сделали дашборды доступным инструментом для руководителей подразделений, тем самым снизив нагрузку на IT-службу «Окраины». Сейчас аналитику используют более 20 человек — в основном это менеджмент ООО «МПЗ „Богородский”». В рамках концепции бережливого производства к облачным сервисам планируется подключить не менее 100 пользователей. «Призма Пик» интегрирует в систему сервисы Яндекс.Погода, Яндекс.Пробки и другие полезные для бизнеса ресурсы.

Высокая масштабируемость облачных сервисов повышает оперативность предоставления данных, глубину аналитики и расширяет спектр применения новых алгоритмов. Получив положительный опыт их использования, «Призма Пик» рассматривает варианты размещения серверов в онлайн-хранилищах и переход на вычислительные мощности Yandex.Cloud ресурсоемких систем оперативного управления предприятием

Успешное внедрение аналитической системы нового поколения на «Окраине» провоцируют интерес к подобным разработкам со стороны других мясоперерабатывающих компаний. Значит, такие технологии востребованы на рынке и нужен удобный механизм их тиражирования. Первично он будет апробирован в территориальных подразделениях ООО «МПЗ „Богородский”». Для этого планируется создать модуль выгрузки данных з типовых решений 1С и собственных разработок в ClickHouse. «Коробочным» продуктом станет преднастроенная база данных ClickHouse и набор дашбордов в DataLens.