«Окраина» и «Призма Пик» перенесли аналитику из Excel в Yandex.DataLens - Мясной эксперт
Независимый портал
для специалистов мясной индустрии
подписаться Вход / регистрация Войти

«Окраина» и «Призма Пик» перенесли аналитику из Excel в Yandex.DataLens

logo

Представитель компании «Призма Пик» рассказал «Мясному Эксперту» об успешном проекте, который системный интегратор и разработчик программного обеспечения реализовал для мясоперерабатывающего завода «Богородский», более известного нашим читателям под брендом «Окраина».

Для успешного ведения бизнеса современной компании нужно обратить в свою пользу огромный и непрерывно меняющийся поток информации, полученной из разнообразных источников: от сотрудников, клиентов, поставщиков и даже от конкурентов. Все данные необходимо не просто найти, но и структурировать, обработать, сохранить, чтобы в дальнейшем использовать для поиска эффективных управленческих решений.

Недостатки старой методики

До недавних пор завод нанимал штат аналитиков, которые вручную находили и собирали необходимые сведения. При этом использовались четыре конфигурации на платформе 1С, онлайн-системы управления транспортной логистикой, Яндекс.Метрики для интернет-магазина, карты Яндекс.Погода и Яндекс.Пробки — для фирменной розницы.

Собрав все необходимые данные, аналитики приводили их в единообразную форму, а затем — снова вручную — заносили в Microsoft Excel, где автоматически создавались отчеты для принятия решений. В столь громоздкой и медленной системе обработки информации то и дело возникали ошибки. Из-за просчетов приходилось затрачивать дополнительное время, человеческие и вычислительные ресурсы.

Тем временем информационные системы эволюционировали. Появилось много новых форматов хранения и передачи данных, связанных со спецификой отраслевых решений. Объемы информации продолжали расти. Система аналитики, существовавшая на тот момент в «Окраине» перестала справляться с их переработкой.

Потребность в модернизации

Назрела необходимость сравнительного анализа маркетинговой информации для понимания и оценки эффективности промоакций и других PR-мероприятий, направленных на продвижение бренда. Для исследования рыночной ситуации требовалось расширять перечень источников и использовать новые форматы данных.

Чтобы повысить качество аналитики, команда «Окраины» стала подыскивать решение с высокой степенью автоматизации, способное оперативно обрабатывать непрерывно поступающие данные. Оно должно было не только легко справляться с огромными объемами информации, но и легко масштабироваться по мере нарастания потока. 

Были сформулированы дополнительные требования к системе: низкая стоимость ввода в эксплуатацию, доступность инструментов и удобство их использования. Более всего перечисленным критериям соответствуют облачные сервисы.

Разреженные данные переместили в облако

В начале 2020 года «Окраина» обратилась к стратегическому партнеру — системному интегратору «Призма Пик» — и предложила реализовать проект, соответствующий запросам заказчика. С февраля по август инженеры МПЗ «Богородский» обеспечивали специалистам компании «Призма Пик» доступ к ресурсам и подготовку источников данных, а те, в свою очередь, последовательно занимались разработкой и внедрением новой системы аналитики.

Почему команда выбрала Yandex.ClickHouse?

Первые три месяца посвятили тестированию и сравнению систем управления базами данных (СУБД) и BI-сервисов различных провайдеров. Затем проанализировали существующую систему отчетности, перестроили иерархию ключевых показателей и распределили источники данных по степени достоверности.

В фоновом режиме провели эксперименты по выгрузке данных из 1С в несколько СУБД и устраивали пробные просмотры BI-систем. Изучили потребности клиента в сторонних данных. Реализовали функции выгрузки языка описания (DDL) и данных в текстовом формате (CSV) для импорта в тестируемые системы управления базы данных: PostgreSQL, MySQL и MS SQL.

Промежуточные результаты проделанной работы были далеко не радужными. Во всяком случае производительность при прямом подключении источников данных к локальным СУБД оставляла желать лучшего.

Наконец, в апреле решили тестировать еще одно специализированное решение для обработки аналитических данных OLAP-СУБД — Yandex.ClickHouse. Постепенно подключали загрузку информации из всех доступных источников: нескольких конфигураций 1С, таблицы Excel, кассовой системы SET Retail на 3-4 БД PostgreSQL, покупаемых данных из магазинов, Яндекс.Метрики.

Когда эксперименты по загрузке данных в разных СУБД завершились, стал очевидным выбор в пользу системы Yandex.ClickHouse. Оказалось, что она идеально подходит для импорта необходимой информации из 1С и целого ряда других источников с разнородной структурой данных, потому что не требует их преобразования.

Как и аналогичные системы того же класса, 1C эволюционно развивается не первое десятилетие. Таблицы ее справочников часто включают сотни полей с разреженными данными, где некоторые ячейки включают пустое значение (NULL). Недостаток универсальных СУБД при работе с 1C заключается в том, что на обработку подобных таблиц затрачивается гораздо больше времени и ресурсов, чем требовалось. В отличие от них, Yandex.ClickHouse показала высокую производительность при работе с большими таблицами, имеющими плоскую структуру (а они часто встречаются при большом наборе источников данных!).

В частности, многократно ускорился процесс обработки сторонних данных о продажах в торговых сетях. Если раньше при объеме блока 500 МБ он занимал до двух недель, то теперь он оказывается в базе данных за считанные минуты после получения. И, что особенно важно, с этими данными сразу можно было работать, получая любые выборки и проекции.

Еще одно важное достоинство ClickHouse: при построении аналитических запросов, основанное на полученных данных, она ожидаемо выдавала специализированное решение гораздо быстрее, чем другие СУБД.

Чем привлекателен Yandex.DataLens?

Реклама
ПрофиБио

После тестирования выяснилось, что для визуализации аналитических данных больше всего подходит сервис Yandex.DataLens. Во-первых, существует бесплатная версия этого инструмента для первичных экспериментов. Во вторых, он не требует установки дополнительного программного обеспечения на компьютеры пользователей. К тому же Yandex.DataLens прост в освоении и одинаково подходит как для офисного, так и для удаленного режима работы.

Выгодное сочетание

Серия экспериментов, проведенных специалистами компании «Призма Пик», показала, что связка Clickhouse и DataLens — это очень выигрышное сочетание для производственной аналитики.

Какие качества системы оно обеспечивает, спросите вы. Суммируем.

  • Быструю обработку разреженных данных, типичных для систем 1C;

  • высокую скорость импорта больших объемов данных через открытый формат CSV;

  • разнородные данные из внешних файлов обрабатываются и становятся доступны гораздо быстрее;

  • пользователи получают возможность самостоятельно создавать и настраивать отчеты;

  • единая платформа позволяет внедрять методологию и культуру хранения исторических данных.

Подготовительный этап к созданию новой аналитической системы для «Окраины» завершился разработкой промо-версии с использованием актуальной информации о продажах, ближайших планах компании, показателях работы интернет-магазина и купленных данных торговых сетей. Она была готова в мае — и «Призма Пик» тут же представила проект на утверждение заказчику.

Построение новой системы

Самым интенсивным периодом стало лето. Одновременно с разработкой новой системы аналитики специалисты «Призмы Пик» разворачивали существующую инфраструктуру в Yandex.Cloud, переводили в облачные сервисы часть разработки под 1С и продолжали экспериментировать с данными в 1С.

Стратегические партнеры создали рабочую группу из руководителей нескольких подразделений завода, в том числе отделов продаж и маркетинга, фирменной розничной сети и интернет-магазина. Группа занялась разработкой сбора и импорта данных, которые раньше существовали только в виде таблиц Microsoft Excel.

Сотрудники «Окраины» и «Призмы Пик» обсуждали форматы представления данных и совместно создавали чарты с обобщенными данными. Добавили к промо-версии обмен данными с СУБД PostgreSQL, которую использует кассовая система SET.

В июле к деятельности подключились экономисты и производственники. К тому моменту у команды уже сформировалась обратная связь с  разработчиками 1С, потому что процесс сбора данных сопровождается аудитом и оптимизацией работы уже существующих систем.

Следующим шагом к воплощению замысла стало составление документации по развертыванию системы, налаживанию механизмов и регламента взаимодействия компонентов. Были собраны дополнительные данные, на основе которых строится раздел с фильтрами для их анализа в разных проекциях, интересующих заказчика.

В августе были решены задачи отдела продаж, фирменной розницы, интернет-магазина, маркетологов, экономистов и производственников и сформулированы задачи для разработчиков 1С. Необходимо было подготовить специфические данные, которые никогда раньше не использовались в системе анализа.

В процессе освоения системы завершили тонкую настройку в ClickHouse и DataLens. Обучили пользователей базовым навыкам редактирования дашбордов и чартов. После первых аналитических сессий перешли к практическому применению отчетов в деятельности компании. Значительная часть работы пришлась на период самоизоляции, когда преимущества облачной аналитики перед ручной обработкой данных стали особенно наглядными.

На финальном этапе были сделаны специализированные дашборды. Экономисты получили отчеты по себестоимости подготовки сырья и основной продукции. Транспортный отдел получил аналитику по маршрутам и затратам на топливо, а производства — по последним стадиям реализации продуктов.

Решение готово к тиражированию

Систему автоматического сбора данных и сквозной аналитики из всех доступных источников построили на основе сервиса Yandex.DataLens. Такой подход обеспечил создание дашбордов с широкими возможностями настроек и фильтров для каждого подразделения ООО «МПЗ „Богородский”». Все они используют данные системы для оперативных совещаний и подготовки отчетов.

Высокая производительность Yandex.ClickHouse вывела аналитику на новый уровень углубленного анализа деятельности компании, ранее недоступный из-за медленной обработки информации и ограниченных возможностей устаревшей системы.

Удобство и легкость настройки DataLens сделали дашборды доступным инструментом для руководителей подразделений, тем самым снизив нагрузку на IT-службу «Окраины». Сейчас аналитику используют более 20 человек — в основном это менеджмент ООО «МПЗ „Богородский”». В рамках концепции бережливого производства к облачным сервисам планируется подключить не менее 100 пользователей. «Призма Пик» интегрирует в систему сервисы Яндекс.Погода, Яндекс.Пробки и другие полезные для бизнеса ресурсы.

Высокая масштабируемость облачных сервисов повышает оперативность предоставления данных, глубину аналитики и расширяет спектр применения новых алгоритмов. Получив положительный опыт их использования, «Призма Пик» рассматривает варианты размещения серверов в онлайн-хранилищах и переход на вычислительные мощности Yandex.Cloud ресурсоемких систем оперативного управления предприятием

Успешное внедрение аналитической системы нового поколения на «Окраине» провоцируют интерес к подобным разработкам со стороны других мясоперерабатывающих компаний. Значит, такие технологии востребованы на рынке и нужен удобный механизм их тиражирования. Первично он будет апробирован в территориальных подразделениях ООО «МПЗ „Богородский”». Для этого планируется создать модуль выгрузки данных з типовых решений 1С и собственных разработок в ClickHouse. «Коробочным» продуктом станет преднастроенная база данных ClickHouse и набор дашбордов в DataLens.

3085
Реклама
Крист
Реклама
Термо
Реклама
Крист
Реклама
Термо
Комментарии

Кстати, Продолжается регистрация на цикл бесплатных вебинаров «Автоматизация пищевой промышленности» от Призма Пик.

Подробнее: https://meat-expert.ru/news/8311-prodolzhaetsya-registratsiya-na-tsikl-vebinarov-avtomatizatsiya-pishchevoy-promyshlennosti

Основное рубилово в комментариях развернулось в Фейсбуке : https://www.facebook.com/MeatExpert/posts/1790933907724825

Реклама
Аромадон
Реклама
Крист
Реклама
АтлантисПак
Инновационная автоматизация JO-BEX-MAN для формовки без проблем
Инновационная автоматизация JO-BEX-MAN для формовки без проблем
27 марта ‘24 413
Обзор новостей и событий мясопереработки и животноводства за 12-ю неделю (18–24 марта 2024 г.)
Обзор новостей и событий мясопереработки и животноводства за 12-ю неделю (18–24 марта 2024 г.)
25 марта ‘24 663
Итоги 2023 года: рост производства колбасных изделий восстанавливается
Итоги 2023 года: рост производства колбасных изделий восстанавливается
22 марта ‘24 1051 1
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 3
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 3
20 марта ‘24 1038
Обзор новостей и событий мясопереработки и животноводства за 11-ю неделю (11–17 марта 2024 г.)
Обзор новостей и событий мясопереработки и животноводства за 11-ю неделю (11–17 марта 2024 г.)
18 марта ‘24 1396
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 2
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 2
13 марта ‘24 1644
Обзор новостей и событий мясопереработки и животноводства за 10-ю неделю (4–10 марта 2024 г.)
Обзор новостей и событий мясопереработки и животноводства за 10-ю неделю (4–10 марта 2024 г.)
11 марта ‘24 1870
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 1
Самые заметные события 2023 года в мясной и смежных отраслях экономики. Часть 1
06 марта ‘24 2305
Обзор новостей и событий мясопереработки и животноводства за 9-ю неделю (26 февраля – 3 марта 2024 г.)
Обзор новостей и событий мясопереработки и животноводства за 9-ю неделю (26 февраля – 3 марта 2024 г.)
04 марта ‘24 2327
Реклама
Моневак
Реклама
Моневак
Реклама
Централ Фуд Трейд
Реклама
foodsafetymarket
Блоги — Читаемое
все блоги

  erid:2RanykqRCiC  Приезжайте на конференцию "ПИЩЕВКА 3D: ВМЯСО”  в Сочи, где «Мясной Эксперт» традиционно будет среди спикеров!  В...

Мир должен голодать? Секретные планы под эгидой ООН. Расследование от телеканала Звезда. Мясные продукты для избранных (богатых), а...

Журналисты при помощи экспертов отрасли разобрались, что такое микробиальная трангслютаминаза и с чем ее едят потребители. Получилось...

Очень интересный канал китайской девушки из одной деревни. Давно на нее подписан. Очень интересные видео. В этом она делает китайские...

Когда друг едет через всю Москву к тебе в деревню за сотню верст, чтобы лично подарить тебе микроскоп о котором ты мечтал. Надо встречать...

Реклама
СтилТэкс
Кровоподтеки в панированных крылышках

Приветствую всех. Возникла следующая неприятная ситуация на производстве. В готовом продукте...

15
Nonconformist
Nonconformist
Категории и сорта колбас, если помимо мяса есть мясо птицы.

Добрый день. Столкнулась с необходимостью рассчитать категорию рецептуры вареной колбасы....

6
Добавки в фарш ММО (разваливается на пару)

Ув.Форумчане, почему-то другие ветки закрыты для меня, нужна Ваша помощь в применении добавок к...

7
DiplomatTM
DiplomatTM
150 крыльев в минуту? Сегментаторы крыла. Что за оборудование?

Вопрос к @Andrew Sapozhnikoff Андрей, вот у нас на портале появилась новость про цех...

3
Главный технолог
Главный технолог
Переработка филе грудки кур с дефектом "подвар"

Привет, всем. Недавно, анализируя предоставленные видео с китайского птицеперерабатывающего...

4
Денис Дубовой
Денис Дубовой
Крупнокусковые полуфабрикаты из говядины: мясо бугаев

      Можно ли при производстве крупнокусковых полуфабрикатов из говядины использовать мясо...

1
Елена НИК
Елена НИК
Реклама
Митиндастри


Подписаться на новости
Спасибо за подписку!
Спасибо за подписку!
Вход в Личный Кабинет

Регистрация