Единая шина данных для интеграции высоконагруженных систем на базе

Единая шина данных для интеграции высоконагруженных систем на базе

Для чего продукт нужен?

Шина данных DataHUB предназначена для интеграции различных информационных систем,
включая те, которые основаны на платформе 1С. Она обеспечивает возможность взаимодействия и обмена данными между различными приложениями и модулями,
такими как 1С: ERP, интернет-сайты, CRM-системы,
системы управления транспортными и складскими процессами (TMS, WMS),
микросервисы, системы контроля и управления доступом (СКУД) и
многие другие.
Шина данных DataHUB обеспечивает гладкую интеграцию и эффективный
обмен информацией между различными системами, что повышает
эффективность и улучшает бизнес-процессы организации.

Для каких задач предназначен?

  • Когда надо быстро передавать данные.
    Например, не более 3 минут на передачу информации.
    Бизнес процессы в компании выстраиваются таким образом, что Документы или Справочники создаваемые/редактируемые в одной базе, оперативно требуются в другой базе. Обмен в стандартном обмене 1С происходит по расписанию, поэтому полный цикл обмена может занимать от 5 минут и более. Это время увеличивается, если количество изменений (передаваемых объектов) велико, т.к. в стандартном обмене данные передаются последовательно, а при ошибке передачи (такие тоже технически могут возникать, они заложены в алгоритм обмена) цикл начинается заново.
  • Когда передаются большие объемы информации.
    Цикл обмена не успевает завершиться до следующего по расписанию момента запуска. В течении рабочего дня, количество данных, которое необходимо передавать в другую базу, распределено неравномерно. Пики могут быть утром, в середине дня, или вечером. При таких пиках цикл обмена может растягиваться настолько, что не успевает завершиться до следующего по расписанию момента запуска, это означает, что необходимо планировать переход на шину данных, и отказ от «стандартных» обменов.
  • Когда в обмене задействовано много информационных систем.
    Если в компании много отделов, и их функциональные потребности не умещаются в одной информационной базе.
    WMS-ЕРП-БП-ЗУП. Чтобы данные передавались не по цепочке из одной базы в другую, а сразу передавались во все целевые базы, уменьшая таким образом общую нагрузку на сервера, и увеличивая оперативность обменов.
    По соображениям архитектуры существует большое количество региональных баз, данные из которых должны передаваться в головной офис. Например, множество торговых точек данные из которых должны передаваться в управленческую БД. Шина позволит организовать обмен более эффективно, снизив пиковую нагрузку на головную базу.
  • Когда обмениваться приходится с продуктами за пределами экосистемы 1С.
    Различные производственные системы, WMS, TMS-системы, СКУД, Интернет-сайты
  • Когда между региональными центрами слабые каналы связи.
    За счет передачи информации по шине малыми порциями, можно добиться более стабильных обменов данными по слабым каналам связи, тогда как обмен по другим технологиям будет требовать длительные этапы передачи данных, и как следствие большую вероятность сбоев.
  • Когда нужно снизить нагрузку на серверы и повысить отказоустойчивость.
    В алгоритмах «стандартных» обменов 1С заложен практически линейный рост потребления ресурсов при возрастании объемов передаваемых за один цикл обмена. Это значит, что для передачи большого количества элементов у сервера может банально не хватить памяти, и обмен встанет. (например групповой обработкой изменили справочник Номенклатура или Контрагенты, который содержит тысячи элементов, и все эти изменения надо передать через обмен).

При каких условиях удобно
переходить на наше решение

  • Обмен работает медленно и скорости передачи стандартных обменов 1С не устраивают
  • Требования к скорости передачи данных — не более 5 минут на передачу данных между базами
  • Большое количество передаваемых документов и справочников — более 100 элементов в час
  • Если в вашей учетной экосистеме больше трех баз, например 1С: ERP, WMS (управление складом), 1С: ЗУП
  • Нехватка ресурсов на сервере приводит к частым ошибка при синхронизации через стандартный обмен 1С

Суть решения и архитектура

Обмен данными по шине происходит в виде сообщений. Каждая система, подключенная
к шине может принимать и отправлять сообщения в формате json или xml через адаптер или напрямую.
Адаптер, как и сама шина, имеет возможность обрабатывать множество одновременных
соединений и работать в многопоточном режиме.

Схема передачи данных по шине

Преимущества

  • Наше решение было рождено в результате многолетнего опыта разработки и интеграций, и впитало все сильные стороны других решений.
  • Интеграция с любыми конфигурациями 1С на платформе 8.3 и 8.2
  • Обмен с системами не на 1С. Подключение по стандарту AMQP
  • Без ограничения на количество интегрируемых систем
  • Многопоточность
  • Гарантированная доставка сообщений
  • Контроль ссылочной целостности
  • Поддержка работы с внешними ссылками (ссылки на сущности в разных базах могут отличаться, и поля поиска не нужны)
  • Возможность переноса обработчиков вместе с конфигурацией 1С (необходимо для организации нескольких контуров разработки: dev, test, prod)
  • Возможность сохранения ссылок на предопределенные элементы 1С (необходимо для организации нескольких контуров разработки: dev, test, prod)
  • Логирование и мониторинг стандартными средствами такими как Zabbix, Prometheus и тд.
  • Обработчики сообщений для 1С пишутся на языке 1С

Техническая информация\техтребования

  • Интеграция с информационными системами на базе 1С

    В конфигурацию 1С по технологии поставки встраивается подсистема, не затрагивая другие объекты конфигурации.
    Для взаимодействия с объектами конфигурации используются подписки на события.
    Для получения сообщений из шины публикуется Rest-сервис из 1С.
  • Как формируются исходящие сообщения на стороне 1С

    1. В момент записи документа или справочника срабатывает подписка на это событие, выполняется простой без блокировок код, который не влияет на работу пользователей, записывает ссылку на измененный объект в регистр на очередь к обработке. Происходит регистрация объекта.
    2. Сразу после регистрация объекта, а не по расписанию, запускается отдельный процесс для формирования сообщений обмена (если объектов несколько, запускаются несколько потоков). Для каждого зарегистрированного объекта соответствующий обработчик формирует структуру для выгрузки, которая затем сериализуется (преобразуется) в сообщения обмена и записываются в очередь для отправки.
    3. При попадании сообщений в очередь для отправки, запускаются потоки отправки сообщений через адаптер в шину.
  • Как происходит передача сообщений через шину

    Входящие в шину сообщения попадают в точку обмена, откуда передаются в очереди, соответствующие системам-приемникам. Маршрутизация сообщений происходит в соответствии с ключом маршрутизации, переданным с сообщением. Адаптер при соединении с шиной подписывается на события получения новых сообщений в очереди, и, как только они там появляются, пересылает их в систему-приемник.
  • Как происходит обработка входящих сообщений

    Полученные из адаптера по rest-сервису сообщения записываются в очередь входящих сообщений и сразу же стартуют потоки для их обработки.


Стоимость

Тариф
Базовая
Стандарт
ULTIMATE
Цена
200 000 ₽
250 000  ₽
500 000 ₽
Доступ к обновлениям и технической поддержке
6 месяцев
1 год
Количество потоков обмена
1
многопоточный
многопоточный
Максимальное количество подключений к адаптеру (количество баз)
5
10
50
Подсистема для конфигураций 1С 8.2
Возможность переноса обработчиков вместе с конфигурацией 1С
Возможность сохранения ссылок на предопределенные элементы 1С


Техническая поддержка

  • Стоимость технической поддержки на год 30 000 ₽
  • Базовая настройка, и подключение баз 1С к шине (выполняется 1 раз после покупки)
  • Доступ к регулярным обновлениям
  • Помощь в решении технических проблем
  • Разработка и тестирование обработчиков интеграции (оплачивается отдельно)

Немного о нашей компании

Кристина Барбина — основатель компании
Я занимаюсь разработкой в 1С с 2007 года, это те далекие времена, когда мобильные телефоны еще были кнопочными, а скачать 1С дистрибутив можно было только с CD диска ИТС :-)
Я наверное как и большинство разработчиков увлекалась программированием со школы, и писала на разных языках, например мой диплом в ВУЗе написан на C#, а сейчас сочетаю разработку на 1С и Java. За время своей карьеры я поработала во многих компаниях, размером от 3−5 человек до нескольких тысяч, занимающихся и финансовым консалтингом, и промышленным производством, и разработкой собственного ПО. Занималась как внутренней автоматизацией, так и проектной деятельностью.

Оставить заявку

Наш сотрудник свяжется с вами в удобное для вас время

Мы помогаем делать ваш бизнес эффективней

Наша команда всегда готова прейти вам на помощь при любых сложностях.

Шина данных это мощный инструмент помогающий развитию и росту вашего бизнеса.

DataHUB это не просто партнерство, а тесные сотрудничество на долгие годы. Мы всегда готовы погрузиться в нюансы именно вашей компании.