Российский девелопер разработал гибридную платформу для управления большими данными

Структура и функционал традиционных хранилищ сочетается с технологией озер данных для оптимизации их загрузки, обработки, очистки и описания. Аналитическая платформа обеспечивает кросс-системную интеграцию данных более чем из 170 различных мастер-систем и источников.

Технологический стек платформы включает в себя множество разных компонентов и сервисов: Kubernetes, Kafka, Debezium, MiniO S3, ClickHouse, Airflow, PostgreSQL, DataHub, ML Flow, Jupiter Hub и других.

Внедрение искусственного интеллекта и проектов машинного обучения позволило добавить в стек компоненты для обслуживания потребностей data science. Платформа развернута и работает на серверной инфраструктуре в собственном дата-центре ее разработчика — группы «Самолет».