Oct 06, 2026 • 12:42

Яндекс открыл исходный код движка потоковой обработки данных YTsaurus Flow

Oct 06, 2026 • 12:42

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →

Яндекс выложил в открытый доступ YTsaurus Flow — движок для потоковой обработки данных. Об этом компания рассказала на Хабре.

Обычно события вроде кликов, показов и заказов сначала накапливают и обрабатывают пакетами. Flow обрабатывает их по мере поступления и хранит состояние между событиями. По умолчанию движок учитывает каждое сообщение ровно один раз, без потерь и дублей, в том числе при сбоях оборудования. Там, где важнее сэкономить ресурсы, эту гарантию можно ослабить.

Пример топологии графа пайплайна в веб‑интерфейсе YTsaurus

Flow разработали команды Yandex Infrastructure и «Яндекс Рекламы» для рекомендательных систем. По данным Яндекса, в «Рекламе» данные для дообучения моделей подбора объявлений раньше доходили до модели за десяток часов, после перехода на Flow — примерно за два. Движок, по словам компании, обрабатывает больше 100 ГБ данных в секунду, а ещё его используют «Маркет» и антифрод-системы.

Flow входит в YTsaurus — платформу для хранения и обработки больших данных, которую Яндекс выложил на GitHub в марте 2023 года. Движок работает с её хранилищем, очередями и транзакциями. В июне Яндекс также открыл код формата данных YaFF.

Код распространяется под лицензией Apache 2.0, которая допускает коммерческое использование. Среди существующих движков такого типа разработчики называют Apache Flink, Kafka Streams и Spark Structured Streaming.