Яндекс выложил в открытый доступ YaFF — формат передачи и чтения данных для высоконагруженных сервисов. Он позволяет работать с данными без обязательной распаковки и за счёт этого снижать нагрузку на серверы до 20%.
В современных цифровых сервисах данные постоянно передаются между системами или читаются из хранилищ в компактном виде. Перед использованием их обычно нужно преобразовать в понятный приложению формат. Этот процесс называется десериализацией и в крупных проектах может выполняться миллиарды раз в сутки.
По данным Яндекса, на таких операциях может расходоваться до 10% вычислительных ресурсов дата-центра. Для высоконагруженных систем это превращается в заметную статью расходов: компании фактически тратят часть серверных мощностей только на «распаковку» данных.
- YaFF решает эту проблему за счёт прямого чтения данных без обязательной десериализации. Формат можно использовать поверх стандартного Protobuf, поэтому компаниям не нужно полностью переписывать код сервиса, как при переходе на некоторые альтернативные форматы.
- Технология уже внедрена в рекомендательной системе Рекламы Яндекса. Там каждый из сотен тысяч запросов обрабатывает десятки тысяч объектов, а использование YaFF позволило снизить потребление вычислительных ресурсов на 10–20%.
- Для крупных цифровых платформ такой эффект означает возможность обслуживать больше запросов без расширения серверного парка или высвободить мощности для новых сервисов.
В Яндексе считают, что YaFF может быть полезен банкам, маркетплейсам, телеком-операторам, облачным провайдерам и другим компаниям, где критичны скорость обработки данных и эффективность использования инфраструктуры.
Код и документация YaFF опубликованы на GitHub, а подробный технический разбор — на Хабре.
Комментарии