> ## Content Index
> Fetch the complete content index at: https://admin.kod.ru/llms.txt
> Use this file to discover other available public pages before exploring further.

# Учёные из Tinkoff Research создали самый эффективный алгоритм для обучения и адаптации ИИ
- URL: https://admin.kod.ru/tinkoff-research-rebrac-ai/
- Published: 2023-12-21T12:02:31.000Z
- Updated: 2023-12-22T08:45:03.000Z
- Description: Он обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов.
- Author: Кирилл Сергеев
- Tags: Новости

Новый метод получил название ReBRAC (Revisited Behavior Regularized Actor Critic, что переводится как «пересмотренный актор-критик с контролируемым поведением»), сообщили «Коду Дурова» в Тинькофф.

Сообщается, что он обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением, адаптируя его к новым условиям на ходу.

![](https://admin.kod.ru/content/images/2023/12/Screen_Pxmtr2.jpeg)

> Выше — визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта почти в половине испытаний.

В Тинькофф отмечают, что ReBRAC может поспособствовать преодолению технологического и цифрового разрыва между разными странами, так как более эффективные алгоритмы требуют меньше вычислительных ресурсов.

[Результаты исследования](https://arxiv.org/abs/2305.09836?ref=admin.kod.ru) были представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), которая прошла с 10 по 16 декабря в Новом Орлеане (США). Тем самым они были признаны мировым научным сообществом.

Говоря о сути открытия, в Tinkoff Research отмечают четыре компонента, которые хоть и были представлены в алгоритмах последних лет, однако считались второстепенными и не подвергались детальному анализу. В их числе глубина нейросетей, регуляризация актора и критика, увеличение эффективного горизонта планирования, а также использование нормализации слоев.

Учёные из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественник BRAC (Behavior Regularized Actor Critic — «актор-критик с контролируемым поведением»), провели исследование и выяснили, что их правильная совокупность даёт даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день.

В Тинькофф подчеркнули, что в 2023 году рецензенты NeurIPS получили на рассмотрение свыше 13 тысяч статей от учёных со всего мира, из которых только 3,5 тысячи были отобраны для представления на конференции — в их числе сразу четыре научные статьи Tinkoff Research.

Помимо ReBRAC, учёные представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. В Тинькофф добавили, что эти статьи уже цитируются ведущими исследовательскими лабораториями со всего мира, в том числе Стэнфордским университетом, Калифорнийским университетом в Беркли и научно-исследовательской лабораторией Google DeepMind.