Ютубер sammyuri создал в Minecraft необычный проект — языковую модель CraftGPT, работающую исключительно на схемах из редстоуна.
В её конструкции используется более 438 млн блоков, а для запуска не потребовались ни моды, ни дата-паки.
VIDEO Характеристики модели получились такие:
5 млн параметров, примерно в 23 раза меньше модели GPT-1 и в 175 тыс. раз меньше модели GPT-3. словарь на 1920 слов, контекстное окно — 64 токена, обучена на датасете TinyChat (разговорные фразы на английском). Модель крайне медлительна: генерация одного ответа занимает около 2 часов даже с ускорением с помощью Minecraft High Performance Redstone (MCHPR) и увеличением тика сервера в 40 тыс. раз. В обычной версии Minecraft без ускорения на обычный ответ ушло бы больше 10 лет.
Качество работы тоже оставляет желать лучшего: CraftGPT часто делает грамматические ошибки, теряет тему диалога или выдаёт бессмысленный текст. Тем не менее, создание чего-то подобное в рамках логики игры удивляет.
Как отмечает автор, для запуска игрового мира требуется железо минимум с 32 ГБ ОЗУ (для загрузки сервера), но для стабильной работы автор советует не менее 64 ГБ. Код проекта, веса модели и инструкции по запуску опубликованы в GitHub-репозитории.
Комментарии