For the complete documentation index, see llms.txt. This page is also available as Markdown.

Рейтинг моделей

Рейтинги моделей служат для вспомогательного сравнения относительной производительности разных моделей и не должны использоваться как единственный вывод при выборе. Данные из Arena AI,ежедневно автоматически обновляются с помощью GitHub Actions.

При выборе модели также следует комплексно учитывать тип задачи, длину контекста, возможности мультимодальности и вызова инструментов, скорость, цену, региональную доступность и политику в отношении данных. Рейтинги и цены динамически меняются; пожалуйста, ориентируйтесь на указанное на странице время обновления и официальную информацию поставщика модели.

Каталог рейтингов

  • Рейтинг интеллектуальных агентов:Этот рейтинг оценивает совокупную эффективность моделей в многошаговом вызове инструментов / агентных задачах, охватывая такие показатели, как чистый коэффициент улучшения, коэффициент успешного подтверждения, соотношение лайков и дизлайков, управляемость, коэффициент восстановления Bash, коэффициент галлюцинаций инструментов и т. д.

  • Текстовый рейтинг:Этот рейтинг — главный текстовый баттл-рейтинг Arena AI, основанный на оценке относительной силы моделей по результатам слепых парных поединков, проводимых людьми.

  • Рейтинг поиска:Этот рейтинг оценивает производительность моделей в задачах веб-поиска / информационного поиска.

  • Визуальный рейтинг:Этот рейтинг оценивает производительность мультимодальных моделей в задачах понимания изображений.

  • Рейтинг кода / веб-разработки:Этот рейтинг оценивает реальную производительность моделей в задачах веб-фронтенд-разработки (HTML/CSS/JS).

  • Рейтинг генерации изображений по тексту:Этот рейтинг оценивает способность моделей text-to-image генерировать изображения по текстовым подсказкам.


💡 Получить помощь и отправить отзыв

Если у вас возникли какие-либо вопросы, баги или предложения по улучшению функций во время настройки или использования, пожалуйста, обратитесь к Отзывы и предложения официальным каналам, указанным в.

Последнее обновление

Это было полезно?