llama.cpp

llama.cpp — движок для запуска языковых моделей на обычном оборудовании. Он написан так, чтобы работать без тяжёлых зависимостей и использовать центральный процессор, а при наличии — и ускорение на видеокарте. Ключевая идея — квантизация: веса модели сжимаются с небольшой потерей качества, поэтому модель помещается в память слабой машины. Это нужно, когда нет доступа к производительному серверу, но важна автономность. Типичные случаи — локальный ассистент на ноутбуке, встраивание модели в приложение или эксперименты с разными весами. Инструмент рассчитан на технических пользователей: придётся собирать проект или работать с готовыми сборками, подбирать формат модели и параметры запуска.

Вендор: ggml-org · repo · docs

Репозиторий ↗