vLLM

Name: vLLM
Author: vLLM Project

vLLM — сервер для быстрого запуска больших языковых моделей. Его основная идея — эффективно управлять памятью видеокарты при обработке множества одновременных запросов. Он переиспользует память под кэш внимания и объединяет похожие запросы в пакет, чтобы не простаивало оборудование. Это нужно, когда одну модель обслуживают несколько пользователей и важна пропускная способность. Типичный случай — внутренний сервис для команды, который отдаёт ответы по программному интерфейсу. Другой сценарий — нагрузочные проверки перед выбором конфигурации железа. Инструмент рассчитан на инженеров с опытом работы с видеокартами и контейнерами. На слабой машине смысла мало: для ощутимой пользы нужны подходящие ускорители и настройка параметров запуска.

3.0 оценка Цеха · уверенность 62.5/100

Вендор: vLLM Project · repo · docs

Репозиторий ↗

Оценка по осям

Значения по осям
Ось	Балл
Качество `AX-Q`	—
Применимость `AX-F`	54
Экономика `AX-C`	—
Скорость `AX-O`	—
Зрелость `AX-M`	50
Безопасность `AX-S`	50
Приватность `AX-P`	61
Прозрачность `AX-T`	65
Экосистема `AX-E`	72
Правовой риск `AX-L`	—

Оси, по которым нет данных, показаны как «—» и не участвуют в composite. Так честнее: лучше пропуск, чем ноль.

Заявлено и измерено

Заявлено вендором

«A high-throughput and memory-efficient inference and serving engine for LLMs»

Собственное описание проекта (источник: карточка репозитория, src_github_api). Это заявление, а не наше измерение.

Измерено нами

Измеренные значения
Звёзды GitHub	91791	GitHub REST API
Контрибьюторы (Libraries.io, независимо)	1359	Libraries.io API
Зависимых проектов	846	Libraries.io API
OpenSSF Scorecard	репозиторий не покрыт	OpenSSF Scorecard
Открытых уязвимостей (текущая версия)	0	OSV

Когда не подойдёт

Лицензия не определена явно — правовой статус требует проверки юристом (в том числе для коммерческого использования).