LiteLLM

Name: LiteLLM
Author: BerriAI

LiteLLM — шлюз, который приводит разные модели к одному программному интерфейсу. Вместо отдельного клиента под каждого провайдера приложение обращается к единой точке, а шлюз сам направляет запрос нужной модели. Здесь же можно вести учёт ключей и расходов, задавать лимиты и повторять неудачные вызовы. Это нужно, когда в проекте несколько моделей и хочется менять их без правки кода. Другой сценарий — централизованный контроль доступа к моделям внутри компании. Подойдёт разработчикам, которые строят общий слой доступа к ИИ для нескольких сервисов. Понадобится настроить маршрутизацию и разобраться с различиями провайдеров, которые шлюз сглаживает лишь частично.

2.5 оценка Цеха · уверенность 62.5/100

Вендор: BerriAI · repo · docs

Репозиторий ↗

Оценка по осям

Значения по осям
Ось	Балл
Качество `AX-Q`	—
Применимость `AX-F`	49
Экономика `AX-C`	—
Скорость `AX-O`	—
Зрелость `AX-M`	52
Безопасность `AX-S`	47
Приватность `AX-P`	40
Прозрачность `AX-T`	50
Экосистема `AX-E`	64
Правовой риск `AX-L`	—

Оси, по которым нет данных, показаны как «—» и не участвуют в composite. Так честнее: лучше пропуск, чем ноль.

Заявлено и измерено

Заявлено вендором

«The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]»

Собственное описание проекта (источник: карточка репозитория, src_github_api). Это заявление, а не наше измерение.

Измерено нами

Измеренные значения
Звёзды GitHub	58756	GitHub REST API
Контрибьюторы (Libraries.io, независимо)	3157	Libraries.io API
Зависимых проектов	3997	Libraries.io API
OpenSSF Scorecard	5.7	OpenSSF Scorecard
Открытых уязвимостей (текущая версия)	0	OSV

Когда не подойдёт

Лицензия не определена явно — правовой статус требует проверки юристом (в том числе для коммерческого использования).