← 返回 Skills
v

vLLM

sdkby UC Berkeley⬇ 17777⭐ 4.1

高性能 LLM 推理引擎

查看源码 →
PagedAttention连续批处理OpenAI兼容API分布式推理

相关工具

O
OpenAI Python SDK
OpenAI 官方 Python SDK
A
Anthropic Python SDK
Anthropic 官方 Python SDK
G
Google AI Python SDK
Google Gemini API Python SDK
H
Hugging Face Transformers
最流行的 NLP/ML 模型库
O
ONNX Runtime
跨平台 ML 推理引擎
D
Databricks AI SDK
Databricks 开源 AI 工具，社区驱动开发