jmaczan/tiny-vllm
Build your own high performance LLM inference engine in C++ and CUDA - a smaller version of vLLM
Licencia y mantenimiento
Apache-2.0 es una licencia permisiva: uso comercial libre con atribución.
Último cambio de código hace 25 días.