SSealbook

jmaczan/tiny-vllm

Build your own high performance LLM inference engine in C++ and CUDA - a smaller version of vLLM

aiattentionbatchingcoursecppcudahpcinferencellmllm-inference

Licencia y mantenimiento

Apache-2.0 es una licencia permisiva: uso comercial libre con atribución.

Último cambio de código hace 25 días.