SSealbook

weicj/vLLM-2080Ti-Definitive

The definitive vLLM runtime for dual RTX 2080 Ti 22GB + NVLink, delivering Qwen 27B local inference with maximum 200+ tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )

Licencia y mantenimiento

Apache-2.0 es una licencia permisiva: uso comercial libre con atribución.

Último cambio de código hace 18 días.