Sealbook

0xSero/turboquant

TurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels + vLLM integration

Licencia y mantenimiento

GPL-3.0 es una licencia copyleft: los productos que lo incluyan o modifiquen pueden tener que publicar su código.

Último cambio de código hace 46 días.