SSealbook

scrya-com/rotorquant

KV cache compression via block-diagonal rotation. Beats TurboQuant: better PPL (6.91 vs 7.07), 28% faster decode, 5.3x faster prefill, 44x fewer params. Drop-in llama.cpp integration.

Licencia y mantenimiento

Sin licencia indicada: por defecto nadie puede reutilizar el código. Pregunta a los autores antes de usarlo en un producto.

Último cambio de código hace 5 meses.

Proyectos similares