karpathy/minbpe
Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
Licencia y mantenimiento
MIT es una licencia permisiva: uso comercial libre con atribución.
Último cambio de código hace 2 años.