SSealbook

pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training (EMNLP 2024)

continual-pre-trainingexpert-partitionllamallmmixture-of-expertsmoe

Licencia y mantenimiento

Apache-2.0 es una licencia permisiva: uso comercial libre con atribución.

Último cambio de código hace 22 meses.