Выложили квантизованную в 4️⃣ бита модель DeepSeek-R1-0528!

✅ Качество при ризонинге сохраняется на 99,82% (среднее по AIME/GPTQ/MATH500).

🔊 DeepSeek-R1-0528 стал ещё более "болтливым" 🗣, поэтому для лучших результатов (как исходной, так и квантизованной модели) рекомендуется увеличить контекст до 65К токенов.

Модель на 🤗:
- ISTA-DASLab/DeepSeek-R1-0528-GPTQ-4b-128g-experts

КПД

Выложили квантизованную в 4️⃣ бита модель DeepSeek-R1-0528!

✅ Качество при ризонинге сохраняется на 99,82% (среднее по AIME/GPTQ/MATH500).

🔊 DeepSeek-R1-0528 стал ещё более "болтливым" 🗣, поэтому для лучших результатов (как исходной, так и квантизованной модели) рекомендуется увеличить контекст до 65К токенов.

Модель на 🤗:
- ISTA-DASLab/DeepSeek-R1-0528-GPTQ-4b-128g-experts

👍15🔥3

hottg.com/quant_prune_distill/492

2.49K viewsedited  Jun 2 at 15:50