S5-nano выходит в GGUF с лучшими бразильскими результатами

S5-nano, модель Maritaca AI на четыре миллиарда параметров, показывает лучшие оценки в бразильских бенчмарках среди моделей своего размера, сохраняя при этом поддержку вызова инструментов и структурированного вывода. Сборки GGUF открывают модели путь к пользователям llama.cpp для локального запуска. — huggingface.co

GGUF-кванты Emma-6 приносят итальянскую модель в llama.cpp

Неофициальная конвертация упаковывает италоязычную Emma-6 от Egomnia, модель примерно на 1,5 миллиарда параметров, в квантования GGUF для локального инференса через llama.cpp. — huggingface.co

Qwen3.8 Flash в GGUF работает на треть быстрее

Комьюнити-сборка GGUF для Qwen3.8-Flash-Next убирает экспертов из каждого слоя, чтобы модель поместилась на ПК со скромной видеокартой. Декодирование идёт примерно на треть быстрее, чем в эталонной сборке unsloth, а качество японского текста при этом улучшается. — huggingface.co

Файн-тюн LFM3 добавляет цепочки рассуждений в код

Комьюнити-файн-тюн LoRA для LFM3-1.7B от LiquidAI, обученный на семидесяти примерах с высоким уровнем рассуждений, направляет малую модель на стиль «сначала подумай, потом ответь» в написании кода. Веса распространяются в форматах MLX и GGUF. — huggingface.co

Kitchoon 26B MoE GGUF рассчитан на ролевые сценарии

Финальный релиз Kitchoon поставляет квантования GGUF, настроенные на ролевую игру. В них встроена LoRA Anthropos v3, которая убирает шаблонные обороты и стимулирует более разнообразные ответы. — huggingface.co

Больше по этой теме