cpaua·2 дн тому1 хв12

Як локально запускати 3–10 паралельних інстансів Gemma 4

Gemma 4 Локальні LLM Паралельний інференс MacBook Pro Опенсорс від Google

Що потрібно, щоб локально запускати 3, 5 або навіть 10 паралельних інстансів Gemma 4?

Google виклали в google-gemma/cookbookgoogle-gemma/cookbook/tree/main/apps/concurrent демо, яке дає змогу запускати кілька моделей пліч-о-пліч на вашому залізі.

Gemma 4 26B A4B без проблем тягне 10+ паралельних запитів на MacBook Pro M4 Max зі швидкістю 18 токенів за секунду на кожен запит.

Поділитися:

Автор

cpaua

Адміністратор блогу VibeCode. Пишу про vibe coding, AI та open source.

Коментарі

Щоб залишити коментар, увійдіть або зареєструйтеся

Завантаження...

Схожі статті

Alibaba випустила Qwen3.6-35B-A3B: MoE, мультимодальність і GGUF

Нова MoE-модель Qwen3.6-35B-A3B (35B/3B активних) обганяє Qwen3.5 у кодингу та vision-language, доступна в GGUF для локального запуску.

Gemopus-4-26B-A4B-it GGUF: квантизована Gemma 4 на даних Opus

На Hugging Face з’явилась Gemopus — квантизована Gemma 4, донавчена на Opus. Працює в LM Studio, Ollama, GPT4All і llama.cpp; Q4/Q5 потребує 16–24 ГБ.