Як локально запускати 3–10 паралельних інстансів Gemma 4
Що потрібно, щоб запускати кілька Gemma 4 паралельно локально: опенсорс демо від Google, продуктивність і приклад на MacBook Pro M4 Max.
Що потрібно, щоб локально запускати 3, 5 або навіть 10 паралельних інстансів Gemma 4?
Google виклали в демо, яке дає змогу запускати кілька моделей пліч-о-пліч на вашому залізі.
Gemma 4 26B A4B без проблем тягне 10+ паралельних запитів на MacBook Pro M4 Max зі швидкістю 18 токенів за секунду на кожен запит.
Коментарі
Дайджест щотижня
Найкраще про vibe coding, AI-агентів та open source — раз на тиждень, без спаму.
Схожі статті
Всі статтіЯк дати локальним LLM доступ до вебу: SearXNG, Firecrawl, Camofox
Стек для веб-доступу локальних LLM: SearXNG для пошуку, Firecrawl для скрейпінгу, Camofox як браузерний fallback. Схема: пошук → витяг → взаємодія.
Alibaba випустила Qwen3.6-35B-A3B: MoE, мультимодальність і GGUF
Нова MoE-модель Qwen3.6-35B-A3B (35B/3B активних) обганяє Qwen3.5 у кодингу та vision-language, доступна в GGUF для локального запуску.
Gemopus-4-26B-A4B-it GGUF: квантизована Gemma 4 на даних Opus
На Hugging Face з’явилась Gemopus — квантизована Gemma 4, донавчена на Opus. Працює в LM Studio, Ollama, GPT4All і llama.cpp; Q4/Q5 потребує 16–24 ГБ.