cpaua
·1 хв12

Як локально запускати 3–10 паралельних інстансів Gemma 4

Що потрібно, щоб локально запускати 3, 5 або навіть 10 паралельних інстансів Gemma 4?

Google виклали в google-gemma/cookbookgoogle-gemma/cookbook/tree/main/apps/concurrent демо, яке дає змогу запускати кілька моделей пліч-о-пліч на вашому залізі.

Gemma 4 26B A4B без проблем тягне 10+ паралельних запитів на MacBook Pro M4 Max зі швидкістю 18 токенів за секунду на кожен запит.

Поділитися:
Автор
cpaua

Адміністратор блогу VibeCode. Пишу про vibe coding, AI та open source.

Коментарі

Щоб залишити коментар, увійдіть або зареєструйтеся
Завантаження...

Схожі статті