DeepSeek‑V4.1‑Flash 763B: локальний запуск на 12 ГБ GPU та результати

Тепер DeepSeek-V4.1-Flash з 763 мільярдами параметрів можна запустити локально навіть на відеокарті з 12 ГБ відеопам’яті.

Дослідники з австрійського інституту IST Austria представили квантизовану версію моделі, використовуючи метод GSQ‑RCO, а розробники движка інференсу Strata забезпечили можливість її запуску на споживчих відеокартах.

Згідно з результатами випробувань:

> RTX 5070 з 12 ГБ відеопам’яті та 64 ГБ оперативної пам’яті забезпечує близько 5 токенів на секунду при генерації відповіді та до 231 токена на секунду при обробці вхідного контексту.
> RTX 3060 з 12 ГБ відеопам’яті та 46 ГБ оперативної пам’яті досягає 8–10 токенів на секунду при генерації відповіді та близько 149 токенів на секунду при обробці вхідного контексту.

Проте для запуску знадобиться значний обсяг оперативної пам’яті та не менше 239 ГБ вільного місця на накопичувачі, оскільки більша частина ваг моделі зберігається в оперативній пам’яті та на SSD, звідки підвантажується за потреби.

Звичайно, таку швидкість важко назвати високою, а виконання складних агентних завдань і надалі вимагає значних обчислювальних ресурсів.

Проте сама можливість запустити модель з 763 мільярдами параметрів на звичайному комп’ютері свідчить про суттєвий прогрес у галузі квантування та оптимізації інференсу.