Apache Maka: локальна обгортка для AI-моделей та агентів

Якщо вам не подобається, що під час роботи з LLM історія, налаштування та дані надсилаються на чужі сервери, варто звернути увагу на Apache Maka.

Це локальна обгортка для AI-моделей, яка за замовчуванням зберігає сесії, налаштування та журнали виконання на вашому пристрої.

Можна підключити хмарний API, локальну модель або сумісний шлюз.

Maka записує весь хід роботи — відповіді моделі, виклики інструментів, рішення щодо дозволів і завершення задач.

Настільний застосунок, TUI та CLI використовують один Runtime Host. Якщо процес упав, стан можна відновити з журналу.

Сам Runtime Host можна тримати на своєму комп’ютері або сервері й підключатися до нього віддалено.

Окремо варто звернути увагу на архітектуру Maka. Розробники apache/makaapache/maka/blob/main/docs/architecture/runtime-host-architecture.zh-CN.md докладну документацію, де розібрано Runtime Host, зберігання стану, відновлення після збоїв, межі компонентів і віддалені підключення.

Якщо цікаво, як узагалі проєктувати обгортку для агентів, там дуже багато корисного.

Поки що проєкт активно розвивається, тому формат даних, команди та експериментальні фічі ще можуть змінюватися.

Є збірки для macOS, а Windows і Linux поки доступні як прев’ю.

Безплатний відкритий проєкт під ліцензією Apache 2.0.