Відкрили коди Marlin-2B: VLM для пошуку подій у відео з таймкодами
Marlin-2B — компактна візуально-мовна модель для вилучення структурованих подій з відео: JSON-опис сцен і пошук фрагментів за запитом.
Відкрили вихідні коди Marlin-2B
Це компактна візуально-мовна модель для вилучення структурованої інформації з відео
Marlin донавчено під два ключові запити, які найчастіше потрібні розробникам під час роботи з відео: що відбувається і коли саме
модель у своєму класі за розміром демонструє сильні результати, конкурує з Gemini-2.5-flash за наявності лише 2B параметрів
Marlin навчали у двох режимах:
1. marlin.caption() повертає структурований JSON зі сценою та подіями, з таймкодами з точністю до секунд.
Це можна використати для генерації субтитрів до роликів у Reels, індексації відеобібліотеки або для передавання агенту контексту про те, що і коли сталося у відеопотоці.
2. marlin.find() повертає таймкоди (початок, кінець) для будь-якого запиту природною мовою щодо відео.
досить швидкий, щоб працювати прямо в циклі агента; можна використати для пошуку фрагментів відео з точністю до часток секунди
модель:
демо: https://vlm.nemostation.com/
Коментарі
Дайджест щотижня
Найкраще про vibe coding, AI-агентів та open source — раз на тиждень, без спаму.
Схожі статті
Всі статтіDatalab відкрила код Lift: 9B-модель для вилучення даних з PDF
Datalab опублікувала Lift — 9B-модель для вилучення структурованих даних за JSON Schema з документів. Точність 90,2%, медіана 9,5 с.
Microsoft випустила клієнт OpenClaw з MXC для безпечних AI-агентів
Офіційний клієнт OpenClaw від Microsoft: дозволи, керування з трея та запуск у контейнерах на базі Execution Containers (MXC). Open source.
Новий open-source RAG: корпус у 40 разів менший і пошук точніший
Open-source підхід до RAG: стискає корпус у 40 разів, зменшує токени на запит у 3 рази та підвищує релевантність векторного пошуку у 2,3 раза.