zvec від Alibaba: локальний векторний пошук як SQLite для RAG

Знахідка: легкий локальний векторний пошук, із яким можна швидко зібрати власну базу знань.

Опенсорс-проєкт zvec від Alibaba уже набрав 10,3 тис. зірок на GitHub і активно використовується всередині Alibaba у великих продакшен-сценаріях.

Зазвичай для векторного пошуку доводиться підіймати окремий сервіс: Pinecone, Weaviate, Qdrant або щось іще. Додатково — налаштування, інфраструктура та деплой. Для невеликих проєктів це часто виявляється надто хардкорно

Із zvec усе простіше. Він вбудовує всю векторну базу даних прямо у ваш процес — приблизно так само, як SQLite працює з реляційними базами даних. Встановили через pip, створили колекцію кількома рядками коду, завантажили дані — і можна виконувати пошук за схожістю. Жодних серверів, конфігураційних файлів і доп.інфраструктури, усе зберігається в одному локальному файлі.

zvec уміє шукати серед сотень мільйонів векторів за мілісекунди та підтримує гібридний пошук: векторний + повнотекстовий. Працює на ноутбуках, серверах і навіть на edge-пристроях.

Оновлення v0.5.0 від 12 червня помітно розширило можливості проєкту:

↳ Нативний повнотекстовий пошук без зовнішніх пошукових рушіїв
↳ Гібридний пошук, що об’єднує вектори, ключові слова та фільтри в одному запиті
↳ Новий дисковий індекс, що суттєво знижує споживання пам’яті на великих обсягах даних
↳ Zvec Studio — візуальний інструмент для перегляду даних і налагодження без написання коду