Використання векторних баз даних для додавання нової інформації до запитів до великої мовної моделі (LLM)

Анотація

Зараз все більшої популярності з кожним днем набувають великі мовні моделі. Вони здатні вирішувати велику низку проблем набагато краще в порівнянні з існуючими підходами машинного навчання та штучного інтелекту, зокрема розпізнавання мови, токенізація, відповіді на запитання, формування стислого переказу тексту і багато інших. Також вони часто досягають неочікувано хороших результатів навіть у сферах на які велика мовна модель не є розрахованою – наприклад математичні проблеми [3].

Майже всі великі мовні моделі що є у відкритому доступі мають недоліки у вигляді того, що вони не мають пам’ять про попередні запити, не мають доступу до інформації про приватні дані користувача та не мають доступу до нових подій і знань що трапилися після тренування моделі.

Використовуючи векторні бази даних можна уникнути проблеми описаної вище зберігаючи потрібні дані у БД та передаючи їх в велику мовну модель під час запиту.