Эмбеддинг — текст в виде вектора
Представление текста, картинки или товара набором чисел, где близкие по смыслу объекты оказываются рядом. Основа поиска по смыслу и рекомендаций.
Также встречается как: embedding, векторное представление
Коротко. Эмбеддинг — числовой вектор, кодирующий смысл объекта. Тексты о похожем оказываются близко в этом пространстве, даже если написаны разными словами.
Что это даёт
Поиск по смыслу. Запрос «как вернуть деньги» находит документ «политика возврата средств», хотя общих слов почти нет. Обычный полнотекстовый поиск здесь бессилен.
Похожесть. Рекомендации похожих товаров, поиск дублирующихся обращений, кластеризация отзывов — всё это операции над векторами.
Классификация без обучения. Достаточно сравнить вектор нового объекта с векторами известных категорий.
Зачем фаундеру
Эмбеддинги — недооценённая часть AI-продуктов: они дешевле генерации в десятки раз и решают целый класс задач, где модель как таковая не нужна. Умная поисковая строка, дедупликация заявок, подбор похожих объявлений — всё это работает на векторах.
Плюс это обязательный элемент RAG.
Где ошибаются
Смешивают векторы разных моделей. Векторы, полученные разными моделями, несравнимы. При смене модели базу нужно пересчитывать целиком.
Режут документы как попало. Слишком крупный фрагмент размывает смысл, слишком мелкий теряет контекст. Размер нарезки влияет на качество поиска сильнее, чем выбор модели.
Полагаются только на смысловой поиск. Артикулы, номера договоров и точные названия лучше находит обычный текстовый индекс — поэтому их сочетают.
Разобрать это на своём проекте
Мы доводим идеи фаундеров до работающего MVP за долю в компании. Расскажите про свою — посмотрим на цифры вместе.