LLM — большая языковая модель

Коротко. LLM (large language model) — большая нейросеть, обученная на огромных объёмах текста предсказывать продолжение. Из этой простой задачи вырастает способность отвечать на вопросы, писать код, переводить и рассуждать.

Что важно понимать про их работу

Модель генерирует, а не ищет. Она не достаёт готовый ответ из базы, а составляет его по кусочку. Отсюда и главный побочный эффект — галлюцинации.

Она работает с токенами, а не с буквами. Отсюда странности вроде ошибок в подсчёте символов.

У неё нет памяти между запросами. Всё, что модель «знает» о разговоре, помещается в контекстное окно текущего запроса.

Её знания ограничены датой обучения. Свежие факты нужно передавать в запрос — например, подходом RAG.

Зачем фаундеру

LLM превратила в дешёвые целый класс задач, которые раньше требовали разработки: разбор неструктурированного текста, черновики, ответы на типовые вопросы, извлечение данных из документов.

Практический критерий применимости: задача терпит вероятностный результат и имеет проверяемый выход. Если ошибка стоит дорого и незаметна — нужен человек или проверка на выходе.

Где ошибаются

Ставят модель туда, где нужна точная логика. Расчёты, суммы и правила лучше считать кодом, а модель использовать для интерпретации.

Не измеряют качество. Без оценки на наборе примеров любое изменение промпта делается вслепую.