Обзор книги «Промт-инжиниринг для LLM. Искусство построения приложений на основе больших языковых моделей»

Общие сведения

Книга «Промт-инжиниринг для LLM. Искусство построения приложений на основе больших языковых моделей» (оригинальное название: Prompt Engineering for LLMs: The Art and Science of Building Large Language Model–Based Applications) написана Джоном Берриманом и Альбертом Циглером и опубликована издательством O’Reilly Media. На русском языке книга выпущена издательством «Питер» в 2025 году. Объём составляет 288 страниц. Это практическое руководство, ориентированное на разработчиков и инженеров, которые строят программные продукты на базе больших языковых моделей.​

Как точно подметил один из рецензентов на Goodreads: «Это не справочник для обычного пользователя чатов, который хочет “лучше общаться с ИИ”. Это книга прежде всего для разработчиков и промт-инженеров, которые строят продукты поверх моделей».​

Об авторах

Джон Берриман

Джон Берриман – основатель и главный консультант компании Arcturus Labs, специализирующейся на разработке приложений на основе LLM. Обладает более чем 13-летним опытом создания production-grade систем поиска и приложений на больших языковых моделях. Был одним из первых инженеров в проекте GitHub Copilot, где занимался разработкой функций автодополнения кода и чата. В настоящее время также возглавляет направление AI-инженерии в компании Tribe AI. Автор книги Relevant Search (Manning), являющейся референсом в области поисковых систем. Имеет степень магистра аэрокосмической инженерии Виргинского политехнического института.

Альберт Циглер

Альберт Циглер – один из основателей-инженеров GitHub Copilot, первого коммерчески успешного LLM-продукта в индустрии. Именно он спроектировал систему промт-инжиниринга и взаимодействия с моделями для Copilot. Сегодня Альберт занимает позицию Head of AI в компании XBOW – стартапе на стыке искусственного интеллекта и кибербезопасности, где руководит интеграцией LLM в системы безопасности. Занимался проектированием AI-систем задолго до того, как LLM-приложения стали мейнстримом.

Как отметил Хамель Хусейн, независимый исследователь и консультант по ИИ: «Альберт и Джон стоят за одним из самых успешных в истории коммерческих продуктов генеративного ИИ – GitHub Copilot, – и поэтому могут считаться отличными наставниками».​

Структура книги

Книга разделена на три логические части, каждая из которых углубляет понимание читателя от базовых принципов к продвинутым техникам.​​

Часть I: Основы (Fundamentals)

Первая часть закладывает фундамент – понимание того, как работают LLM изнутри. Здесь рассматриваются следующие темы:

• Глава 1 – Введение в LLM. Объясняется, почему промт-инжиниринг стал необходимым навыком и какова роль LLM в современном мире.​
• Глава 2 – Модели завершения текста (Completion Models). Ключевой концепт книги: LLM по своей сути являются «невероятно продвинутыми механизмами автодополнения текста», которые имитируют паттерны текста, увиденные во время обучения. Подробно разбираются токенизация, авторегрессия, температура генерации и архитектура Transformer.​​
• Глава 3 – Переход к чату (Moving to Chat). Описывается переход от моделей завершения к чат-ассистентам через RLHF (Reinforcement Learning from Human Feedback), а также концепция «3H» – helpfulness, honesty, harmlessness (полезность, честность, безвредность).​
• Глава 4 – Проектирование LLM-приложений. Вводится «анатомия цикла» – от постановки задачи пользователя до конвертации в формат модели, получения ответа и обратной трансформации, а также методы оценки качества.​​

Часть II: Основные техники (Core Techniques)

Вторая часть – сердце книги, где раскрываются практические приёмы создания эффективных промтов:

• Глава 5 – Содержание промта (Prompt Content). Разбираются источники контента (статический и динамический), техника few-shot prompting (обучение на нескольких примерах), а также RAG (Retrieval-Augmented Generation) – генерация с дополненной выборкой, включая работу с эмбеддингами и оценку релевантности.
• Глава 6 – Сборка промта (Assembling the Prompt). Представлена «анатомия идеального промта» с выделением ключевых зон: введение, «долина скуки» (Valley of Meh – область, которой модель уделяет минимум внимания), элементы промта, рефокус и переход к ответу.​
• Глава 7 – Шаблоны промтов. Описываются методики организации промтов в шаблоны, обеспечивающие стабильные и высококачественные результаты.​

Часть III: Продвинутые техники (Expert Craft)

Третья часть посвящена масштабированию от отдельных промтов к полноценным AI-системам:

• Глава 8 – Инструменты и агентность (Tool Calling). Рассматривается подключение внешних инструментов к LLM и построение агентных систем.​
• Глава 9 – Цепочки рассуждений и рабочие процессы. Разбираются chain-of-thought prompting (подсказки с цепочками рассуждений), ReAct-паттерн и конвейеры для достижения конверсационной агентности.​​
• Глава 10 – Оценка LLM-приложений. Детально описываются подходы к онлайн- и офлайн-оценке качества, включая A/B-тестирование и метрики, с примерами из GitHub Copilot.​
• Глава 11 – Взгляд в будущее. Обсуждается мультимодальность, эволюция пользовательских интерфейсов и рост интеллекта моделей.​

Ключевые идеи и уникальные концепции

LLM как механизм автодополнения

Центральная идея книги: понимание того, что LLM – это по сути механизм предсказания следующего токена на основе обучающих данных. Промт-инжиниринг в простейшей форме – это практика составления промта таким образом, чтобы его продолжение содержало информацию, необходимую для решения задачи. Это парадигмально важный тезис, без которого невозможно системно строить LLM-приложения.​

Принцип Красной Шапочки (Little Red Riding Hood Principle)

Одна из самых запоминающихся концепций книги гласит: «Не сходи с тропинки, по которой обучалась модель». Чем ближе структура промта к паттернам обучающих данных (статьи, код, markdown-документы, стенограммы), тем предсказуемее и стабильнее будет результат. Авторы рекомендуют мимикрировать под знакомые модели форматы – программный код, новостные статьи, техническую документацию.​

Творческое использование logprobs

Авторы делятся нетривиальным приёмом из опыта разработки GitHub Copilot: использование logprobs (логарифмических вероятностей токенов) для оценки качества генерации без анализа самого ответа. Альберт Циглер обнаружил, что экспоненциальное среднее logprobs начала генерации оказалось наиболее предсказательной мерой – если модель не «путалась» в начале, остальная часть была качественной. Кроме того, предлагается техника повышения качества: увеличить температуру, сгенерировать несколько ответов параллельно и выбрать лучший по logprobs.​

Три персонажа вместо двух

Неожиданная находка: авторы обнаружили, что в ряде задач использование трёх персонажей в промте (спрашивающий, отвечающий и «субъект обсуждения») даёт лучшие результаты, чем стандартная пара «пользователь-ассистент».​

Динамическое формирование системных промтов

Рецензенты отмечают, что тема динамического конструирования системных промтов (system prompts) в зависимости от контекста – по-настоящему свежая концепция, которую сложно найти в других публикациях.​

Практическая ценность

Книга выделяется несколькими практическими достоинствами:

• Визуальные примеры. Многие абстрактные концепции проиллюстрированы диаграммами и схемами, что делает материал интуитивно понятным.​
• Упражнения. Книга содержит задания, которые помогают структурировать полученные знания и применить их на практике.​
• Ссылки на научные работы. Авторы указывают первоисточники, что позволяет при желании углубиться в тему – ценное качество для быстро развивающейся области.​
• Реальные кейсы. Опыт разработки GitHub Copilot пронизывает всю книгу – от оценки качества генерации до онлайн-валидации через метрики принятия и последующего редактирования кода пользователями.​​
• Философия «научить ловить рыбу». Как отметил один из рецензентов: «Это одна из тех редких книг, которые учат ловить рыбу, а не просто дают рыбу».​

Критика и ограничения

При всех достоинствах книга не лишена недостатков, которые отмечают читатели:

• Частичная устаревшесть. Заметен акцент на GPT-3, что делает некоторые детали неактуальными. Отдельные рекомендации (например, использование параметра «echo») больше не применимы к современным моделям.​
• Неравномерность материала. Некоторые разделы чрезмерно затянуты или избыточно сложны, а отдельные формулировки вроде «здравый смысл LLM» звучат неточно.​
• Длинное введение. Вводная часть может показаться перегруженной, что создаёт порог входа для менее подготовленных читателей.​
• Абстрактность продвинутых разделов. Один из рецензентов отмечает, что вторая половина книги рассматривает построение LLM-приложений «настолько абстрактно и обобщённо, что теряет практичность».​
• Отсутствие MCP. Раздел о вызове инструментов (tool calling) не упоминает протокол MCP (Model Context Protocol), хотя по сути описывает тот же механизм.​

Тем не менее, эти ограничения также показывают, какие концепции оказались «вечными» – фундаментальное понимание работы LLM, стратегии формирования промтов и подходы к оценке качества остаются актуальными вне зависимости от конкретного поколения моделей.​

Для кого эта книга

Оценка

Книга Берримана и Циглера занимает уникальную нишу: это не сборник промт-рецептов и не академический учебник, а инженерное руководство от людей, которые стояли у истоков одного из самых успешных LLM-продуктов в истории – GitHub Copilot. Её фундаментальный подход – «прежде чем писать промты, пойми, как работает модель» – делает знания устойчивыми к быстрой смене технологий.

Рейтинг на Goodreads составляет 4.04/5 на основе отзывов читателей. На Abebooks книга получила оценку 4.3/5. Русскоязычное издание от «Питера» также получает положительные отзывы.

Для инженера, работающего с LLM-системами, это безусловно стоящее вложение времени. Как резюмировал один из рецензентов: «Неровная книга – местами слишком широкая, местами многословная – но при этом наполненная конкретными, практичными и отлично объяснёнными рекомендациями. Для инженера – однозначно стоит прочитать».