Глава 1

Восход AI-инженерии

Книга

AI Engineering

Это практическое руководство по созданию приложений на основе готовых фундаментальных моделей (foundation models). В книге объясняется, чем AI-инжиниринг отличается от традиционного ML-инжиниринга, и предлагается пошаговый фреймворк для разработки AI-продуктов — от простых методов (промпт-инжиниринг) до более сложных (RAG, дообучение, AI-агенты). Особое внимание уделяется вопросам оценки моделей (включая подход «AI-as-a-judge»), а также оптимизации задержек и стоимости при развертывании

Автор

Спикер

Программа вечера

Восход AI-инженерии

Сценарии использования базовой модели

Планирование AI-приложений

Стек AI-инженерии

Слайд 1

«Если бы можно было одним словом описать развитие AI после 2020 года, это было бы слово „масштаб“».

Чип Хьюен · AI Engineering

Данные

0,7 млрд

GPT-1
2018

~0,7 млрд токеновBookCorpus — тексты книг (GPT-1).

8 млрд

GPT-2
2019

~8 млрдWebText — 40 ГБ веб-страниц (GPT-2).

300 млрд

GPT-3
2020

~300 млрдCommon Crawl + книги + Wikipedia (GPT-3).

~13 трлн

GPT-4
2023

~13 трлнСопоставимо с Llama 3 (~15 трлн токенов).

~40 трлн

GPT-5
2025

оценка · 30–50 трлнУже почти весь качественный текст интернета.

×50 000рост за 7 лет

Данные растут быстрее, чем интернет их рождает. Качественного текста — лишь ~3–5 трлн токенов, и он почти исчерпан.

По прогнозу Epoch AI качественные данные закончатся в .

Слайд 2

Два последствия масштабирования

Следствие 1 · спрос растёт

Мощность моделей AI растёт

Способны выполнять всё больше задач

Появляется больше приложений

Больше людей и команд используют AI

Спрос на AI-приложения вырос

Следствие 2 · обучение концентрируется

Обучить большую модель требует…

Данные

Триллионы токеновВесь качественный текст интернета — и это уже почти предел.

Специалисты

Редкие талантыML-исследователи мирового уровня — их единицы, зарплаты $500K–1M+.

Вычисления

Тысячи GPUКластеры из десятков тысяч NVIDIA H100 / B200.

Всё это — очень дорого

Позволить могут единицы

Базовые модели обучают единицы

Кто именноOpenAI, Google, Anthropic, Meta, xAI, DeepSeek.

«Модель как услуга» (MaaS)

API вместо своей моделиБерёшь готовую модель по API: OpenAI, Anthropic, Together AI.

＋ раскрыть следующий уровень

«Агент как услуга»

Готовые агенты по подпискеOpenAI Codex (агент-разработчик) · Claude с доступом к компьютеру · Devin (AI-инженер).

Сильное развитие AI-инженерии

Слайд 3

AI-инженерия — отдельная профессия

Спрос вырос, барьер входа упал: создание приложений на готовых моделях стало одной из самых быстрорастущих инженерных дисциплин.

+300%

рост вакансий «AI Engineer», 2023 → 2026 (LinkedIn)

Индекс 60 · 2023 = 100

'22

Индекс 100 · база

'23

Индекс 190 · +90%

'24

Индекс 300 · +200%

'25

Индекс 400 · +300%

'26

$180–350K

вилка зарплаты AI-инженера в США — растёт год к году

Медиана ≈ $150K

'22

Медиана ≈ $185K

'23

Медиана ≈ $230K

'24

Медиана ≈ $280K

'25

Медиана ≈ $330K

'26

10 000+

участников AI Engineer Summit — с 2023 года

≈ 500 участников

'23

≈ 2 000 участников

'24

≈ 5 000 участников

'25

≈ 10 000 участников

'26

Слайд 4

Современные модели — это кульминация 70 лет

1905

«Пляшущие человечки»

Артур Конан Дойл

Шерлок Холмс взламывает шифр, считая частоту букв. Первая популярная идея: язык подчиняется статистике.

Артур Конан Дойл · рассказ

1948

Теория информации

Клод Шеннон

Шеннон вводит энтропию языка и задачу предсказания следующего символа — математический фундамент языковых моделей.

Клод Шеннон · статья

1957

Перцептрон

Фрэнк Розенблатт

Первая обучаемая нейросеть. Показала, что машина может учиться на примерах, а не только следовать правилам.

Фрэнк Розенблатт · перцептрон

1966

ELIZA

Джозеф Вейценбаум

Первый чат-бот: имитировал психотерапевта по простым шаблонам. Люди верили, что их «понимают» — иллюзия понимания.

Джозеф Вейценбаум · ELIZA

1986

Обратное распространение

Румельхарт, Хинтон, Уильямс

Backpropagation — алгоритм обучения многослойных сетей. Сделал глубокие нейросети практичными.

Backpropagation · статья

1997

LSTM

Хохрайтер, Шмидхубер

Рекуррентная сеть с памятью: научилась учитывать длинный контекст последовательностей. До Transformer была основой NLP.

LSTM · статья

2013

word2vec

Томаш Миколов, Google

Слова превращаются в векторы (эмбеддинги): близкие по смыслу оказываются рядом в пространстве. «Король − мужчина + женщина ≈ королева».

word2vec · статья

2017

Transformer

«Attention is All You Need»

Архитектура внимания (attention). Основа всех современных LLM — GPT, Claude, Gemini.

«Attention is All You Need» · arXiv

2018

GPT-1 и BERT

первые большие

GPT (генерация текста) и BERT (понимание) на базе Transformer — разошлись две ветви языковых моделей.

GPT (OpenAI)BERT (Google)

2020

GPT-3

175 млрд параметров

Few-shot: модель решает задачи по нескольким примерам прямо в промте, без дообучения.

GPT-3 · arXiv

2022

ChatGPT

массовый прорыв

RLHF превратил модель в удобного собеседника. 100 млн пользователей за 2 месяца — самый быстрый рост в истории.

OpenAI · ChatGPT

2023

GPT-4

мультимодальность

Понимает изображения, резко точнее в рассуждениях и коде. Старт эры «AI как инструмент работы».

OpenAI · GPT-4

2024

Claude 3, Gemini, Llama 3

конкуренция и open-source

Несколько игроков сравнялись с GPT-4. Open-source (Llama) сделал сильные модели доступными всем.

Claude 3 Gemini Llama 3

2025

GPT-5, Claude 4, DeepSeek R1

reasoning-модели

Модели «думают» перед ответом (chain-of-thought). DeepSeek показал сильный reasoning за долю бюджета конкурентов.

GPT-5 Claude 4 DeepSeek R1

2026

Агентная эра

AI действует сам

AI не отвечает, а автономно выполняет задачи: планирует, вызывает инструменты, проверяет результат.

Интеллектуальные агенты

↕ прокрути ленту · нажми на точку, чтобы раскрыть

Слайд 5

Языковая модель — это статистика языка

Не «искусственный разум», а предсказатель следующего слова: какое продолжение вероятнее.

My favorite color is blue

Что модель могла бы поставить сюда

blue

41%

green

18%

red

13%

car

0.1%

Слайд 6

Токены — атомы языка

Модель видит не буквы и не слова, а токены: символ, слово или часть слова.

Ican'twaittobuildAIapplications

«I can't wait to build AI applications» → 9 токенов

Почему токен, а не слово или символ?

Токены дают разбивать слова на значимые компоненты: «cook» + «ing» — оба несут часть смысла исходного слова.

cooking

cook+ing

Уникальных токенов меньше, чем уникальных слов — а значит меньше и размер словаря модели.

~1 млн

уникальных слов

›

~50 тыс

уникальных токенов

Токены помогают обрабатывать незнакомые слова: даже выдуманное «chatgpting» собирается из кусочков — без «дыр» в словаре.

chatgpting

chatgpt+ing

Слайд 7

Токенизация

Процесс разбивки исходного текста на токены и называется токенизацией.

Английский

Русский

проверить самому на platform.openai.com/tokenizer ↗

приближённая разбивка для модели уровня GPT-3 · русские слова дают в 2–3 раза больше токенов

Слайд 8

Словарь модели — набор всех токенов

Из небольшого числа токенов можно составить огромное число слов — как из алфавита. Размер словаря у моделей разный:

Mixtral 8x7B

32 000

GPT-3

50 257

GPT-4 (cl100k)

100 256

Llama 3

128 256

GPT-4o (o200k)

200 019

Gemma

256 000

Слайд 9

Два типа языковых моделей

Тип 1

Маскированнаяязыковая модель · напр. BERT · заполни пропуск

Я люблю уличную

Что могло бы быть в пропуске

уличную

34%

домашнюю

22%

острую

14%

еду

Видит контекст с обеих сторон сразу. Не генерирует текст, а понимает его — для классификации, тональности, эмбеддингов.

Поиск GoogleBERT помогает понимать смысл поисковых запросов text-embedding-3эмбеддинги для семантического поиска и RAG BGE / E5open-source эмбеддинги и reranker'ы для RAG

Тип 2

Авторегрессионнаяязыковая модель · напр. GPT · продолжи текст

Я люблю уличную еду

Следующий токен

еду

46%

кухню

21%

пищу

12%

Предсказывает следующий токен по предыдущим и генерирует непрерывно.

GPT-5OpenAI — флагманская модель Claude 4Anthropic GeminiGoogle Llama 4Meta, open-source

→

Эволюция 2025–2026

Reasoning«думают» перед ответом

Та же авторегрессия, но модель сначала генерирует скрытую цепочку рассуждений (chain-of-thought), а потом ответ.

o3 / o4OpenAI reasoning-модели DeepSeek R1open-source reasoning

Слайд 10

«Языковая модель» = авторегрессионная

Дальше под «языковой моделью» мы всегда понимаем именно её.

Столица Франции — это…

→

Языковая модель

генерирует ответ

→

Париж—красивыйгородЕвропы

Модель комбинирует токены и создаёт новыйОна не выбирает из готовых вариантов ответа — собирает ответ токен за токеном заново. уникальный ответ. Поэтому её называют генеративной — отсюда термин «генеративный AI».

Слайд 11

Языковая модель = машина-завершатель

Столица Австралии —

→

Mistral

завершает текст

→

Сидней0%

Канберра0%

Мельбурн0%

«Завершения — это прогнозы, основанные на вероятностях, и нет гарантии, что они верны».

Чип Хьюен · AI Engineering

Слайд 12

Два вида машинного обучения

Классический ML

Нужен учитель

· обнаружение объектов

· тематическое моделирование

· рекомендательные системы

· прогноз погоды

· предсказание цен на акции

нажми, чтобы раскрыть обучение с учителем →

Языковые модели

Обучаются сами

Языковое моделирование способно обучаться самостоятельно — без разметчика.

нажми, чтобы раскрыть самообучение →

Классический ML

Обучение с учителем

Обучение алгоритмов на размеченных данных — мощно, но дорого и долго.

01

Размечаете примеры

«синий квадрат»

«красный треугольник»

Показываете модели, какие ответы правильные.

02

Обучаете на них

модель

Модель ищет закономерности между картинкой и меткой.

03

Применяете к новым

✓ красный квадрат

✓ синий треугольник

Теперь уже красный квадрат и синий треугольник — цвета новые, а модель всё равно узнаёт форму.

Мощно, но дорого и долго: разметка каждого примера стоит денег и времени.

Языковые модели

Самообучение

Языковые модели учатся на текстовых последовательностях без разметки: модель сама выводит метки из входных данных.

«I love street food.» → модель сама делает из этого примеры:

I→love

I love→street

I love street→food

I love street food→.

✦ модель обучилась

Каждое предложение = несколько обучающих примеров. Текст окружает нас повсюду — значит, данных практически бесконечно, и разметчик не нужен.

Слайд 13

Проблемы обучения с учителем

Возьмём AlexNet (2012). Нажимай — и смотри, как растёт цена разметки.

Слайд 14

Преимущество самообучения

Модели учатся на текстовых последовательностях — разметка не нужна. А текст окружает нас повсюду, поэтому данных практически бесконечно.

книги

блоги

статьи

модель

Слайд 15

«Большая» — понятие относительное

GPT-5 · 2025 · триллионы

GPT-4 · 2023 · ~1,8 трлн

GPT-3 · 2020 · 175 млрд

GPT-2 · 2019 · 1,5 млрд

GPT-1
2018
117 млн

нажимай на схему — модели растут →

Слайд 16

От языковых моделей к LMM

Чтобы работать в реальном мире, AI нужно обрабатывать не только текст.

Было

текст

↓

Языковая модель

LLM

Языковая модель генерирует следующий токен, основываясь только на текстовых токенах.

↓

новый токен

Стало

текстизображение

↓

Большая мультимодальная модель

LMM · large multimodal model

LMM генерирует следующий токен, основываясь на текстовых и графических токенах — или токенах любых других модальностей.

↓

новый токен

Слайд 17

От LLM и LMM к базовым моделям

Базовые модели решают многое «относительно хорошо», а под конкретную задачу — донастраиваются. Ориентир сменился: не «создать», а «настроить». Наведи на метод адаптации.

проще · дешевле · быстреесложнее · дороже · дольше

ПромтПромт-инжинирингТы просто хорошо формулируешь запрос: даёшь инструкции и пример прямо в тексте. Модель ничему не учится — ты объясняешь задачу словами.Гайд по промтам

RAGRAG · поиск по своим даннымПеред ответом модель находит нужные куски в твоих документах и отвечает по ним — так она «знает» то, чего не было при обучении.Что такое RAG

MCPMCP · разъём к инструментамЕдиный «USB-разъём», через который модель безопасно подключается к твоим данным и инструментам (файлы, базы, API). Открытый стандарт Anthropic.modelcontextprotocol.io

LoRALoRA · лёгкое дообучениеВместо всей модели обучаешь маленькие «насадки»-адаптеры. Дёшево — на одной видеокарте, от $100.Статья про LoRA

Fine-tuningFine-tuning · полное дообучениеПродолжаешь обучать саму модель на своих примерах. Дороже и дольше, зато глубже подстраивает поведение.Гайд по fine-tuning

С нуляОбучение с нуляСтроишь свою модель с чистого листа: миллионы примеров, тысячи GPU, месяцы работы и огромный бюджет. Почти никому не нужно.Как обучали GPT-3

Подсвечены методы, что покрывают ~80% случаев. Fine-tuning — ~15%, обучение с нуля — ~5%.

Слайд 18

AI-инженерия

«AI-инженерия» — это процесс создания приложений на основе базовых моделей. Три фактора превратили её в профессию — нажми, чтобы раскрыть:

Фактор 1

Многоцелевые возможности

нажми →

Фактор 2

Увеличение инвестиций в AI

нажми →

Фактор 3

Низкий барьер для входа

нажми →

Фактор 1

Многоцелевость — автоматизация коммуникации

Модели делают не только старое лучше, но и совершенно новое. А это почти все задачи бизнеса.

Код

Cursor, Claude Code, Copilot. Агенты пишут приложения по описанию.

Видео и изображения

Sora, Kling, Runway, Midjourney. Голливуд — VFX, дубляж.

Наука

Лекарства (Insilico), материалы (GNoME — 2,2 млн), доказательства (AlphaProof).

AI создаёт AI

Синтетические данные, код для обучения других моделей — рекурсивное улучшение.

Фактор 2

Инвестиции — не хайп, а тренд

Успех ChatGPT запустил взрыв денег, а вместе с ним — падение стоимости и рост доступности.

$500B

Stargate (OpenAI + Oracle + SoftBank) на дата-центры

$3T+

капитализация NVIDIA — самая дорогая компания мира

×300

во столько раз дешевле стал inference уровня GPT-4 (2023→2026)

«Каждая третья компания S&P 500 упоминает AI. Инвестиции сместились с „дайте модель“ на „дайте инфраструктуру для агентов“».

Чип Хьюен · AI Engineering

Фактор 3

Барьер входа упал почти до нуля

«Модель как услуга» через API. Не нужна инфраструктура — достаточно идеи и английского языка.

2022

$10K–100K

инфраструктура + ML-команда, чтобы сделать MVP

→

2026

$0–100

API-кредиты; MVP описывается на английском

No-code / AI-инструменты 2026

Bolt.new Lovable v0 Replit Agent Cursor Ollama MCP-серверы

Помощники кода

Cursor Windsurf Claude Code Copilot

Пишут 50–80% кода. Разработчик становится «редактором» и «архитектором».

Слайд 19

Одна из самых быстрорастущих

«AI-инженерия стремительно становится одной из самых быстрорастущих инженерных дисциплин».

Чип Хьюен · AI Engineering

+75% / мес

рост числа профилей с терминами «генеративный AI», «ChatGPT», «промт-инжиниринг», «создание промтов» — LinkedIn, авг. 2023

Звёзд на GitHub (≈): 4 инструмента AI-инженерии обошли Bitcoin и догоняют React/Vue

AutoGPT

170k

Stable Diffusion WebUI

150k

Ollama

140k

LangChain

100k

Bitcoin

82k

React

232k

Слайд 20

AI-инженерия vs ML-инженерия

AI-инженерия

ML-инженерия

Строит приложения на готовых моделях

что делает

Обучает модели с нуля

Базовая модель + API

точка старта

Сырые данные

Промт, RAG, агенты, eval, guardrails

навыки

PyTorch, статистика, распред. обучение

Немного: примеры и промпты

данные

Огромные размеченные датасеты

Вызовы API

инфраструктура

GPU-кластеры, чипы

Часы — дни

цикл итерации

Недели — месяцы

Что далее

Восход AI-инженерии Пройдено

Сценарии использования базовой модели

Планирование AI-приложений

Стек AI-инженерии

Восход AI-инженерии

Программа вечера

Как индустрия решает нехватку данных

Два последствия масштабирования

AI-инженерия — отдельная профессия

Современные модели — это кульминация 70 лет

Языковая модель — это статистика языка

Токены — атомы языка

Токенизация

Словарь модели — набор всех токенов

Два типа языковых моделей

«Языковая модель» = авторегрессионная

Языковая модель = машина-завершатель

Два вида машинного обучения

Проблемы обучения с учителем

Преимущество самообучения

«Большая» — понятие относительное

От языковых моделей к LMM

От LLM и LMM к базовым моделям

AI-инженерия

Код

Видео и изображения

Наука

AI создаёт AI

Одна из самых быстрорастущих

AI-инженерия vs ML-инженерия

Что далее