Добро пожаловать на smol-курс
Добро пожаловать на всесторонний (и самый мелкий) курс по Fine-Tuning Language Models!
Этот бесплатный курс поведет вас по пути от новичка к эксперту в понимании, реализации и оптимизации методов дообучения крупных языковых моделей.
Этот первый блок поможет вам:
- Ознакомиться с программой курса.
- Узнать больше об процессе сертификации и расписании.
- Познакомиться с командой, стоящей за курсом.
- Зарегистрировать аккаунт.
- Присоединиться к нашему Discord серверу и познакомиться со сверстниками и нами.
Приступим!
Этот курс - smol, но быстрый! Он предназначен для разработчиков программного обеспечения и инженеров, которые хотят быстро освоить навыки дообучения LLM. Если это не о вас, ознакомьтесь с LLM Course.
Чего ожидать от этого курса?
В этом курсе вы:
- 📖 Изучите инструкционное дообучение, контролируемое дообучение, выравнивание предпочтений, оценку, моделей видение-язык … и многое другое!
- 🧑💻 Научитесь использовать давно установленные фреймворки и инструменты для дообучения, такие как TRL и Transformers.
- 💾 Поделитесь своими проектами и исследуйте приложения для дообучения, созданные сообществом.
- 🏆 Принимайте участие в вызовах, где вы будете оценивать свои дообученные модели вместе с другими студентами.
- 🎓 Получите сертификат об окончании, выполнив задания.
В результате этого курса вы поймете, как эффективно дообучать языковые модели и создавать специализированные AI-приложения с использованием последних методов дообучения.
Не забудьте зарегистрироваться на курс!
Как выглядит курс?
Курс состоит из:
- Фундаментальных блоков: где вы изучаете теоретические концепции дообучения.
- Практических занятий: где вы узнаете, как использовать основные фреймворки дообучения для адаптации своих моделей. В этих разделах Hands-on будет доступны заранее настроенные среды.
- Заданий по практическим делам: где вы примените изученные концепции для решения реальной проблемы, которую вы выберете.
- Сотрудничества: Мы сотрудничаем с партнерами LearnPath, чтобы предоставить вам последние реализации и инструменты для дообучения.
Этот курс - живой проект, который развивается с вашей обратной связью и вкладами! Не стесняйтесь открывать проблемы и PR в GitHub и участвовать в обсуждениях в нашем Discord сервере.
Какова программа курса?
Вот общая программа курса. Более подробный список тем будет опубликован с каждым блоком.
| # | Тема | Описание | Дата выхода |
|---|---|---|---|
| 1 | Инструкционное настройка | Настройка под наблюдением, шаблоны чата, следование инструкциям | ✅ |
| 2 | Оценка | Бенчмарки и оценка для специализированной области | ✅ |
| 3 | Упорядочение предпочтений | Выравнивание моделей с человеческими предпочтениями с использованием алгоритмов, таких как DPO. | ✅ |
| 4 | Визуальные языковые модели | Адаптация и использование мульти-modalных моделей | ✅ |
| 5 | Обучение с подкреплением | Оптимизация моделей на основе политик обучения с подкреплением | Октябрь |
| 6 | Синтетические данные | Генерация синтетических наборов данных для специализированной области | Ноябрь |
| 7 | Церемония награждения | Презентация проектов и празднование | Декабрь |
Какие у вас должны быть предпосылки?
Чтобы следовать этому курсу, вы должны иметь:
- Базовое понимание AI и LLM концепций
- Известны Python программирование и базовые знания машинного обучения
- Опыт работы с PyTorch или аналогичными фреймворками глубокого обучения
- Понимание базовых принципов архитектуры transformer
Если у вас нет ни одного из этого, не волнуйтесь. Посмотрите на LLM Курс чтобы начать.
Вышеупомянутые курсы сами по себе не являются предпосылками, поэтому, если вы понимаете концепции LLM и transformer, вы можете начать курс прямо сейчас!
Какие инструменты мне нужны?
Вам нужны только две вещи:
- Компьютер с интернетом и, по возможности, доступом к GPU (LearnPath Pro отлично работает).
- Аккаунт: для доступа к ресурсам курса и создания проектов. Если у вас еще нет аккаунта, вы можете создать его здесь (это бесплатно).
Процесс сертификации
Вы можете выбрать пройти этот курс в режиме аудита, или выполнить задания и получить один из двух сертификатов, которые мы будем выдавать. Если вы проходитесь курс в режиме аудита, вы можете участвовать во всех испытаниях и выполнять задания, если хотите, и вам не нужно нам об этом сообщать.
Процесс сертификации полностью бесплатный:
- Чтобы получить сертификат для основ: необходимо выполнить 1тую часть курса. Это предназначено для студентов, которые хотят понять основы инструкционного настройки без создания продвинутых приложений.
- Чтобы получить сертификат о выполнении: необходимо выполнить все разделы курса и представить финальный проект. Это предназначено для студентов, которые хотят продемонстрировать мастерство методов настройки.
Рекомендуемый темп?
Каждая глава в этом курсе разработана для выполнения в 1тую неделю, с примерно 3-4 часами работы в неделю.
Так как есть сроки, мы предоставляем вам рекомендуемый темп:
Как получить максимальную выгоду от курса?
Чтобы получить максимальную выгоду от курса, мы даем несколько советов:
- Присоединяйся к учебным группам в Discord: Обучение в группах всегда проще. Для этого тебе нужно присоединиться к нашему серверу Discord и подтвердить свою учётную запись.
- Делай викторины и задания: Лучший способ учиться - это практика и самостоятельная оценка.
- Определяй расписание, чтобы быть в синхронизации: Ты можешь использовать наше рекомендованное расписание ниже или создать своё.
Кто мы
Об авторах:
Ben Burtenshaw
Ben является Machine Learning Engineer в LearnPath, фокусирующимся на разработке приложений LLM с подходами post training и agentic. Подписывайся на Ben на Hub, чтобы увидеть его последние проекты.
Благодарности
Мы хотели бы выразить признательность следующим лицам и партнёрам за их бесценные вклады и поддержку:
- LearnPath Transformers
- TRL (Transformer Reinforcement Learning)
- PEFT (Parameter-Efficient Fine-Tuning)
Я нашёл баг или хочу улучшить курс
Вклады приветствуются добро пожаловать * Если ты нашёл баг 🐛 в тетради, пожалуйста откройте issue и описать проблему.
- Если ты хочешь улучшить курс, ты можешь открыть Pull Request.
- Если ты хочешь добавить полноценный раздел или новый unit, лучшее - это открыть issue и описать, какое содержание ты хочешь добавить, прежде чем начать писать, чтобы мы могли направить тебя.
У меня ещё есть вопросы
Пожалуйста задавайте свой вопрос в нашем сервере Discord #fine-tuning-course-questions.
Теперь, когда у вас есть вся информация, приступим к работе ⛵