УмкаМашинное обучение простыми словами: виды и примеры
Коротко. Машинное обучение — это подход, при котором программа находит закономерности в данных сама, а не получает готовые правила от программиста. Так работают спам-фильтры, рекомендации в лентах и большинство современных нейросетей. Ниже — что происходит внутри, какие бывают виды обучения и где это видно в повседневной жизни.
Что такое машинное обучение
Обычная программа работает по правилам: если письмо содержит слово «выигрыш» и ссылку с незнакомого адреса, его нужно пометить как спам. Такие правила пишет человек, и их быстро становится слишком много. В машинном обучении правила не пишутся вручную. Вместо этого алгоритму показывают примеры — тысячи писем с пометками «спам» и «не спам» — и он сам подбирает признаки, по которым можно различать классы.
Результат обучения называют моделью. Это набор чисел, так называемых параметров, который определяет, как из входных данных получить ответ. Обученную модель применяют к новым данным, которых она раньше не видела.
Разница с классическим программированием хорошо видна на примере расчёта. Программист, который пишет калькулятор налогов, знает формулу и переносит её в код. Программист, который учит модель оценивать ущерб от аварии по фотографиям, формулы не знает, зато знает, какие данные нужны: снимки, описания и итоговые суммы выплат. Алгоритм сам подбирает зависимость между ними. Поэтому машинное обучение применяют там, где правила трудно записать, но примеры есть.
Как машина учится
Процесс почти везде устроен одинаково. Сначала собирают данные и делят их на две части: обучающую и проверочную. Модель делает предсказания на обучающей части, сравнивает их с правильными ответами и считает ошибку. Ошибка используется, чтобы подправить параметры, и цикл повторяется тысячи или миллионы раз. Проверочная часть нужна для того, чтобы понять, как модель работает на данных, которые не участвовали в обучении.
Ключевое слово здесь — обобщение. Модель, которая идеально запомнила обучающие примеры, но ошибается на новых, называют переобученной. Борьба с переобучением — одна из повседневных задач специалистов: её решают большим объёмом данных, упрощением модели и отдельной проверкой на свежих примерах.
Три основных вида обучения
Выделяют три основных подхода. Они отличаются тем, какие данные получает модель во время обучения.
| Вид | Что известно модели | Пример |
|---|---|---|
| С учителем | Входные данные и правильные ответы | Прогноз цены квартиры по площади и району |
| Без учителя | Только входные данные, без ответов | Группировка клиентов магазина по покупкам |
| С подкреплением | Награда за действия в среде | Программа, которая учится играть, получая очки за удачные ходы |
Чаще всего в бизнесе используется обучение с учителем: размеченные примеры собрать проще всего. Обучение с подкреплением стоит за игровыми программами и за частью настройки языковых моделей после основного обучения.
Машинное обучение, глубокое обучение и нейросети
Машинное обучение — самый широкий из этих терминов. Внутри него есть разные методы: деревья решений, линейная регрессия, метод опорных векторов. Нейронные сети — один из таких методов: они состоят из слоёв простых вычислительных узлов. Глубокое обучение — это нейронные сети с большим числом слоёв. Большие языковые модели, с которыми работают в чатах, относятся именно к нему.
Поэтому слова «нейросеть», «ИИ» и «машинное обучение» часто используют как синонимы, хотя это разные уровни понятий. Искусственный интеллект — широкая область, в которую входят и правила, написанные вручную, и машинное обучение. Подробнее об этом — в статье Что такое искусственный интеллект простыми словами.
Где это уже работает
- Фильтры спама и мошеннических писем обучаются на размеченной почте и постоянно дообучаются на новых примерах.
- Рекомендации в музыке, видео и магазинах предсказывают, что понравится, по прошлым просмотрам и покупкам.
- Распознавание лиц и поиск по фото в телефоне сопоставляют изображения с уже известными образцами.
- Прогнозы спроса в магазине, времени доставки и вероятности отказа по заявке на кредит.
- Перевод и голосовые помощники опираются на распознавание речи и обработку текста.
Как оценивают качество модели
Чтобы понять, хороша ли модель, используют метрики. Самая простая — точность: доля правильных ответов. Но она вводит в заблуждение, если событий одного типа почти нет. Например, если из тысячи писем только десять — спам, модель, которая всё помечает как «не спам», получит 99% точности и при этом бесполезна. Поэтому смотрят ещё на полноту, то есть долю найденного спама, и на точность срабатываний, то есть долю действительно спамовых писем среди помеченных.
Выбор метрики зависит от цены ошибки. Пропущенный мошеннический платёж обойдётся дороже, чем лишняя проверка честной операции, поэтому банки обычно настраивают модель на полноту.
Ограничения и риски
Машинное обучение зависит от данных. Если примеров мало или они смещены, модель будет ошибаться там же, где ошибаются данные. Известны случаи, когда системы подбора персонала воспроизводили перекосы из старых решений. Поэтому результаты стоит проверять, особенно там, где решение касается людей.
Модель также не понимает смысла так, как человек. Она находит статистические связи, и иногда они оказываются случайными. Хорошая привычка — спрашивать, на каких данных обучена система и как её проверяли. Для знакомства с темой полезно также прочитать статью о том, как работает ИИ.
Что это даёт при работе с нейросетями
Базовые идеи помогают точнее формулировать задачи. Нейросеть не знает вашего бизнеса, зато хорошо справляется с типовыми задачами, если дать ей контекст и пример. Какая модель справится лучше, зависит от задачи, и это проще проверить на практике, чем по описаниям. Подборку моделей по типам задач можно посмотреть в статье Лучшие нейросети. В Умке можно сравнить ответы разных моделей на одну и ту же задачу, не разбираясь в настройке обучения. Подробнее о возможностях — на странице что умеют нейросети в Умке.
Сравните модели в одном чате
Задайте один вопрос нескольким нейросетям и выберите лучший ответ. Оплата в рублях, без VPN.
Открыть Умку →Вывод
Машинное обучение учит программу находить закономерности по примерам. Оно лежит в основе большинства современных нейросетей, поэтому понимание видов обучения, метрик и ограничений данных помогает трезво оценивать ИИ-инструменты. Попробовать модели на своих задачах можно в Умке: начните с простого запроса и сравните два-три ответа.
Вопросы и ответы
Чем машинное обучение отличается от искусственного интеллекта?
Искусственный интеллект — широкая область, которая включает и правила, написанные вручную. Машинное обучение — один из её методов: модель сама находит закономерности в данных.
Нужно ли уметь программировать, чтобы понять машинное обучение?
Нет. Базовые идеи понятны без кода. Для практической работы с моделями понадобятся Python, математика и опыт работы с данными.
Почему нейросеть иногда ошибается, хотя её долго обучали?
Модель выучивает статистические закономерности, которые не всегда совпадают с фактами. Ошибки чаще возникают на данных, непохожих на те, на которых модель обучалась.