Q:
Як інженери можуть оцінювати навчальні набори та тестові набори, щоб виявити можливе перевищення в машинному навчанні?
A:Щоб зрозуміти, як це робиться, необхідно зрозуміти ролі різних наборів даних у типовому проекті машинного навчання. Навчальний набір створений для того, щоб надати технологію орієнтиру - базову лінію даних, яку програма використовує для прийняття прогнозних та ймовірнісних рішень. Тестовий набір - це тестування машини на даних.
Переобладнання - це синдром в машинному навчанні, коли модель не повністю відповідає даним або цілям.
| Безкоштовне завантаження: машинне навчання і чому це важливо |
Однією з найважливіших заповідей машинного навчання є те, що дані про навчання та дані тестів повинні бути окремими наборами даних. З цього приводу існує досить широкий консенсус, принаймні у багатьох програмах, через деякі конкретні проблеми із використанням того ж набору, який ви використовували для навчання для тестування програми машинного навчання.
Коли програма машинного навчання використовує навчальний набір, який можна назвати по суті набором входів, він відпрацьовує цей навчальний набір для прийняття рішень щодо прогнозованих результатів. Один дуже базовий спосіб задуматися над тим, що навчальний набір - це «їжа» для інтелектуальних обчислювальних процесів.
Тепер, коли той самий набір використовується для тестування, машина часто може повернути відмінні результати. Це тому, що він уже бачив ці дані раніше. Але вся мета машинного навчання у багатьох випадках - це отримати результати щодо даних, які раніше не бачили. Програми машинного навчання загального призначення створені для роботи на різних наборах даних. Іншими словами, принцип машинного навчання - це відкриття, і ви зазвичай не отримуєте стільки цього, використовуючи початковий навчальний набір для тестових цілей.
Оцінюючи навчальні набори та тестові набори для можливого накладання інженерів, інженери можуть оцінити результати та з'ясувати, чому програма може зробити це по-різному на порівняльних результатах цих двох наборів, або в деяких випадках, як машина може занадто добре робити дані про навчання .
Описуючи деякі з цих проблем у машинному навчанні у 2014 році, Джейсон Браунлі з Мастерства машинного навчання описує надмірну підготовку таким чином:
"Модель, яка вибирається для її точності на навчальному наборі даних, а не точності на невідомій тестовій наборі даних, швидше за все, має меншу точність на небаченому тестовому наборі даних", - пише Браунлі. "Причина полягає в тому, що модель не настільки узагальнена. Вона спеціалізується на структурі навчального набору даних (курсив доданий). Це називається переозброєнням, і воно підступніше, ніж ви думаєте".
Простіше кажучи, можна сказати, що спеціалізуючись на наборі даних про навчання, програма стає занадто жорсткою. Це ще один метафоричний спосіб зрозуміти, чому програма машинного навчання не обслуговується оптимально, використовуючи навчальний набір для тестового набору. Це також хороший спосіб підійти до оцінки цих двох різних наборів, адже результати покажуть інженерам багато про те, як працює програма. Ви хочете менший розрив між точністю для обох моделей. Ви хочете переконатися, що система не перенавантажена або «точно сплавлена» до певного набору даних, але це більш загальне і здатне рости і розвиватися в команді.
