Гіперпараметри в машинному навчанні — це ті параметри, які явно визначаються користувачем для керування процесом навчання. Ці гіперпараметри використовуються для покращення навчання моделі, а їх значення встановлюються перед початком процесу навчання моделі.

In this topic, we are going to discuss one of the most important concepts of machine learning, i.e., Hyperparameters, their examples, hyperparameter tuning, categories of hyperparameters, how hyperparameter is different from parameter in Machine Learning? Але перш ніж почати, давайте спочатку розберемося з гіперпараметром.

Що таке гіперпараметри?

У Machine Learning/Deep Learning модель представлена ​​своїми параметрами. In contrast, a training process involves selecting the best/optimal hyperparameters that are used by learning algorithms to provide the best result. So, what are these hyperparameters? The answer is, ' Гіперпараметри визначаються як параметри, явно визначені користувачем для керування процесом навчання.'

Тут префікс «гіпер» означає, що параметри є параметрами верхнього рівня, які використовуються для керування процесом навчання. Значення гіперпараметра вибирається та встановлюється інженером машинного навчання перед тим, як алгоритм навчання починає навчання моделі. Отже, вони є зовнішніми по відношенню до моделі, і їх значення не можуть бути змінені в процесі навчання .

перехід непрозорості css

Деякі приклади гіперпараметрів у машинному навчанні

• K в алгоритмі kNN або K-Nearest Neighbor
• Швидкість навчання для навчання нейронної мережі
• Коефіцієнт поділу тренувальних тестів
• Кількість епох
• Гілки в дереві рішень

Різниця між параметром і гіперпараметром?

Завжди існує велика плутанина між параметрами та гіперпараметрами або гіперпараметрами моделі. Отже, щоб усунути цю плутанину, давайте зрозуміємо різницю між ними обома та як вони пов’язані один з одним.

Параметри моделі:

Параметри моделі – це змінні конфігурації, які є внутрішніми для моделі, і модель вивчає їх самостійно. Наприклад , W Ваги або коефіцієнти незалежних змінних у моделі лінійної регресії . або Ваги або коефіцієнти незалежних змінних у SVM, вага та зміщення нейронної мережі, центроїд кластера в кластеризації. Деякі ключові моменти для параметрів моделі:

• Вони використовуються моделлю для прогнозування.
• Вони вивчаються моделлю з самих даних
• Зазвичай вони не встановлюються вручну.
• Це частина моделі та ключ до алгоритму машинного навчання.

Гіперпараметри — це ті параметри, які явно визначаються користувачем для керування процесом навчання. Деякі ключові моменти для параметрів моделі:

• Зазвичай вони визначаються вручну інженером машинного навчання.
• Деякі приклади гіперпараметрів швидкість навчання для навчання нейронної мережі, K в алгоритмі KNN,

Категорії гіперпараметрів

Загалом гіперпараметри можна розділити на дві категорії, які наведено нижче:

Гіперпараметр для оптимізації

Гіперпараметр для оптимізації

The process of selecting the best hyperparameters to use is known as hyperparameter tuning, and the tuning process is also known as hyperparameter optimization. Параметри оптимізації використовуються для оптимізації моделі.

Деякі з популярних параметрів оптимізації наведено нижче:

Щоб підвищити швидкість процесу навчання, навчальний набір розділений на різні підмножини, які називаються пакетами. Епоху можна визначити як повний цикл навчання моделі машинного навчання. Епоха являє собою ітеративний процес навчання. The number of epochs varies from model to model, and various models are created with more than one epoch. To determine the right number of epochs, a validation error is taken into account. The number of epochs is increased until there is a reduction in a validation error. If there is no improvement in reduction error for the consecutive epochs, then it indicates to stop increasing the number of epochs.

Гіперпараметри, які беруть участь у структурі моделі, відомі як гіперпараметри для конкретних моделей. Вони наведені нижче:

Кілька прихованих одиниць:

Для нейронної мережі важливо вказати гіперпараметр кількості прихованих одиниць. Він має бути між розміром вхідного шару та розміром вихідного шару. Точніше, кількість прихованих блоків має становити 2/3 розміру вхідного шару плюс розмір вихідного шару.

Для складних функцій необхідно вказати кількість прихованих блоків, але воно не повинно перевищувати модель.

Нейронна мережа складається з вертикально розташованих компонентів, які називаються шарами. There are mainly вхідні шари, приховані шари та вихідні шари . A 3-layered neural network gives a better performance than a 2-layered network. For a Convolutional Neural network, a greater number of layers make a better model.

Висновок

Hyperparameters are the parameters that are explicitly defined to control the learning process before applying a machine-learning algorithm to a dataset. Вони використовуються для визначення здатності до навчання та складності моделі. Some of the hyperparameters are used for the optimization of the models, such as Batch size, learning rate, etc., and some are specific to the models, such as Number of Hidden layers, etc.