Mašīnmācīšanās hiperparametri ir tie parametri, kurus lietotājs ir skaidri definējis, lai kontrolētu mācību procesu. Šie hiperparametri tiek izmantoti, lai uzlabotu modeļa apguvi, un to vērtības tiek iestatītas pirms modeļa apguves procesa uzsākšanas.

Šajā tēmā mēs apspriedīsim vienu no svarīgākajiem mašīnmācīšanās jēdzieniem, t.i., hiperparametri, to piemēri, hiperparametru regulēšana, hiperparametru kategorijas, kā hiperparametrs atšķiras no parametra mašīnmācībā? Bet pirms darba sākšanas vispirms sapratīsim hiperparametru.

Kas ir hiperparametri?

Mašīnmācībā/dziļā apmācībā modelis tiek attēlots ar tā parametriem. Turpretim apmācības process ietver labāko/optimālo hiperparametru atlasi, ko izmanto mācību algoritmi, lai nodrošinātu vislabāko rezultātu. Tātad, kādi ir šie hiperparametri? Atbilde ir:' Hiperparametri ir definēti kā parametri, kurus lietotājs ir skaidri definējis, lai kontrolētu mācību procesu.

Šeit prefikss 'hiper' norāda, ka parametri ir augstākā līmeņa parametri, kas tiek izmantoti mācību procesa kontrolē. Hiperparametra vērtību atlasa un iestata mašīnmācīšanās inženieris, pirms mācību algoritms sāk apmācīt modeli. Tādējādi tie ir ārpus modeļa, un to vērtības nevar mainīt apmācības procesa laikā .

raksturs uz int java

Daži hiperparametru piemēri mašīnmācībā

• K in kNN vai K-tuvākā kaimiņa algoritms
• Mācību ātrums neironu tīkla apmācībai
• Vilciena un testa sadalījuma attiecība
• Partijas lielums
• Laikmetu skaits
• Zari lēmumu kokā
• Klasteru skaits klasterizācijas algoritmā

Atšķirība starp parametru un hiperparametru?

Vienmēr pastāv liela neskaidrība starp parametriem un hiperparametriem vai modeļa hiperparametriem. Tātad, lai novērstu šo neskaidrību, sapratīsim atšķirību starp abiem un to, kā tie ir saistīti viens ar otru.

Modeļa parametri:

Modeļa parametri ir konfigurācijas mainīgie, kas ir modeļa iekšēji, un modelis tos apgūst pats. Piemēram , W Neatkarīgo mainīgo svari vai koeficienti lineārās regresijas modelī . vai Neatkarīgo mainīgo svērumi vai koeficienti SVM, neironu tīkla svars un novirzes, klasteru centroīds klasterizācijā. Daži galvenie modeļa parametru punkti ir šādi:

• Modelis tos izmanto prognožu veikšanai.
• Modelis tos apgūst no pašiem datiem
• Tie parasti netiek iestatīti manuāli.
• Šī ir modeļa daļa un mašīnmācīšanās algoritma atslēga.

Modeļa hiperparametri:

Hiperparametri ir tie parametri, kurus lietotājs ir skaidri definējis, lai kontrolētu mācību procesu. Daži galvenie modeļa parametru punkti ir šādi:

• Parasti tos manuāli definē mašīnmācīšanās inženieris.
• Nevar zināt precīzu hiperparametru labāko vērtību konkrētajai problēmai. Labāko vērtību var noteikt vai nu pēc īkšķa principa, vai ar izmēģinājumu un kļūdu metodi.
• Daži hiperparametru piemēri ir mācīšanās ātrums neironu tīkla apmācībai, K KNN algoritmā,

Hiperparametru kategorijas

Vispārīgi hiperparametrus var iedalīt divās kategorijās, kas norādītas tālāk:

Hiperparametrs optimizācijai Hiperparametrs konkrētiem modeļiem

Hiperparametrs optimizācijai

Labāko izmantojamo hiperparametru atlases process ir pazīstams kā hiperparametru regulēšana, un regulēšanas process ir pazīstams arī kā hiperparametru optimizācija. Optimizācijas parametri tiek izmantoti modeļa optimizēšanai.

Tālāk ir norādīti daži no populārākajiem optimizācijas parametriem:

Mācību līmenis:Mācīšanās ātrums ir hiperparametrs optimizācijas algoritmos, kas kontrolē, cik daudz modelim ir jāmaina, reaģējot uz aplēsto kļūdu katrā reizē, kad tiek atjaunināti modeļa svari. Tas ir viens no izšķirošajiem parametriem, veidojot neironu tīklu, kā arī nosaka salīdzināšanas biežumu ar modeļa parametriem. Optimizēta mācīšanās ātruma izvēle ir sarežģīts uzdevums, jo, ja mācīšanās ātrums ir ļoti mazāks, tas var palēnināt apmācības procesu. No otras puses, ja mācīšanās ātrums ir pārāk liels, tas var nepareizi optimizēt modeli.

Piezīme. Mācīšanās ātrums ir būtisks hiperparametrs modeļa optimizēšanai, tādēļ, ja ir nepieciešams noregulēt tikai vienu hiperparametru, ir ieteicams noregulēt mācīšanās ātrumu.

Partijas lielums:Lai paātrinātu mācību procesu, apmācības komplekts ir sadalīts dažādās apakškopās, kuras sauc par pakešu. Laikmetu skaits: Laikmetu var definēt kā pilnu mašīnmācīšanās modeļa apmācības ciklu. Laikmets ir iteratīvs mācību process. Laikmetu skaits dažādiem modeļiem ir atšķirīgs, un dažādi modeļi tiek veidoti ar vairāk nekā vienu laikmetu. Lai noteiktu pareizo laikmetu skaitu, tiek ņemta vērā validācijas kļūda. Epohu skaits tiek palielināts, līdz tiek samazināta validācijas kļūda. Ja secīgajiem laikmetiem redukcijas kļūda nav uzlabojusies, tas norāda, ka jāpārtrauc laikmetu skaita palielināšana.

Hiperparametrs konkrētiem modeļiem

Hiperparametri, kas ir iesaistīti modeļa struktūrā, ir zināmi kā hiperparametri konkrētiem modeļiem. Tie ir norādīti zemāk:

Vairākas slēptās vienības:Slēptās vienības ir daļa no neironu tīkliem, kas attiecas uz komponentiem, kas ietver procesoru slāņus starp ievades un izvades vienībām neironu tīklā.

Ir svarīgi norādīt neironu tīkla slēpto vienību hiperparametru skaitu. Tam jābūt starp ievades slāņa izmēru un izvades slāņa izmēru. Precīzāk, slēpto vienību skaitam jābūt 2/3 no ievades slāņa lieluma, kam pieskaita izvades slāņa izmēru.

Sarežģītām funkcijām ir jānorāda slēpto vienību skaits, taču tam nevajadzētu pārspīlēt modeli.

Slāņu skaits:Neironu tīklu veido vertikāli sakārtoti komponenti, kurus sauc par slāņiem. Galvenokārt ir ievades slāņi, slēptie slāņi un izvades slāņi . 3 slāņu neironu tīkls nodrošina labāku veiktspēju nekā 2 slāņu tīkls. Konvolucionālajam neironu tīklam lielāks slāņu skaits veido labāku modeli.

Secinājums

Hiperparametri ir parametri, kas ir skaidri definēti, lai kontrolētu mācību procesu pirms mašīnmācības algoritma izmantošanas datu kopai. Tos izmanto, lai norādītu modeļa mācīšanās spēju un sarežģītību. Daži hiperparametri tiek izmantoti modeļu optimizēšanai, piemēram, partijas lielums, mācīšanās ātrums utt., un daži ir specifiski modeļiem, piemēram, slēpto slāņu skaits utt.