TechCodeview

Pēdējos gados dziļā mācīšanās ir mainījusi datora redzes lauku, ļaujot datoriem uztvert un izdomāt vizuālo informāciju neparastā līmenī. Konvolucionālo neironu tīklu (CNN) spēlei bija izšķiroša ietekme uz šīm izmaiņām, un daži revolucionāri modeļi vadīja ceļu. Divas no ietekmīgākajām CNN struktūrām ir AlexNet un GoogleNet (InceptionNet). Abi modeļi kopumā ir papildinājuši attēlu klasifikācijas uzdevumu progresu, tomēr to struktūras un dizaina principi atšķiras. Šajā rakstā mēs iedziļināsimies galvenajās AlexNet un GoogleNet atšķirībās, izpētot to struktūras, dizaina lēmumus un izpildi.

Galvenās atšķirības starp AlexNet un GoogleNet

Kas ir AlexNet?

AlexNet ir ievērojama konvolucionālā neironu tīkla (CNN) arhitektūra, ko radījuši Alekss Križevskis, Iļja Suckevers un Džefrijs Hintons. Tas tika ieviests 2012. gadā un guva būtisku progresu ImageNet liela mēroga vizuālās atpazīšanas izaicinājumā (ILSVRC), būtībā pārspējot dažādas metodoloģijas. AlexNet bija galvenais CNN, kas parādīja dziļas mācīšanās dzīvotspēju attēlu secības uzdevumiem, norādot uz noteicošo brīdi datorredzes jomā.

1. Arhitektūra

Izlaists 2012. gadā, AlexNet bija vadošais CNN, kas uzvarēja ImageNet Large Scope Visual Recognition Challenge (ILSVRC) ar kritisku kļūdu iespēju. Tas sastāv no pieciem konvolucionāliem slāņiem, kam seko trīs pilnībā saistīti slāņi. ReLU (Redressed Direct Unit) iedarbināšanas un kaimiņattiecību reakcijas standartizācijas (LRN) izmantošana palielināja tās labklājību. AlexNet papildus iepazīstināja ar ideju par GPU iesaistīšanu sagatavošanā, kas kopumā paātrināja pieaugošo pieredzi.

2. Tīkla dziļums:

Ar astoņiem slāņiem (pieci konvolucionāli un trīs pilnībā saistīti slāņi) AlexNet prezentācijas stundā tika uzskatīts par dziļu. Neskatoties uz to, atšķirībā no pašreizējiem dizainiem, tas parasti ir sekla, ierobežojot tā spēju uztvert prātam neaptveramus elementus un piemērus ārkārtīgi sarežģītās datu kopās.

3. Skaitļošanas produktivitāte:

Lai gan AlexNet GPU sagatavošanas prezentācija paātrināja izglītojošo pieredzi, tā joprojām bija skaitļošanas ziņā dārga, jo tajā ir dziļāki pilnībā saistītie slāņi un ierobežota paralelizācijas izmantošana.

4. Pārmērīga aprīkošana:

Savas mēreni sekla dizaina un milzīgā robežu skaita dēļ AlexNet bija vairāk tendēts uz pārmērību, it īpaši pieticīgākās datu kopās. Pēc tam tika iepazītas tādas stratēģijas kā pamešana, lai risinātu šo problēmu.

5. Apmācība:

Lai apmācītu AlexNet, veidotāji izmantoja ImageNet datu kopu, kurā ir vairāk nekā 1 000 000 nosauktu attēlu no 1000 klasifikācijām. Viņi izmantoja stohastisko leņķa kritumu (SGD) ar enerģiju kā uzlabojuma aprēķinu. Apmācības laikā tika izmantotas tādas informācijas paplašināšanas metodes kā patvaļīga rediģēšana un apvēršana, lai paplašinātu apmācības datu kopas lielumu un turpinātu vispārināšanu.

Apmācības sistēma tika pieprasīta skaitļošanas veidā, un AlexNet GPU izmantošana vienlīdzīgai apstrādei bija būtiska. AlexNet apmācībai dubultā GPU sistēmā bija nepieciešamas aptuveni septiņas dienas, kas bija būtisks uzlabojums pretstatā parastajiem datora procesora apmācības laikiem.

6. Rezultāti:

ImageNet 2012. gada sāncensībā AlexNet sasniedza ievērojamu piecu labāko kļūdu tempu — aptuveni 15,3%, pārliecinoši pārspējot dažādas metodoloģijas.

AlexNet rezultāts izraisīja intereses plūdus par dziļu mācīšanos un CNN, izraisot izmaiņas datora redzes lokālā apgabala koncentrācijā uz papildu sarežģītiem un dziļākiem neironu tīkliem.

7. Konvolūcijas slāņa iestatīšana:

AlexNet konvolucionālie slāņi ir sakārtoti pamata secībā, periodiski izmantojot maksimālās apvienošanas slāņus, lai samazinātu paraugu ņemšanu. Šī skaidrā inženierija tajā brīdī bija nozīmīga, tomēr tā ierobežoja organizācijas spēju uztvert sarežģītus progresīvus elementus.

8. Dimensionalitātes samazināšana:

AlexNet ietver maksimālu apvienošanas slāņus, lai samazinātu paraugu ņemšanu, samazinot elementu karšu telpiskos komponentus. Tas palīdz samazināt skaitļošanas svaru un kontrolēt pārmērīgu uzstādīšanu.

9. Modeļa izmērs un sarežģītība:

Lai gan AlexNet tajā brīdī tika uzskatīts par dziļu, tas ir nedaudz pieticīgāks un mazāk sarežģīts pretstatā vēlākiem dizainiem. Šī vienkāršība padarīja to acīmredzamāku un izpildāmāku.

10. Klasifikatoru palīgu izmantošana:

Lai atrisinātu jautājumu par iztvaikošanas leņķiem sagatavošanas laikā, AlexNet iepazīstināja ar ideju par palīgu klasifikatoriem. Šie papildu klasifikatori tika savienoti ar vidējiem slāņiem un deva leņķa zīmes iepriekšējiem slāņiem atpakaļpavairošanas laikā.

11. Ietekme uz pētniecības virzienu:

AlexNet iznākums nozīmēja milzīgas izmaiņas datora redzes laukā. Tas mudināja zinātniekus izpētīt dziļas mācīšanās iespējas dažādiem ar attēlu saistītiem uzdevumiem, mudinot ātri uzlabot tālāk izstrādātos CNN dizainus.

Kas ir GoogleNet?

GoogleNet, citādi saukts Inception v1, ir CNN arhitektūra, ko izveidojusi Google Brain grupa, īpaši Kristians Szegedijs, Vejs Liu un citi. Tas tika ieviests 2014. gadā un ieguva ILSVRC ar tālāk attīstītu precizitāti un skaitļošanas produktivitāti. GoogleNet arhitektūru raksturo tā dziļais dizains, kas sastāv no 22 slāņiem, padarot to par vienu no pirmajiem “īpaši dziļajiem” CNN.

1. Arhitektūra

atrodiet bloķētos numurus operētājsistēmā Android

GoogleNet (Inception v1): 2014. gadā prezentētais GoogleNet ir būtisks CNN sākuma grupai. Tas ir pazīstams ar savu dziļo dizainu, kas ietver 22 slāņus (sākuma moduļi). Būtiska GoogleNet attīstība ir sākuma modulis, kas ņem vērā dažādu izmēru kanālu vienādus līkumus līdzīgā slānī. Tas samazināja skaitļošanas sarežģītību, vienlaikus saglabājot precizitāti, padarot GoogleNet efektīvāku nekā AlexNet.

2. Tīkla dziļums:

GoogleNet sākuma moduļi tiek uzskatīti par būtībā dziļāku dizainu, nepalielinot skaitļošanas izdevumus. Ar 22 slāņiem GoogleNet bija viens no galvenajiem CNN, kas parādīja paplašinātā tīkla dziļuma priekšrocības, veicinot tālāku precizitātes un jaudas attīstību.

3. Skaitļošanas produktivitāte:

Sākuma moduļi pakalpojumā GoogleNet tiek uzskatīti par produktīvāku skaitļošanas līdzekļu izmantošanu. Izmantojot vienādus līkumus katrā sākuma blokā, GoogleNet samazināja robežu un aprēķinu skaitu, padarot to pieejamāku nepārtrauktām lietojumprogrammām un pārsūtīšanai uz līdzekļiem, kas saistīti ar sīkrīkiem.

4. Pārmērīga aprīkošana:

GoogleNet dziļais, tomēr efektīvais dizains būtiski mazināja pārmērīgu pielāgošanu, ļaujot tam labāk darboties pieticīgākās datu kopās un pārvietot mācību situācijas.

5. Apmācība:

GoogleNet apmācībā papildus tiek pētīta ImageNet datu kopas izmantošana, un vispārināšanas uzlabošanai tika izmantotas salīdzināmas informācijas palielināšanas procedūras. Lai kā arī būtu, GoogleNet dziļākas arhitektūras dēļ apmācības laikā prasīja vairāk skaitļošanas līdzekļu nekā AlexNet.

Sākuma moduļu izstrāde ļāva GoogleNet atrast zināmu harmoniju starp dziļumu un skaitļošanas efektivitāti. Vienādās līknes katrā sākuma blokā kopumā samazināja aprēķinu un robežu skaitu, padarot apmācību sasniedzamāku un efektīvāku.

6. Rezultāti:

GoogleNet konkursā ImageNet 2014 sasniedza lielisku piecu labāko kļūdu tempu — aptuveni 6,67%, pārspējot AlexNet prezentāciju.

GoogleNet dziļā, tomēr prasmīgā arhitektūra demonstrēja dziļāku neironu tīklu iespējas, vienlaikus saglabājot skaitļošanas iespējas, padarot to saistošāku patiesām lietojumprogrammām.

7. Konvolūcijas slāņa iestatīšana:

GoogleNet iepazīstināja ar ideju par sākuma moduļiem, kas sastāv no daudziem vienādiem dažāda lieluma kanālu slāņiem. Šis plāns ļauj pakalpojumam GoogleNet uztvert svarīgākos notikumus dažādos mērogos un kopumā strādā pie organizācijas spējas noņemt nozīmīgus elementus no dažādām pārdomāšanas pakāpēm.

8. Dimensionalitātes samazināšana:

neskatoties uz parasto maksimālo apvienošanu, GoogleNet izmanto izmēru samazināšanas metodes, piemēram, 1x1 līkumus. Šīs pieticīgākās konvolūcijas ir skaitļošanas ziņā mazāk eskalētas un palīdz samazināt elementu skaitu, vienlaikus aizsargājot pamatdatus.

9. Modeļa izmērs un sarežģītība:

GoogleNet izcelsmes moduļi nodrošina dziļāku dizainu ar vairāk slāņu un robežām. Šī sarežģītība, lai gan piedāvā tālāk attīstītu precizitāti, var arī padarīt organizāciju vairāk testēšanas, lai sagatavotos un kalibrētu.

10. Klasifikatoru palīgu izmantošana:

GoogleNet uzlaboja ideju par palīgu klasifikatoriem, iekļaujot tos iniciēšanas moduļos. Šie palīgklasifikatori veicina dziļāku slāņu sagatavošanu un uzlabo leņķa plūsmu, padarot sagatavošanu vienmērīgāku un efektīvāku.

11. Ietekme uz pētniecības virzienu:

GoogleNet sākuma moduļi piedāvāja efektīvu komponentu ieguvi dažādos mērogos. Šī ideja ietekmēja iegūto dizainu plānu, dodot analītiķiem iespēju pilnībā uzlabot organizācijas dziļumu un skaitļošanas produktivitāti, vienlaikus sekojot līdzi precizitātei vai tālāk attīstot to.

Secinājums

Gan AlexNet, gan GoogleNet ilgstoši ietekmē datora redzes un dziļās mācīšanās lauku. AlexNet demonstrēja CNN spēju attēlu atpazīšanas uzdevumiem un iestatīt turpmākai attīstībai. Vēlreiz GoogleNet iepazīstināja ar ideju par izcelsmes moduļiem, padarot tos gatavus efektīvākām un dziļākām CNN struktūrām.

Lai gan AlexNet un GoogleNet ir savi īpašie līdzekļi, dziļās mācīšanās joma kopš to prezentācijām ir būtiski attīstījusies. Mūsdienu dizainparaugi, piemēram, ResNet, DenseNet un EfficientNet, ir papildus palielinājuši precizitātes, produktivitātes un vispārināšanas robežas. Analītiķiem turpinot uzlabot un paplašināt šos būtiskos modeļus, datorredzes liktenis rada daudz ievērības cienīgākas saistības un papildu intriģējošas perspektīvas.