Atbalsta vektora mašīna (SVM) ir jaudīgs mašīnmācīšanās algoritms, ko izmanto lineārai vai nelineārai klasifikācijai, regresijai un pat noviržu noteikšanas uzdevumiem. SVM var izmantot dažādiem uzdevumiem, piemēram, teksta klasifikācijai, attēlu klasifikācijai, surogātpasta noteikšanai, rokraksta identificēšanai, gēnu ekspresijas analīzei, sejas noteikšanai un anomāliju noteikšanai. SVM ir pielāgojami un efektīvi dažādās lietojumprogrammās, jo tie var pārvaldīt augstas dimensijas datus un nelineāras attiecības.

SVM algoritmi ir ļoti efektīvi, jo mēs cenšamies atrast maksimālo atdalīšanas hiperplāksni starp dažādām mērķa līdzeklī pieejamajām klasēm.

vesels skaitlis līdz virknei Java

Atbalstiet vektoru mašīnu

Atbalsta vektora mašīna (SVM) ir a uzraudzīta mašīnmācība algoritms, ko izmanto gan klasifikācijai, gan regresijai. Lai gan mēs sakām arī regresijas problēmas, tas ir vislabāk piemērots klasifikācijai. SVM algoritma galvenais mērķis ir atrast optimālo hiperplakni N-dimensiju telpā, kas var atdalīt datu punktus dažādās klasēs objektu telpā. Hiperplakne cenšas panākt, lai starpība starp dažādu klašu tuvākajiem punktiem būtu pēc iespējas lielāka. Hiperplaknes izmērs ir atkarīgs no pazīmju skaita. Ja ievades pazīmju skaits ir divi, tad hiperplakne ir tikai līnija. Ja ievades pazīmju skaits ir trīs, tad hiperplakne kļūst par 2-D plakni. Kļūst grūti iedomāties, kad funkciju skaits pārsniedz trīs.

Apskatīsim divus neatkarīgus mainīgos x₁, x_2,un viens atkarīgais mainīgais, kas ir zils vai sarkans aplis.

Lineāri atdalāmi datu punkti

No iepriekš redzamā attēla ir ļoti skaidrs, ka ir vairākas līnijas (mūsu hiperplakne šeit ir līnija, jo mēs apsveram tikai divus ievades līdzekļus x₁, x₂), kas atdala mūsu datu punktus vai veic klasifikāciju starp sarkanajiem un zilajiem apļiem. Tātad, kā izvēlēties labāko līniju vai vispār labāko hiperplānu, kas atdala mūsu datu punktus?

Kā darbojas SVM?

Viena saprātīga labākā hiperplāna izvēle ir tā, kas atspoguļo lielāko atšķirību vai rezervi starp abām klasēm.

Vairākas hiperplānas atdala datus no divām klasēm

Tāpēc mēs izvēlamies hiperplakni, kuras attālums no tās līdz tuvākajam datu punktam katrā pusē ir maksimizēts. Ja šāda hiperplāna pastāv, to sauc par maksimālās robežas hiperplakne/cietā rezerve . Tātad no iepriekš minētā attēla mēs izvēlamies L2. Apskatīsim scenāriju, kā parādīts tālāk

Hiperplaknes atlase datiem ar novirzēm

Šeit mums ir viena zila bumbiņa sarkanās bumbiņas robežās. Tātad, kā SVM klasificē datus? Tas ir vienkārši! Zilā bumbiņa sarkano bumbiņu robežās ir zilo bumbiņu novirze. SVM algoritmam ir īpašības, kas ļauj ignorēt novirzes, un tas atrod labāko hiperplānu, kas palielina rezervi. SVM ir izturīgs pret novirzēm.

Hiperplakne, kas ir visvairāk optimizēta

Tātad šāda veida datu punktā SVM atrod maksimālo rezervi, kā tas tika darīts ar iepriekšējām datu kopām, kā arī pievieno sodu katru reizi, kad punkts šķērso robežu. Tātad piemales šādos gadījumos tiek sauktas mīkstās malas . Ja datu kopai ir mīksta rezerve, SVM mēģina to samazināt (1/marža+∧(∑sods)) . Eņģes zudums ir bieži izmantots sods. Ja nav pārkāpumu nav eņģes zudumu. Ja pārkāpumi viras zudums proporcionāls attālumam pārkāpuma.

Līdz šim mēs runājām par lineāri atdalāmiem datiem (zilo bumbiņu un sarkano bumbiņu grupu var atdalīt ar taisnu/lineāru līniju). Ko darīt, ja dati nav lineāri atdalāmi?

Sākotnējā 1D datu kopa klasifikācijai

Teiksim, mūsu dati ir parādīti attēlā iepriekš. SVM to atrisina, izveidojot jaunu mainīgo, izmantojot a kodols . Mēs saucam punktu x_iuz līnijas un mēs izveidojam jaunu mainīgo y_ikā funkcija no attāluma no izcelsmes o.tāpēc, ja mēs to uzzīmējam, mēs iegūstam kaut ko līdzīgu, kā parādīts zemāk

1D datu kartēšana uz 2D, lai varētu nodalīt abas klases

Šajā gadījumā jaunais mainīgais y tiek izveidots kā attāluma no sākuma funkcija. Nelineāra funkcija, kas rada jaunu mainīgo, tiek saukta par kodolu.

Atbalstiet vektoru mašīnu terminoloģiju

Hiperplakne: Hiperplakne ir lēmuma robeža, ko izmanto, lai objektu telpā atdalītu dažādu klašu datu punktus. Lineārās klasifikācijas gadījumā tas būs lineārs vienādojums, t.i., wx+b = 0. Atbalsta vektori: atbalsta vektori ir hiperplaknei tuvākie datu punkti, kam ir izšķiroša nozīme hiperplaknes un robežas noteikšanā. Piemale: robeža ir attālums starp atbalsta vektoru un hiperplakni. Atbalsta vektora mašīnas algoritma galvenais mērķis ir maksimāli palielināt rezervi. Plašāka robeža norāda uz labāku klasifikācijas veiktspēju.Kodols: Kodols ir matemātiskā funkcija, ko izmanto SVM, lai kartētu sākotnējos ievades datu punktus augstas dimensijas objektu telpās, lai hiperplakni varētu viegli noskaidrot pat tad, ja datu punkti nav lineāri atdalāmi sākotnējā ievades telpā. Dažas no izplatītākajām kodola funkcijām ir lineāras, polinomiālas, radiālās bāzes funkcijas (RBF) un sigmoīdas. Cietā robeža: maksimālās robežas hiperplakne vai cietās piemales hiperplakne ir hiperplakne, kas pareizi atdala dažādu kategoriju datu punktus bez nepareizas klasifikācijas. Soft Margin: ja dati nav pilnībā atdalāmi vai tajos ir novirzes, SVM pieļauj mīkstās piemales paņēmienu. Katram datu punktam ir atslābināts mainīgais, ko ievada mīkstās robežas SVM formulējums, kas mīkstina stingrās rezerves prasības un pieļauj noteiktas nepareizas klasifikācijas vai pārkāpumus. Tas atklāj kompromisu starp rezerves palielināšanu un pārkāpumu samazināšanu.C: maržas maksimizēšanas un nepareizas klasifikācijas naudas sodi tiek līdzsvaroti ar SVM legalizācijas parametru C. Tā nosaka sodu par robežvērtības pārsniegšanu vai datu vienību nepareizu klasifikāciju. Stingrāks sods tiek piemērots ar lielāku C vērtību, kas rada mazāku rezervi un, iespējams, mazāk nepareizu klasifikāciju. Eņģes zudums: tipiska SVM zaudēšanas funkcija ir eņģes zudums. Tas soda par nepareizu klasifikāciju vai maržas pārkāpumiem. Mērķa funkcija SVM bieži tiek veidota, apvienojot to ar regularizācijas terminu. Duālā problēma: SVM risināšanai var izmantot optimizācijas problēmas dubultproblēmu, kas prasa atrast ar atbalsta vektoriem saistītos Lagranža reizinātājus. Divkāršā formula ļauj izmantot kodola trikus un efektīvāku skaitļošanu.

Atbalsta vektora mašīnas matemātiskā intuīcija

Apsveriet binārās klasifikācijas problēmu ar divām klasēm, kas apzīmētas kā +1 un -1. Mums ir apmācības datu kopa, kas sastāv no ievades pazīmju vektoriem X un tiem atbilstošajām klases iezīmēm Y.

Lineārās hiperplaknes vienādojumu var uzrakstīt šādi:

Vektors W attēlo hiperplaknes normālo vektoru. i., virziens, kas ir perpendikulārs hiperplaknei. Parametrs b vienādojumā attēlo hiperplaknes nobīdi vai attālumu no sākuma pa normālo vektoru In .

Attālumu starp datu punktu x_i un lēmuma robežu var aprēķināt šādi:

ja vēl bash čaulā

kur ||w|| apzīmē svara vektora w Eiklīda normu. Eiklīda normaparastā vektora W

Lineārajam SVM klasifikatoram:

Optimizācija:

Cietās robežas lineārajam SVM klasifikatoram:

i mērķa mainīgais vai apzīmējums^thapmācības gadījums ir apzīmēts ar simbolu t_išajā paziņojumā. Un t_i=-1 negatīviem gadījumiem (kad y_i= 0) un t_i=1 pozitīvs gadījums (kad y_i= 1) attiecīgi. Tā kā mums ir nepieciešama lēmuma robeža, kas atbilst ierobežojumam:

Soft margin lineārajam SVM klasifikatoram:

Duāla problēma: SVM risināšanai var izmantot optimizācijas problēmas dubulto problēmu, kas prasa atrast Lagranža reizinātājus, kas saistīti ar atbalsta vektoriem. Optimālie Lagranža reizinātāji α(i), kas maksimāli palielina šādu dubulto mērķa funkciju

kurš ir Fredijs Merkūrijs

kur,

• a_iir Lagranža reizinātājs, kas saistīts ar i-to apmācības paraugu.
• K(x_i, x_j) ir kodola funkcija, kas aprēķina līdzību starp diviem paraugiem x_iun x_j. Tas ļauj SVM risināt nelineāras klasifikācijas problēmas, netieši kartējot paraugus augstākas dimensijas funkciju telpā.
• Termins ∑α_iir visu Lagranža reizinātāju summa.

SVM lēmumu robežu var aprakstīt ar šiem optimālajiem Lagranža reizinātājiem un atbalsta vektoriem, kad ir atrisināta dubultā problēma un ir atklāti optimālie Lagranža reizinātāji. Apmācības paraugi, kuriem i> 0 ir atbalsta vektori, savukārt lēmuma robežu nodrošina:

Atbalsta vektora mašīnu veidi

Pamatojoties uz lēmumu robežas raksturu, atbalsta vektora mašīnas (SVM) var iedalīt divās galvenajās daļās.

Lineārais SVM: Lineārie SVM izmanto lineāru lēmumu robežu, lai atdalītu dažādu klašu datu punktus. Ja datus var precīzi lineāri atdalīt, lineārie SVM ir ļoti piemēroti. Tas nozīmē, ka viena taisna līnija (2D) vai hiperplakne (augstākās dimensijās) var pilnībā sadalīt datu punktus to attiecīgajās klasēs. Hiperplakne, kas maksimāli palielina starpību starp klasēm, ir lēmuma robeža. Nelineārais SVM: Nelineārais SVM var tikt izmantots, lai klasificētu datus, ja tos nevar sadalīt divās klasēs ar taisnu līniju (2D gadījumā). Izmantojot kodola funkcijas, nelineārie SVM var apstrādāt nelineāri atdalāmus datus. Sākotnējos ievades datus šīs kodola funkcijas pārveido augstākas dimensijas funkciju telpā, kur datu punktus var lineāri atdalīt. Lineārais SVM tiek izmantots, lai šajā modificētajā telpā atrastu nelineāru lēmumu robežu.

Populāras kodola funkcijas SVM

SVM kodols ir funkcija, kas aizņem zemas dimensijas ievades vietu un pārveido to augstākās dimensijas telpā, ti, tā pārvērš neatdalāmas problēmas atdalāmās. Tas galvenokārt ir noderīgs nelineārās atdalīšanas problēmās. Vienkārši sakot, kodols veic dažas ārkārtīgi sarežģītas datu transformācijas un pēc tam uzzina datu atdalīšanas procesu, pamatojoties uz definētajām etiķetēm vai izvadēm.

SVM priekšrocības

• Efektīva liela izmēra gadījumos.
• Tās atmiņa ir efektīva, jo lēmuma funkcijā tā izmanto apmācības punktu apakškopu, ko sauc par atbalsta vektoriem.
• Lēmuma funkcijām var norādīt dažādas kodola funkcijas, un ir iespējams norādīt pielāgotus kodolus.

SVM ieviešana Python

Paredzēt, vai vēzis ir labdabīgs vai ļaundabīgs. Izmantojot vēsturiskos datus par pacientiem, kuriem diagnosticēts vēzis, ārsti var atšķirt ļaundabīgos gadījumus, un labdabīgiem tiek piešķirti neatkarīgi atribūti.

Soļi

• Ielādējiet krūts vēža datu kopu no sklearn.datasets
• Atsevišķi ievades līdzekļi un mērķa mainīgie.
• Izveidojiet un apmāciet SVM klasifikatorus, izmantojot RBF kodolu.
• Uzzīmējiet ievades pazīmju izkliedes diagrammu.
• Uzzīmējiet lēmuma robežu.
• Uzzīmējiet lēmuma robežu

Python3

>

>

Izvade :

Krūts vēža klasifikācija ar SVM RBF kodolu