TechCodeview

PyTorch nodrošina moduli torch.nn, lai palīdzētu mums izveidot un apmācīt neironu tīklu. Vispirms mēs apmācīsim pamata neironu tīklu MNIST datu kopā, neizmantojot nekādas šo modeļu funkcijas. Mēs izmantosim tikai pamata PyTorch tensora funkcionalitāti un pēc tam pakāpeniski pievienosim vienu līdzekli no torch.nn.

torch.nn nodrošina mums daudz vairāk nodarbību un moduļu, lai ieviestu un apmācītu neironu tīklu.

nn pakotne satur šādus moduļus un klases:

Jā nē	Klase un modulis	Apraksts
1.	lāpa.nn.Parametrs	Tas ir tenzora veids, kas jāuzskata par moduļa parametru.
2.	Konteineri
1) lāpa.nn.Modulis	Tā ir bāzes klase visiem neironu tīkla moduļiem.
2) lāpa.nn.Secīgi	Tas ir secīgs konteiners, kurā moduļi tiks pievienoti tādā pašā secībā, kādā tie tiek nodoti konstruktorā.
3) torch.nn.ModuleList	Tas satur apakšmoduļus sarakstā.
4) torch.nn.ModuleDict	Tas satur apakšmoduļus direktorijā.
5) torch.nn.ParameterList	Tas saglabās parametrus sarakstā.
6) torch.nn.parameterDict	Tas saglabās parametrus direktorijā.
3.	Konvolūcijas slāņi
1) torch.nn.Conv1d	Šī pakotne tiks izmantota, lai piemērotu 1D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
2) torch.nn.Conv2d	Šī pakotne tiks izmantota, lai piemērotu 2D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
3) torch.nn.Conv3d	Šī pakotne tiks izmantota, lai piemērotu 3D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
4) torch.nn.ConvTranspose1d	Šī pakotne tiks izmantota, lai lietotu 1D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
5) torch.nn.ConvTranspose2d	Šī pakotne tiks izmantota, lai lietotu 2D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
6) torch.nn.ConvTranspose3d	Šī pakotne tiks izmantota, lai lietotu 3D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
7) lāpa.nn.Atlocīt	To izmanto, lai izvilktu bīdāmos lokālos blokus no pakešu ievades tenzora.
8) lāpa.nn.Salieciet	To izmanto, lai apvienotu lokālo bīdāmo bloku masīvu lielā saturošā tensorā.
4.	Slāņu apvienošana
1) lāpa.nn.MaxPool1d	To izmanto, lai piemērotu 1D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
2) lāpa.nn.MaxPool2d	To izmanto, lai piemērotu 2D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
3) torch.nn.MaxPool3d	To izmanto, lai piemērotu 3D maksimālu apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
4) torch.nn.MaxUnpool1d	To izmanto, lai aprēķinātu MaxPool1d daļēju apgriezto vērtību.
5) torch.nn.MaxUnpool2d	To izmanto, lai aprēķinātu MaxPool2d daļēju apgriezto vērtību.
6) torch.nn.MaxUnpool3d	To izmanto, lai aprēķinātu MaxPool3d daļēju apgriezto vērtību.
7) torch.nn.AvgPool1d	To izmanto, lai piemērotu 1D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
8) torch.nn.AvgPool2d	To izmanto, lai piemērotu 2D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
9) torch.nn.AvgPool3d	To izmanto, lai piemērotu 3D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
10) torch.nn.FractionalMaxPool2d	To izmanto, lai piemērotu 2D daļēju maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
11) lāpa.nn.LPPool1d	To izmanto, lai piemērotu 1D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
12) lāpa.nn.LPPool2d	To izmanto, lai izmantotu 2D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
13) torch.nn.AdavtiveMaxPool1d	To izmanto, lai piemērotu 1D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
14) torch.nn.AdavtiveMaxPool2d	To izmanto, lai piemērotu 2D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
15) torch.nn.AdavtiveMaxPool3d	To izmanto, lai piemērotu 3D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
16) torch.nn.AdavtiveAvgPool1d	To izmanto, lai piemērotu 1D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
17) torch.nn.AdavtiveAvgPool2d	To izmanto, lai piemērotu 2D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
18) torch.nn.AdavtiveAvgPool3d	To izmanto, lai piemērotu 3D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
5.	Polsterējuma slāņi
1) lāpa.nn.ReflectionPad1d	Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu.
2) lāpa.nn.ReflactionPad2d	Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu.
3) torch.nn.ReplicationPad1	Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
4) torch.nn.ReplicationPad2d	Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
5) torch.nn.ReplicationPad3d	Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
6) lāpa.nn.ZeroPad2d	Ievades tenzora robežas tiks polsterētas ar nulli.
7) torch.nn.ConstantPad1d	Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
8) torch.nn.ConstantPad2d	Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
9) torch.nn.ConstantPad3d	Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
6.	Nelineāra aktivizācija (svērtā summa, nelinearitāte)
1) lāpa.nn.ELU	Tas tiks izmantots, lai lietotu elementu funkciju: ELU(x)=maks.(0,x)+min(0,α*(eksp(x)-1))
2) lāpa.nn.Hardshrink	To izmantos, lai piemērotu cietās saraušanās funkcijas elementu funkciju:
3) lāpa.nn.LeakyReLU	Tas tiks izmantots, lai lietotu elementu funkciju: LeakyReLu(x)=maks.(0,x) +negatīvs_slīpums*min(0,x)
4) lāpa.nn.LogSigmoid	Tas tiks izmantots, lai lietotu elementu funkciju:
5) lāpa.nn.MultiheadAttention	To izmanto, lai ļautu modelim aplūkot informāciju no dažādām reprezentācijas apakštelpām
6) lāpa.nn.PReLU	Tas tiks izmantots, lai lietotu elementu funkciju: PReLU(x)=maks.(0,x)+a*min(0,x)
7) lāpa.nn.ReLU	To izmantos, lai lietotu rektificētās lineārās vienības funkcijas elementu: ReLU(x)=maks.(0,x)
8) lāpa.nn.ReLU6	Tas tiks izmantots, lai lietotu elementu funkciju: ReLU6(x)=min(maks.(0,x),6)
9) lāpa.nn.RReLU	Tas tiks izmantots, lai piemērotu nejaušinātas noplūdes rektificētas lineārās vienības funkciju elementāri, kā aprakstīts rakstā:
10) lāpa.nn.SELU	Tas tiks izmantots, lai lietotu elementu funkciju kā: SELU(x)=mērogs*(maks.(0,x)+ min(0,a*(exp(x)-1))) Šeit α = 1,6732632423543772848170429916717 un mērogs = 1,0507009873554804934193349852946.
11) lāpa.nn.MĒRĶIS	Tas tiks izmantots, lai lietotu elementu funkciju kā:
12) lāpa.nn.Sigmoīds	Tas tiks izmantots, lai lietotu elementu funkciju kā:
13) lāpa.nn.Softplus	Tas tiks izmantots, lai lietotu elementu funkciju kā:
14) lāpa.nn.Softshrink	Tas tiks izmantots, lai izmantotu mīkstas saraušanās funkciju, piemēram:
15) torch.nn.Softsign	Tas tiks izmantots, lai lietotu elementu funkciju kā:
16) lāpa.nn.Tanh	Tas tiks izmantots, lai lietotu elementu funkciju kā:
17) lāpa.nn.Tanhshrink	Tas tiks izmantots, lai lietotu elementu funkciju kā: Tanhshrink(x)=x-Tanh(x)
18) lāpa.nn.Slieksnis	Tas tiks izmantots, lai noteiktu katra ievades tensora elementa sliekšņus. Slieksnis ir definēts kā:
7.	Nelineāra aktivizēšana (cita)
1) lāpa.nn.Softmin	To izmanto, lai lietotu softmin funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmin tiek definēts kā:
2) lāpa.nn.Softmax	To izmanto, lai lietotu softmax funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmax tiek definēts kā:
3) lāpa.nn.Softmax2d	To izmanto, lai lietotu SoftMax vairāk nekā funkcijas katrā telpiskajā vietā.
4) lāpa.nn.LogSoftmax	To izmanto, lai lietotu LogSoftmax funkciju n-dimensiju ievades tensoram. LofSoftmax funkciju var definēt šādi:
5) torch.nn.AdaptiveLogSoftmaxWithLoss	Tā ir apmācības modeļu stratēģija ar lielām izvades vietām. Tas ir ļoti efektīvs, ja etiķetes sadalījums ir ļoti nelīdzsvarots
8.	Normalizācijas slāņi
1) lāpa.nn.BatchNorm1d	To izmanto, lai lietotu partijas normalizāciju, izmantojot 2D vai 3D ievades.
2) torch.nn.BatchNorm2d	To izmanto, lai izmantotu partijas normalizāciju 4D režīmā.
3) torch.nn.BatchNorm3d	To izmanto, lai lietotu partijas normalizāciju, izmantojot 5D ievades.
4) lāpa.nn.GroupNorm	To izmanto, lai piemērotu grupas normalizāciju nelielai ievades partijai.
5) torch.nn.SyncBatchNorm	To izmanto, lai izmantotu partijas normalizāciju n-dimensiju ievadei.
6) lāpa.nn.InstanceNorm1d	To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 3D ievadi.
7) torch.nn.InstanceNorm2d	To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 4D ievadi.
8) torch.nn.InstanceNorm3d	To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 5D ievadi.
9) lāpa.nn.LayerNorm	To izmanto, lai piemērotu slāņa normalizāciju nelielai ievades partijai.
10) torch.nn.LocalResponseNorm	To izmanto, lai piemērotu lokālās atbildes normalizāciju ieejas signālam, kas sastāv no vairākām ieejas plaknēm, kur kanāls aizņem otro dimensiju.
9.	Atkārtoti slāņi
1) lāpa.nn.RNN	To izmanto, lai ievades secībai lietotu daudzslāņu Elman RNN ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: ht=tanh(Wviņiemxt+bviņiem+Whhtt-1+bhh)
2) lāpa.nn.LSTM	To izmanto, lai ievades secībai lietotu daudzslāņu ilgtermiņa īstermiņa atmiņu (LSTM) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
3) lāpa.nn.GRU	To izmanto, lai ievades secībai lietotu daudzslāņu atkārtotu vienību (GRU) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
4) lāpa.nn.RNNCell	To izmanto, lai ievades secībai lietotu Elman RNN šūnu ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: h'=tanh(Wviņiemx+bviņiem+Whhh+bhh) ReLU tiek izmantots tanh vietā
5) lāpa.nn.LSTMCell	To izmanto, lai ievades secībai lietotu ilgtermiņa īstermiņa atmiņas (LSTM) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: Kur σ ir sigmoīda funkcija un * ir Hadamarda reizinājums.
6) lāpa.nn.GRUCell	To izmanto, lai ievades secībai lietotu ierobežotas atkārtotas vienības (GRU) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
10.	Lineārie slāņi
1) lāpa.nn.Identitāte	Tas ir viettura identitātes operators, kas ir nejutīgs pret argumentiem.
2) lāpa.nn.Lineārs	To izmanto, lai ienākošajiem datiem piemērotu lineāru transformāciju: y=xAT+b
3) lāpa.nn.Bilineārs	To izmanto, lai ienākošajiem datiem piemērotu bilineāru transformāciju: y=x1Ax2+b
vienpadsmit.	Atkrituma slāņi
1) lāpa.nn.Izkrišana	To lieto neironu koadaptācijas regulēšanai un profilaksei. Faktors no apmācības laikā mērogs produkciju. Tas nozīmē, ka modulis novērtēšanas laikā aprēķina identitātes funkciju.
2) lāpa.nn.Dropout2d	Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d() tiek izmantots, lai veicinātu neatkarību starp objektu kartēm.
3) lāpa.nn.Dropout3d	Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d () tiek izmantots, lai veicinātu objektu karšu neatkarību.
4) lāpa.nn.AlphaDropout	To izmanto, lai ievadei lietotu Alpha Dropout. Alpha Dropout ir atbiruma veids, kas uztur pašnormalizācijas īpašību.
12.	Reti slāņi
1) lāpa.nn.Iegulšana	To izmanto, lai saglabātu vārdu iegulšanu un izgūtu tos, izmantojot indeksus. Moduļa ievade ir indeksu saraksts, un izvade ir atbilstošā vārda iegulšana.
2) lāpa.nn.EmbbeddingBag	To izmanto, lai aprēķinātu iegulšanas “maisiņu” summas vai vidējo vērtību, neveicot starpposma iegulšanu.
13.	Attāluma funkcija
1) lāpa.nn.KosinussSimilarity	Tas atgriezīs kosinusa līdzību starp x1 un x2, kas aprēķināta pēc dim.
2) lāpa.nn.PairwiseDistance	Tas aprēķina pa partijām pa pāriem attālumu starp vektoriem v1, v2, izmantojot p-normu:
14.	Zaudējuma funkcija
1) lāpa.nn.L1Loss	To izmanto kritērijam, kas mēra vidējo absolūto kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=|xn-unn|, Kur N ir partijas lielums.
2) lāpa.nn.MSELoss	To izmanto kritērijam, kas mēra vidējo kvadrātisko kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=(xn-unn)2, Kur N ir partijas lielums.
3) lāpa.nn.CrossEntropyLoss	Šis kritērijs apvieno nn.LogSoftmax() un nn.NLLLoss() vienā klasē. Tas ir noderīgi, ja mēs apmācām klasifikācijas problēmu ar C klasēm.
4) lāpa.nn.CTCLoss	Connectionist Temporal Classification loss aprēķina zaudējumus starp nepārtrauktu laikrindu un mērķa secību.
5) lāpa.nn.NLLLoss	Negatīvā žurnāla varbūtības zudums tiek izmantots, lai apmācītu klasifikācijas problēmu ar C klasēm.
6) lāpa.nn.PoissonNLLLoss	Negatīvā loga varbūtības zudums ar Puasona sadalījumu t mērķis~Puasona(ievade)loss(input,target)=input-target*log(target!)he target.
7) lāpa.nn.KLDivLoss	Tas ir noderīgs attāluma mērs nepārtrauktai sadalei, un tas ir noderīgs arī tad, ja veicam tiešu regresiju nepārtrauktas izvades sadalījuma telpā.
8) lāpa.nn.BCELoss	To izmanto, lai izveidotu kritēriju, kas mēra bināro krustenisko entropiju starp mērķi un izvadi. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=-vn[unn*logxn+ (1 gn)*log(1-xn)], Kur N ir partijas lielums.
9) torch.nn.BCEWithLogitsLoss	Tas apvieno Sigmoid slāni un BCELoss vienā klasē. Mēs varam izmantot log-sum-exp triku, lai nodrošinātu skaitlisko stabilitāti, apvienojot darbību vienā slānī.
10) torch.nn.MarginRankingLoss	Tas izveido kritēriju, kas mēra doto ievades x1, x2, divu 1D mini-pakešu tensoru zudumu un etiķeti 1D mini-pakešu tensoru y, kas satur 1 vai -1. Katra mini partijas parauga zudumu funkcija ir šāda: zudums(x,y)=maks.(0,-y*(x1-x2)+marža
11) torch.nn.HingeEmbeddingLoss	HingeEmbeddingLoss mēra dotā ievades tenzora x un etiķetes tenzora y, kas satur 1 vai -1, zudumu. To izmanto, lai noteiktu, vai divas ievades ir līdzīgas vai atšķirīgas. Zaudējumu funkcija ir definēta šādi:
12) torch.nn.MultiLabelMarginLoss	To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu vairāku klasifikāciju eņģes zudumu starp ieeju x un izeju y.
13) lāpa.nn.SmoothL1Loss	To izmanto, lai izveidotu kritēriju, kas izmanto kvadrātu, ja absolūtā elementa kļūda ir mazāka par 1 un L1 terminu pretējā gadījumā. To sauc arī par Hubera zaudējumu:
14) torch.nn.SoftMarginLoss	To izmanto, lai izveidotu kritēriju, kas optimizē divu klašu klasifikācijas loģistikas zudumus starp ievades tensoru x un mērķa tensoru y, kas satur 1 vai -1.
15) torch.nn.MultiLabelSoftMarginLoss	To izmanto, lai izveidotu kritēriju, kas optimizē vairāku marķējumu viens pret visiem zudumu, pamatojoties uz maksimālo entropiju starp ievadi x un mērķa y izmēra (N, C).
16) torch.nn.CosineEmbeddingLoss	To izmanto, lai izveidotu kritēriju, kas mēra doto ievades tenzoru x1, x2 zudumu un tensora etiķeti y ar vērtībām 1 vai -1. To izmanto, lai izmērītu, vai divas ieejas ir līdzīgas vai atšķirīgas, izmantojot kosinusa attālumu.
17) lāpa.nn.MultiMarginLoss	To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu klasifikācijas eņģes zudumu starp ieeju x un izeju y.
18) torch.nn.TripletMarginLoss	To izmanto, lai izveidotu kritēriju, kas mēra tripleta zudumu dotajiem ieejas tensoriem x1, x2, x3 un robežu ar vērtību, kas lielāka par 0. To izmanto, lai izmērītu relatīvo līdzību starp paraugiem. Trīskāršs sastāv no enkura, pozitīva piemēra un negatīva piemēra. L(a,p,n)=max{d(ai, lppi)-d(ai,ni)+marža,0}
piecpadsmit.	Redzes slāņi
1) torch.nn.PixelShuffle	To izmanto, lai pārkārtotu elementus formas tenzorā (*, C × r2,H,W) līdz formas tenzoram (*,C,H×r,W,r)
2) lāpa.nn.Upsample	To izmanto, lai palielinātu noteiktu daudzkanālu 1D, 2D vai 3D datu paraugus.
3) torch.nn.upsamplingNearest2d	To izmanto, lai piemērotu 2D tuvākā kaimiņa iztveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem.
4) torch.nn.UpsamplingBilinear2d	To izmanto, lai piemērotu 2D bilineāru pārtveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem.
16.	Datu paralēlie slāņi (vairāki GPU, sadalīti)
1) lāpa.nn.DataParallel	To izmanto datu paralēlisma ieviešanai moduļa līmenī.
2) torch.nn.DistributedDataParallel	To izmanto, lai ieviestu sadalīto datu paralēlismu, kura pamatā ir torch.distributed pakotne moduļa līmenī.
3) torch.nn.DistributedDataParallelCPU	To izmanto, lai ieviestu sadalīto datu paralēlismu CPU moduļa līmenī.
17.	Komunālie pakalpojumi
1) torch.nn.clip_grad_norm_	To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu.
2) torch.nn.clip_grad_value_	To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu norādītajā vērtībā.
3) torch.nn.parameters_to_vector	To izmanto, lai pārveidotu parametrus vienā vektorā.
4) torch.nn.vector_to_parameters	To izmanto, lai pārveidotu vienu vektoru par parametriem.
5) lāpa.nn.svara_norm	To izmanto, lai piemērotu svara normalizēšanu parametram dotajā modulī.
6) torch.nn.remove_weight_norm	To izmanto, lai noņemtu svara normalizēšanu un atkārtotu parametru noteikšanu no moduļa.
7) torch.nn.spectral_norm	To izmanto, lai piemērotu spektrālo normalizāciju parametram dotajā modulī.
8) torch.nn.PackedSequence	Tas tiks izmantots, lai glabātu iepakotas secības datus un batch_sizes sarakstu.
9) torch.nn.pack_padded_sequence	To izmanto, lai iepakotu Tensor, kas satur mainīga garuma polsterētas sekvences.
10) torch.nn.pad_packed_sequence	To izmanto, lai pildītu mainīga garuma secību komplektu.
11) torch.nn.pad_sequence	To izmanto, lai papildinātu mainīga garuma tensoru sarakstu ar polsterējuma vērtību.
12) torch.nn.pack_sequence	To izmanto, lai iesaiņotu mainīga garuma tensoru sarakstu
13) torch.nn.remove_spectral_norm	To izmanto, lai noņemtu spektrālo normalizāciju un pārparametrēšanu no moduļa.

Atsauce:

https://pytorch.org/docs/stable/nn.html