PyTorch nodrošina moduli torch.nn, lai palīdzētu mums izveidot un apmācīt neironu tīklu. Vispirms mēs apmācīsim pamata neironu tīklu MNIST datu kopā, neizmantojot nekādas šo modeļu funkcijas. Mēs izmantosim tikai pamata PyTorch tensora funkcionalitāti un pēc tam pakāpeniski pievienosim vienu līdzekli no torch.nn.
torch.nn nodrošina mums daudz vairāk nodarbību un moduļu, lai ieviestu un apmācītu neironu tīklu.
nn pakotne satur šādus moduļus un klases:
Jā nē | Klase un modulis | Apraksts |
---|---|---|
1. | lāpa.nn.Parametrs | Tas ir tenzora veids, kas jāuzskata par moduļa parametru. |
2. | Konteineri | |
1) lāpa.nn.Modulis | Tā ir bāzes klase visiem neironu tīkla moduļiem. | |
2) lāpa.nn.Secīgi | Tas ir secīgs konteiners, kurā moduļi tiks pievienoti tādā pašā secībā, kādā tie tiek nodoti konstruktorā. | |
3) torch.nn.ModuleList | Tas satur apakšmoduļus sarakstā. | |
4) torch.nn.ModuleDict | Tas satur apakšmoduļus direktorijā. | |
5) torch.nn.ParameterList | Tas saglabās parametrus sarakstā. | |
6) torch.nn.parameterDict | Tas saglabās parametrus direktorijā. | |
3. | Konvolūcijas slāņi | |
1) torch.nn.Conv1d | Šī pakotne tiks izmantota, lai piemērotu 1D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
2) torch.nn.Conv2d | Šī pakotne tiks izmantota, lai piemērotu 2D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
3) torch.nn.Conv3d | Šī pakotne tiks izmantota, lai piemērotu 3D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
4) torch.nn.ConvTranspose1d | Šī pakotne tiks izmantota, lai lietotu 1D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm. | |
5) torch.nn.ConvTranspose2d | Šī pakotne tiks izmantota, lai lietotu 2D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm. | |
6) torch.nn.ConvTranspose3d | Šī pakotne tiks izmantota, lai lietotu 3D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm. | |
7) lāpa.nn.Atlocīt | To izmanto, lai izvilktu bīdāmos lokālos blokus no pakešu ievades tenzora. | |
8) lāpa.nn.Salieciet | To izmanto, lai apvienotu lokālo bīdāmo bloku masīvu lielā saturošā tensorā. | |
4. | Slāņu apvienošana | |
1) lāpa.nn.MaxPool1d | To izmanto, lai piemērotu 1D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
2) lāpa.nn.MaxPool2d | To izmanto, lai piemērotu 2D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
3) torch.nn.MaxPool3d | To izmanto, lai piemērotu 3D maksimālu apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
4) torch.nn.MaxUnpool1d | To izmanto, lai aprēķinātu MaxPool1d daļēju apgriezto vērtību. | |
5) torch.nn.MaxUnpool2d | To izmanto, lai aprēķinātu MaxPool2d daļēju apgriezto vērtību. | |
6) torch.nn.MaxUnpool3d | To izmanto, lai aprēķinātu MaxPool3d daļēju apgriezto vērtību. | |
7) torch.nn.AvgPool1d | To izmanto, lai piemērotu 1D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
8) torch.nn.AvgPool2d | To izmanto, lai piemērotu 2D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
9) torch.nn.AvgPool3d | To izmanto, lai piemērotu 3D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
10) torch.nn.FractionalMaxPool2d | To izmanto, lai piemērotu 2D daļēju maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
11) lāpa.nn.LPPool1d | To izmanto, lai piemērotu 1D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
12) lāpa.nn.LPPool2d | To izmanto, lai izmantotu 2D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
13) torch.nn.AdavtiveMaxPool1d | To izmanto, lai piemērotu 1D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
14) torch.nn.AdavtiveMaxPool2d | To izmanto, lai piemērotu 2D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
15) torch.nn.AdavtiveMaxPool3d | To izmanto, lai piemērotu 3D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
16) torch.nn.AdavtiveAvgPool1d | To izmanto, lai piemērotu 1D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
17) torch.nn.AdavtiveAvgPool2d | To izmanto, lai piemērotu 2D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
18) torch.nn.AdavtiveAvgPool3d | To izmanto, lai piemērotu 3D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm. | |
5. | Polsterējuma slāņi | |
1) lāpa.nn.ReflectionPad1d | Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu. | |
2) lāpa.nn.ReflactionPad2d | Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu. | |
3) torch.nn.ReplicationPad1 | Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju. | |
4) torch.nn.ReplicationPad2d | Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju. | |
5) torch.nn.ReplicationPad3d | Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju. | |
6) lāpa.nn.ZeroPad2d | Ievades tenzora robežas tiks polsterētas ar nulli. | |
7) torch.nn.ConstantPad1d | Tas papildinās ievades tenzora robežas ar nemainīgu vērtību. | |
8) torch.nn.ConstantPad2d | Tas papildinās ievades tenzora robežas ar nemainīgu vērtību. | |
9) torch.nn.ConstantPad3d | Tas papildinās ievades tenzora robežas ar nemainīgu vērtību. | |
6. | Nelineāra aktivizācija (svērtā summa, nelinearitāte) | |
1) lāpa.nn.ELU | Tas tiks izmantots, lai lietotu elementu funkciju: ELU(x)=maks.(0,x)+min(0,α*(eksp(x)-1)) | |
2) lāpa.nn.Hardshrink | To izmantos, lai piemērotu cietās saraušanās funkcijas elementu funkciju: | |
3) lāpa.nn.LeakyReLU | Tas tiks izmantots, lai lietotu elementu funkciju: LeakyReLu(x)=maks.(0,x) +negatīvs_slīpums*min(0,x) | |
4) lāpa.nn.LogSigmoid | Tas tiks izmantots, lai lietotu elementu funkciju: | |
5) lāpa.nn.MultiheadAttention | To izmanto, lai ļautu modelim aplūkot informāciju no dažādām reprezentācijas apakštelpām | |
6) lāpa.nn.PReLU | Tas tiks izmantots, lai lietotu elementu funkciju: PReLU(x)=maks.(0,x)+a*min(0,x) | |
7) lāpa.nn.ReLU | To izmantos, lai lietotu rektificētās lineārās vienības funkcijas elementu: ReLU(x)=maks.(0,x) | |
8) lāpa.nn.ReLU6 | Tas tiks izmantots, lai lietotu elementu funkciju: ReLU6(x)=min(maks.(0,x),6) | |
9) lāpa.nn.RReLU | Tas tiks izmantots, lai piemērotu nejaušinātas noplūdes rektificētas lineārās vienības funkciju elementāri, kā aprakstīts rakstā: | |
10) lāpa.nn.SELU | Tas tiks izmantots, lai lietotu elementu funkciju kā: SELU(x)=mērogs*(maks.(0,x)+ min(0,a*(exp(x)-1))) Šeit α = 1,6732632423543772848170429916717 un mērogs = 1,0507009873554804934193349852946. | |
11) lāpa.nn.MĒRĶIS | Tas tiks izmantots, lai lietotu elementu funkciju kā: | |
12) lāpa.nn.Sigmoīds | Tas tiks izmantots, lai lietotu elementu funkciju kā: | |
13) lāpa.nn.Softplus | Tas tiks izmantots, lai lietotu elementu funkciju kā: | |
14) lāpa.nn.Softshrink | Tas tiks izmantots, lai izmantotu mīkstas saraušanās funkciju, piemēram: | |
15) torch.nn.Softsign | Tas tiks izmantots, lai lietotu elementu funkciju kā: | |
16) lāpa.nn.Tanh | Tas tiks izmantots, lai lietotu elementu funkciju kā: | |
17) lāpa.nn.Tanhshrink | Tas tiks izmantots, lai lietotu elementu funkciju kā: Tanhshrink(x)=x-Tanh(x) | |
18) lāpa.nn.Slieksnis | Tas tiks izmantots, lai noteiktu katra ievades tensora elementa sliekšņus. Slieksnis ir definēts kā: | |
7. | Nelineāra aktivizēšana (cita) | |
1) lāpa.nn.Softmin | To izmanto, lai lietotu softmin funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmin tiek definēts kā: | |
2) lāpa.nn.Softmax | To izmanto, lai lietotu softmax funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmax tiek definēts kā: | |
3) lāpa.nn.Softmax2d | To izmanto, lai lietotu SoftMax vairāk nekā funkcijas katrā telpiskajā vietā. | |
4) lāpa.nn.LogSoftmax | To izmanto, lai lietotu LogSoftmax funkciju n-dimensiju ievades tensoram. LofSoftmax funkciju var definēt šādi: | |
5) torch.nn.AdaptiveLogSoftmaxWithLoss | Tā ir apmācības modeļu stratēģija ar lielām izvades vietām. Tas ir ļoti efektīvs, ja etiķetes sadalījums ir ļoti nelīdzsvarots | |
8. | Normalizācijas slāņi | |
1) lāpa.nn.BatchNorm1d | To izmanto, lai lietotu partijas normalizāciju, izmantojot 2D vai 3D ievades. | |
2) torch.nn.BatchNorm2d | To izmanto, lai izmantotu partijas normalizāciju 4D režīmā. | |
3) torch.nn.BatchNorm3d | To izmanto, lai lietotu partijas normalizāciju, izmantojot 5D ievades. | |
4) lāpa.nn.GroupNorm | To izmanto, lai piemērotu grupas normalizāciju nelielai ievades partijai. | |
5) torch.nn.SyncBatchNorm | To izmanto, lai izmantotu partijas normalizāciju n-dimensiju ievadei. | |
6) lāpa.nn.InstanceNorm1d | To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 3D ievadi. | |
7) torch.nn.InstanceNorm2d | To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 4D ievadi. | |
8) torch.nn.InstanceNorm3d | To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 5D ievadi. | |
9) lāpa.nn.LayerNorm | To izmanto, lai piemērotu slāņa normalizāciju nelielai ievades partijai. | |
10) torch.nn.LocalResponseNorm | To izmanto, lai piemērotu lokālās atbildes normalizāciju ieejas signālam, kas sastāv no vairākām ieejas plaknēm, kur kanāls aizņem otro dimensiju. | |
9. | Atkārtoti slāņi | |
1) lāpa.nn.RNN | To izmanto, lai ievades secībai lietotu daudzslāņu Elman RNN ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: ht=tanh(Wviņiemxt+bviņiem+Whhtt-1+bhh) | |
2) lāpa.nn.LSTM | To izmanto, lai ievades secībai lietotu daudzslāņu ilgtermiņa īstermiņa atmiņu (LSTM) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: | |
3) lāpa.nn.GRU | To izmanto, lai ievades secībai lietotu daudzslāņu atkārtotu vienību (GRU) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: | |
4) lāpa.nn.RNNCell | To izmanto, lai ievades secībai lietotu Elman RNN šūnu ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: h'=tanh(Wviņiemx+bviņiem+Whhh+bhh) ReLU tiek izmantots tanh vietā | |
5) lāpa.nn.LSTMCell | To izmanto, lai ievades secībai lietotu ilgtermiņa īstermiņa atmiņas (LSTM) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: Kur σ ir sigmoīda funkcija un * ir Hadamarda reizinājums. | |
6) lāpa.nn.GRUCell | To izmanto, lai ievades secībai lietotu ierobežotas atkārtotas vienības (GRU) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā: | |
10. | Lineārie slāņi | |
1) lāpa.nn.Identitāte | Tas ir viettura identitātes operators, kas ir nejutīgs pret argumentiem. | |
2) lāpa.nn.Lineārs | To izmanto, lai ienākošajiem datiem piemērotu lineāru transformāciju: y=xAT+b | |
3) lāpa.nn.Bilineārs | To izmanto, lai ienākošajiem datiem piemērotu bilineāru transformāciju: y=x1Ax2+b | |
vienpadsmit. | Atkrituma slāņi | |
1) lāpa.nn.Izkrišana | To lieto neironu koadaptācijas regulēšanai un profilaksei. Faktors no apmācības laikā mērogs produkciju. Tas nozīmē, ka modulis novērtēšanas laikā aprēķina identitātes funkciju. | |
2) lāpa.nn.Dropout2d | Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d() tiek izmantots, lai veicinātu neatkarību starp objektu kartēm. | |
3) lāpa.nn.Dropout3d | Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d () tiek izmantots, lai veicinātu objektu karšu neatkarību. | |
4) lāpa.nn.AlphaDropout | To izmanto, lai ievadei lietotu Alpha Dropout. Alpha Dropout ir atbiruma veids, kas uztur pašnormalizācijas īpašību. | |
12. | Reti slāņi | |
1) lāpa.nn.Iegulšana | To izmanto, lai saglabātu vārdu iegulšanu un izgūtu tos, izmantojot indeksus. Moduļa ievade ir indeksu saraksts, un izvade ir atbilstošā vārda iegulšana. | |
2) lāpa.nn.EmbbeddingBag | To izmanto, lai aprēķinātu iegulšanas “maisiņu” summas vai vidējo vērtību, neveicot starpposma iegulšanu. | |
13. | Attāluma funkcija | |
1) lāpa.nn.KosinussSimilarity | Tas atgriezīs kosinusa līdzību starp x1 un x2, kas aprēķināta pēc dim. | |
2) lāpa.nn.PairwiseDistance | Tas aprēķina pa partijām pa pāriem attālumu starp vektoriem v1, v2, izmantojot p-normu: | |
14. | Zaudējuma funkcija | |
1) lāpa.nn.L1Loss | To izmanto kritērijam, kas mēra vidējo absolūto kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=|xn-unn|, Kur N ir partijas lielums. | |
2) lāpa.nn.MSELoss | To izmanto kritērijam, kas mēra vidējo kvadrātisko kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=(xn-unn)2, Kur N ir partijas lielums. | |
3) lāpa.nn.CrossEntropyLoss | Šis kritērijs apvieno nn.LogSoftmax() un nn.NLLLoss() vienā klasē. Tas ir noderīgi, ja mēs apmācām klasifikācijas problēmu ar C klasēm. | |
4) lāpa.nn.CTCLoss | Connectionist Temporal Classification loss aprēķina zaudējumus starp nepārtrauktu laikrindu un mērķa secību. | |
5) lāpa.nn.NLLLoss | Negatīvā žurnāla varbūtības zudums tiek izmantots, lai apmācītu klasifikācijas problēmu ar C klasēm. | |
6) lāpa.nn.PoissonNLLLoss | Negatīvā loga varbūtības zudums ar Puasona sadalījumu t mērķis~Puasona(ievade)loss(input,target)=input-target*log(target!)he target. | |
7) lāpa.nn.KLDivLoss | Tas ir noderīgs attāluma mērs nepārtrauktai sadalei, un tas ir noderīgs arī tad, ja veicam tiešu regresiju nepārtrauktas izvades sadalījuma telpā. | |
8) lāpa.nn.BCELoss | To izmanto, lai izveidotu kritēriju, kas mēra bināro krustenisko entropiju starp mērķi un izvadi. Nesamazinātos zaudējumus var raksturot šādi: l(x,y)=L={l1,...,ln}, ln=-vn[unn*logxn+ (1 gn)*log(1-xn)], Kur N ir partijas lielums. | |
9) torch.nn.BCEWithLogitsLoss | Tas apvieno Sigmoid slāni un BCELoss vienā klasē. Mēs varam izmantot log-sum-exp triku, lai nodrošinātu skaitlisko stabilitāti, apvienojot darbību vienā slānī. | |
10) torch.nn.MarginRankingLoss | Tas izveido kritēriju, kas mēra doto ievades x1, x2, divu 1D mini-pakešu tensoru zudumu un etiķeti 1D mini-pakešu tensoru y, kas satur 1 vai -1. Katra mini partijas parauga zudumu funkcija ir šāda: zudums(x,y)=maks.(0,-y*(x1-x2)+marža | |
11) torch.nn.HingeEmbeddingLoss | HingeEmbeddingLoss mēra dotā ievades tenzora x un etiķetes tenzora y, kas satur 1 vai -1, zudumu. To izmanto, lai noteiktu, vai divas ievades ir līdzīgas vai atšķirīgas. Zaudējumu funkcija ir definēta šādi: | |
12) torch.nn.MultiLabelMarginLoss | To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu vairāku klasifikāciju eņģes zudumu starp ieeju x un izeju y. | |
13) lāpa.nn.SmoothL1Loss | To izmanto, lai izveidotu kritēriju, kas izmanto kvadrātu, ja absolūtā elementa kļūda ir mazāka par 1 un L1 terminu pretējā gadījumā. To sauc arī par Hubera zaudējumu: | |
14) torch.nn.SoftMarginLoss | To izmanto, lai izveidotu kritēriju, kas optimizē divu klašu klasifikācijas loģistikas zudumus starp ievades tensoru x un mērķa tensoru y, kas satur 1 vai -1. | |
15) torch.nn.MultiLabelSoftMarginLoss | To izmanto, lai izveidotu kritēriju, kas optimizē vairāku marķējumu viens pret visiem zudumu, pamatojoties uz maksimālo entropiju starp ievadi x un mērķa y izmēra (N, C). | |
16) torch.nn.CosineEmbeddingLoss | To izmanto, lai izveidotu kritēriju, kas mēra doto ievades tenzoru x1, x2 zudumu un tensora etiķeti y ar vērtībām 1 vai -1. To izmanto, lai izmērītu, vai divas ieejas ir līdzīgas vai atšķirīgas, izmantojot kosinusa attālumu. | |
17) lāpa.nn.MultiMarginLoss | To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu klasifikācijas eņģes zudumu starp ieeju x un izeju y. | |
18) torch.nn.TripletMarginLoss | To izmanto, lai izveidotu kritēriju, kas mēra tripleta zudumu dotajiem ieejas tensoriem x1, x2, x3 un robežu ar vērtību, kas lielāka par 0. To izmanto, lai izmērītu relatīvo līdzību starp paraugiem. Trīskāršs sastāv no enkura, pozitīva piemēra un negatīva piemēra. L(a,p,n)=max{d(ai, lppi)-d(ai,ni)+marža,0} | |
piecpadsmit. | Redzes slāņi | |
1) torch.nn.PixelShuffle | To izmanto, lai pārkārtotu elementus formas tenzorā (*, C × r2,H,W) līdz formas tenzoram (*,C,H×r,W,r) | |
2) lāpa.nn.Upsample | To izmanto, lai palielinātu noteiktu daudzkanālu 1D, 2D vai 3D datu paraugus. | |
3) torch.nn.upsamplingNearest2d | To izmanto, lai piemērotu 2D tuvākā kaimiņa iztveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem. | |
4) torch.nn.UpsamplingBilinear2d | To izmanto, lai piemērotu 2D bilineāru pārtveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem. | |
16. | Datu paralēlie slāņi (vairāki GPU, sadalīti) | |
1) lāpa.nn.DataParallel | To izmanto datu paralēlisma ieviešanai moduļa līmenī. | |
2) torch.nn.DistributedDataParallel | To izmanto, lai ieviestu sadalīto datu paralēlismu, kura pamatā ir torch.distributed pakotne moduļa līmenī. | |
3) torch.nn.DistributedDataParallelCPU | To izmanto, lai ieviestu sadalīto datu paralēlismu CPU moduļa līmenī. | |
17. | Komunālie pakalpojumi | |
1) torch.nn.clip_grad_norm_ | To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu. | |
2) torch.nn.clip_grad_value_ | To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu norādītajā vērtībā. | |
3) torch.nn.parameters_to_vector | To izmanto, lai pārveidotu parametrus vienā vektorā. | |
4) torch.nn.vector_to_parameters | To izmanto, lai pārveidotu vienu vektoru par parametriem. | |
5) lāpa.nn.svara_norm | To izmanto, lai piemērotu svara normalizēšanu parametram dotajā modulī. | |
6) torch.nn.remove_weight_norm | To izmanto, lai noņemtu svara normalizēšanu un atkārtotu parametru noteikšanu no moduļa. | |
7) torch.nn.spectral_norm | To izmanto, lai piemērotu spektrālo normalizāciju parametram dotajā modulī. | |
8) torch.nn.PackedSequence | Tas tiks izmantots, lai glabātu iepakotas secības datus un batch_sizes sarakstu. | |
9) torch.nn.pack_padded_sequence | To izmanto, lai iepakotu Tensor, kas satur mainīga garuma polsterētas sekvences. | |
10) torch.nn.pad_packed_sequence | To izmanto, lai pildītu mainīga garuma secību komplektu. | |
11) torch.nn.pad_sequence | To izmanto, lai papildinātu mainīga garuma tensoru sarakstu ar polsterējuma vērtību. | |
12) torch.nn.pack_sequence | To izmanto, lai iesaiņotu mainīga garuma tensoru sarakstu | |
13) torch.nn.remove_spectral_norm | To izmanto, lai noņemtu spektrālo normalizāciju un pārparametrēšanu no moduļa. |
Atsauce:
https://pytorch.org/docs/stable/nn.html