logo

torch.nn programmā PyTorch

PyTorch nodrošina moduli torch.nn, lai palīdzētu mums izveidot un apmācīt neironu tīklu. Vispirms mēs apmācīsim pamata neironu tīklu MNIST datu kopā, neizmantojot nekādas šo modeļu funkcijas. Mēs izmantosim tikai pamata PyTorch tensora funkcionalitāti un pēc tam pakāpeniski pievienosim vienu līdzekli no torch.nn.

torch.nn nodrošina mums daudz vairāk nodarbību un moduļu, lai ieviestu un apmācītu neironu tīklu.

nn pakotne satur šādus moduļus un klases:

Jā nē Klase un modulis Apraksts
1. lāpa.nn.Parametrs Tas ir tenzora veids, kas jāuzskata par moduļa parametru.
2. Konteineri
1) lāpa.nn.Modulis Tā ir bāzes klase visiem neironu tīkla moduļiem.
2) lāpa.nn.Secīgi Tas ir secīgs konteiners, kurā moduļi tiks pievienoti tādā pašā secībā, kādā tie tiek nodoti konstruktorā.
3) torch.nn.ModuleList Tas satur apakšmoduļus sarakstā.
4) torch.nn.ModuleDict Tas satur apakšmoduļus direktorijā.
5) torch.nn.ParameterList Tas saglabās parametrus sarakstā.
6) torch.nn.parameterDict Tas saglabās parametrus direktorijā.
3. Konvolūcijas slāņi
1) torch.nn.Conv1d Šī pakotne tiks izmantota, lai piemērotu 1D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
2) torch.nn.Conv2d Šī pakotne tiks izmantota, lai piemērotu 2D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
3) torch.nn.Conv3d Šī pakotne tiks izmantota, lai piemērotu 3D konvolūciju ieejas signālam, kas sastāv no vairākām ievades plaknēm.
4) torch.nn.ConvTranspose1d Šī pakotne tiks izmantota, lai lietotu 1D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
5) torch.nn.ConvTranspose2d Šī pakotne tiks izmantota, lai lietotu 2D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
6) torch.nn.ConvTranspose3d Šī pakotne tiks izmantota, lai lietotu 3D transponētu konvolūcijas operatoru ievades attēlam, kas sastāv no vairākām ievades plaknēm.
7) lāpa.nn.Atlocīt To izmanto, lai izvilktu bīdāmos lokālos blokus no pakešu ievades tenzora.
8) lāpa.nn.Salieciet To izmanto, lai apvienotu lokālo bīdāmo bloku masīvu lielā saturošā tensorā.
4. Slāņu apvienošana
1) lāpa.nn.MaxPool1d To izmanto, lai piemērotu 1D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
2) lāpa.nn.MaxPool2d To izmanto, lai piemērotu 2D max apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
3) torch.nn.MaxPool3d To izmanto, lai piemērotu 3D maksimālu apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
4) torch.nn.MaxUnpool1d To izmanto, lai aprēķinātu MaxPool1d daļēju apgriezto vērtību.
5) torch.nn.MaxUnpool2d To izmanto, lai aprēķinātu MaxPool2d daļēju apgriezto vērtību.
6) torch.nn.MaxUnpool3d To izmanto, lai aprēķinātu MaxPool3d daļēju apgriezto vērtību.
7) torch.nn.AvgPool1d To izmanto, lai piemērotu 1D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
8) torch.nn.AvgPool2d To izmanto, lai piemērotu 2D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
9) torch.nn.AvgPool3d To izmanto, lai piemērotu 3D vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
10) torch.nn.FractionalMaxPool2d To izmanto, lai piemērotu 2D daļēju maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
11) lāpa.nn.LPPool1d To izmanto, lai piemērotu 1D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
12) lāpa.nn.LPPool2d To izmanto, lai izmantotu 2D vidējās jaudas apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
13) torch.nn.AdavtiveMaxPool1d To izmanto, lai piemērotu 1D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
14) torch.nn.AdavtiveMaxPool2d To izmanto, lai piemērotu 2D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
15) torch.nn.AdavtiveMaxPool3d To izmanto, lai piemērotu 3D adaptīvo maksimālo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
16) torch.nn.AdavtiveAvgPool1d To izmanto, lai piemērotu 1D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
17) torch.nn.AdavtiveAvgPool2d To izmanto, lai piemērotu 2D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
18) torch.nn.AdavtiveAvgPool3d To izmanto, lai piemērotu 3D adaptīvo vidējo apvienošanu ieejas signālam, kas sastāv no vairākām ievades plaknēm.
5. Polsterējuma slāņi
1) lāpa.nn.ReflectionPad1d Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu.
2) lāpa.nn.ReflactionPad2d Tas papildinās ievades tensoru, izmantojot ievades robežas atspoguļojumu.
3) torch.nn.ReplicationPad1 Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
4) torch.nn.ReplicationPad2d Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
5) torch.nn.ReplicationPad3d Tas papildinās ievades tensoru, izmantojot ievades robežas replikāciju.
6) lāpa.nn.ZeroPad2d Ievades tenzora robežas tiks polsterētas ar nulli.
7) torch.nn.ConstantPad1d Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
8) torch.nn.ConstantPad2d Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
9) torch.nn.ConstantPad3d Tas papildinās ievades tenzora robežas ar nemainīgu vērtību.
6. Nelineāra aktivizācija (svērtā summa, nelinearitāte)
1) lāpa.nn.ELU Tas tiks izmantots, lai lietotu elementu funkciju:
ELU(x)=maks.(0,x)+min(0,α*(eksp(x)-1))
2) lāpa.nn.Hardshrink To izmantos, lai piemērotu cietās saraušanās funkcijas elementu funkciju:
torch.nn programmā PyTorch
3) lāpa.nn.LeakyReLU Tas tiks izmantots, lai lietotu elementu funkciju:
LeakyReLu(x)=maks.(0,x) +negatīvs_slīpums*min(0,x)
4) lāpa.nn.LogSigmoid Tas tiks izmantots, lai lietotu elementu funkciju:
torch.nn programmā PyTorch
5) lāpa.nn.MultiheadAttention To izmanto, lai ļautu modelim aplūkot informāciju no dažādām reprezentācijas apakštelpām
6) lāpa.nn.PReLU Tas tiks izmantots, lai lietotu elementu funkciju:
PReLU(x)=maks.(0,x)+a*min(0,x)
7) lāpa.nn.ReLU To izmantos, lai lietotu rektificētās lineārās vienības funkcijas elementu:
ReLU(x)=maks.(0,x)
8) lāpa.nn.ReLU6 Tas tiks izmantots, lai lietotu elementu funkciju:
ReLU6(x)=min(maks.(0,x),6)
9) lāpa.nn.RReLU Tas tiks izmantots, lai piemērotu nejaušinātas noplūdes rektificētas lineārās vienības funkciju elementāri, kā aprakstīts rakstā:
torch.nn programmā PyTorch
10) lāpa.nn.SELU Tas tiks izmantots, lai lietotu elementu funkciju kā:
SELU(x)=mērogs*(maks.(0,x)+ min(0,a*(exp(x)-1)))

Šeit α = 1,6732632423543772848170429916717 un mērogs = 1,0507009873554804934193349852946.
11) lāpa.nn.MĒRĶIS Tas tiks izmantots, lai lietotu elementu funkciju kā:
torch.nn programmā PyTorch
12) lāpa.nn.Sigmoīds Tas tiks izmantots, lai lietotu elementu funkciju kā:
torch.nn programmā PyTorch
13) lāpa.nn.Softplus Tas tiks izmantots, lai lietotu elementu funkciju kā:
torch.nn programmā PyTorch
14) lāpa.nn.Softshrink Tas tiks izmantots, lai izmantotu mīkstas saraušanās funkciju, piemēram:
torch.nn programmā PyTorch
15) torch.nn.Softsign Tas tiks izmantots, lai lietotu elementu funkciju kā:
torch.nn programmā PyTorch
16) lāpa.nn.Tanh Tas tiks izmantots, lai lietotu elementu funkciju kā:
torch.nn programmā PyTorch
17) lāpa.nn.Tanhshrink Tas tiks izmantots, lai lietotu elementu funkciju kā:
Tanhshrink(x)=x-Tanh(x)
18) lāpa.nn.Slieksnis Tas tiks izmantots, lai noteiktu katra ievades tensora elementa sliekšņus. Slieksnis ir definēts kā:
torch.nn programmā PyTorch
7. Nelineāra aktivizēšana (cita)
1) lāpa.nn.Softmin To izmanto, lai lietotu softmin funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmin tiek definēts kā:
torch.nn programmā PyTorch
2) lāpa.nn.Softmax To izmanto, lai lietotu softmax funkciju n-dimensiju ievadei Tensor, lai mainītu to mērogošanu. Pēc tam n-dimensiju izvades tenzora elementi atrodas diapazonā no 0, 1 un summa līdz 1. Softmax tiek definēts kā:
torch.nn programmā PyTorch
3) lāpa.nn.Softmax2d To izmanto, lai lietotu SoftMax vairāk nekā funkcijas katrā telpiskajā vietā.
4) lāpa.nn.LogSoftmax To izmanto, lai lietotu LogSoftmax funkciju n-dimensiju ievades tensoram. LofSoftmax funkciju var definēt šādi:
torch.nn programmā PyTorch
5) torch.nn.AdaptiveLogSoftmaxWithLoss Tā ir apmācības modeļu stratēģija ar lielām izvades vietām. Tas ir ļoti efektīvs, ja etiķetes sadalījums ir ļoti nelīdzsvarots
8. Normalizācijas slāņi
1) lāpa.nn.BatchNorm1d To izmanto, lai lietotu partijas normalizāciju, izmantojot 2D vai 3D ievades.
torch.nn programmā PyTorch
2) torch.nn.BatchNorm2d To izmanto, lai izmantotu partijas normalizāciju 4D režīmā.
torch.nn programmā PyTorch
3) torch.nn.BatchNorm3d To izmanto, lai lietotu partijas normalizāciju, izmantojot 5D ievades.
torch.nn programmā PyTorch
4) lāpa.nn.GroupNorm To izmanto, lai piemērotu grupas normalizāciju nelielai ievades partijai.
torch.nn programmā PyTorch
5) torch.nn.SyncBatchNorm To izmanto, lai izmantotu partijas normalizāciju n-dimensiju ievadei.
torch.nn programmā PyTorch
6) lāpa.nn.InstanceNorm1d To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 3D ievadi.
torch.nn programmā PyTorch
7) torch.nn.InstanceNorm2d To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 4D ievadi.
torch.nn programmā PyTorch
8) torch.nn.InstanceNorm3d To izmanto, lai lietotu gadījuma normalizāciju, izmantojot 5D ievadi.
torch.nn programmā PyTorch
9) lāpa.nn.LayerNorm To izmanto, lai piemērotu slāņa normalizāciju nelielai ievades partijai.
torch.nn programmā PyTorch
10) torch.nn.LocalResponseNorm To izmanto, lai piemērotu lokālās atbildes normalizāciju ieejas signālam, kas sastāv no vairākām ieejas plaknēm, kur kanāls aizņem otro dimensiju.
9. Atkārtoti slāņi
1) lāpa.nn.RNN To izmanto, lai ievades secībai lietotu daudzslāņu Elman RNN ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
ht=tanh(Wviņiemxt+bviņiem+Whhtt-1+bhh)
2) lāpa.nn.LSTM To izmanto, lai ievades secībai lietotu daudzslāņu ilgtermiņa īstermiņa atmiņu (LSTM) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
torch.nn programmā PyTorch
3) lāpa.nn.GRU To izmanto, lai ievades secībai lietotu daudzslāņu atkārtotu vienību (GRU) RNN. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
torch.nn programmā PyTorch
4) lāpa.nn.RNNCell To izmanto, lai ievades secībai lietotu Elman RNN šūnu ar tanh vai ReLU nelinearitāti. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
h'=tanh(Wviņiemx+bviņiem+Whhh+bhh)
ReLU tiek izmantots tanh vietā
5) lāpa.nn.LSTMCell To izmanto, lai ievades secībai lietotu ilgtermiņa īstermiņa atmiņas (LSTM) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
torch.nn programmā PyTorch
Kur σ ir sigmoīda funkcija un * ir Hadamarda reizinājums.
6) lāpa.nn.GRUCell To izmanto, lai ievades secībai lietotu ierobežotas atkārtotas vienības (GRU) šūnu. Katrs slānis aprēķina šādu funkciju katram elementam ievades secībā:
torch.nn programmā PyTorch
10. Lineārie slāņi
1) lāpa.nn.Identitāte Tas ir viettura identitātes operators, kas ir nejutīgs pret argumentiem.
2) lāpa.nn.Lineārs To izmanto, lai ienākošajiem datiem piemērotu lineāru transformāciju:
y=xAT+b
3) lāpa.nn.Bilineārs To izmanto, lai ienākošajiem datiem piemērotu bilineāru transformāciju:
y=x1Ax2+b
vienpadsmit. Atkrituma slāņi
1) lāpa.nn.Izkrišana To lieto neironu koadaptācijas regulēšanai un profilaksei. Faktors no torch.nn programmā PyTorchapmācības laikā mērogs produkciju. Tas nozīmē, ka modulis novērtēšanas laikā aprēķina identitātes funkciju.
2) lāpa.nn.Dropout2d Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d() tiek izmantots, lai veicinātu neatkarību starp objektu kartēm.
3) lāpa.nn.Dropout3d Ja blakus esošie pikseļi objektu kartēs ir korelēti, torch.nn.Dropout neregulēs aktivizācijas un samazinās efektīvo mācīšanās ātrumu. Šajā gadījumā torch.nn.Dropout2d () tiek izmantots, lai veicinātu objektu karšu neatkarību.
4) lāpa.nn.AlphaDropout To izmanto, lai ievadei lietotu Alpha Dropout. Alpha Dropout ir atbiruma veids, kas uztur pašnormalizācijas īpašību.
12. Reti slāņi
1) lāpa.nn.Iegulšana To izmanto, lai saglabātu vārdu iegulšanu un izgūtu tos, izmantojot indeksus. Moduļa ievade ir indeksu saraksts, un izvade ir atbilstošā vārda iegulšana.
2) lāpa.nn.EmbbeddingBag To izmanto, lai aprēķinātu iegulšanas “maisiņu” summas vai vidējo vērtību, neveicot starpposma iegulšanu.
13. Attāluma funkcija
1) lāpa.nn.KosinussSimilarity Tas atgriezīs kosinusa līdzību starp x1 un x2, kas aprēķināta pēc dim.
torch.nn programmā PyTorch
2) lāpa.nn.PairwiseDistance Tas aprēķina pa partijām pa pāriem attālumu starp vektoriem v1, v2, izmantojot p-normu:
torch.nn programmā PyTorch
14. Zaudējuma funkcija
1) lāpa.nn.L1Loss To izmanto kritērijam, kas mēra vidējo absolūto kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi:
l(x,y)=L={l1,...,ln}, ln=|xn-unn|,
Kur N ir partijas lielums.
2) lāpa.nn.MSELoss To izmanto kritērijam, kas mēra vidējo kvadrātisko kļūdu starp katru ievades x elementu un mērķa y. Nesamazinātos zaudējumus var raksturot šādi:
l(x,y)=L={l1,...,ln}, ln=(xn-unn)2,
Kur N ir partijas lielums.
3) lāpa.nn.CrossEntropyLoss Šis kritērijs apvieno nn.LogSoftmax() un nn.NLLLoss() vienā klasē. Tas ir noderīgi, ja mēs apmācām klasifikācijas problēmu ar C klasēm.
4) lāpa.nn.CTCLoss Connectionist Temporal Classification loss aprēķina zaudējumus starp nepārtrauktu laikrindu un mērķa secību.
5) lāpa.nn.NLLLoss Negatīvā žurnāla varbūtības zudums tiek izmantots, lai apmācītu klasifikācijas problēmu ar C klasēm.
6) lāpa.nn.PoissonNLLLoss Negatīvā loga varbūtības zudums ar Puasona sadalījumu t
mērķis~Puasona(ievade)loss(input,target)=input-target*log(target!)he target.
7) lāpa.nn.KLDivLoss Tas ir noderīgs attāluma mērs nepārtrauktai sadalei, un tas ir noderīgs arī tad, ja veicam tiešu regresiju nepārtrauktas izvades sadalījuma telpā.
8) lāpa.nn.BCELoss To izmanto, lai izveidotu kritēriju, kas mēra bināro krustenisko entropiju starp mērķi un izvadi. Nesamazinātos zaudējumus var raksturot šādi:
l(x,y)=L={l1,...,ln}, ln=-vn[unn*logxn+ (1 gn)*log(1-xn)],
Kur N ir partijas lielums.
9) torch.nn.BCEWithLogitsLoss Tas apvieno Sigmoid slāni un BCELoss vienā klasē. Mēs varam izmantot log-sum-exp triku, lai nodrošinātu skaitlisko stabilitāti, apvienojot darbību vienā slānī.
10) torch.nn.MarginRankingLoss Tas izveido kritēriju, kas mēra doto ievades x1, x2, divu 1D mini-pakešu tensoru zudumu un etiķeti 1D mini-pakešu tensoru y, kas satur 1 vai -1. Katra mini partijas parauga zudumu funkcija ir šāda:
zudums(x,y)=maks.(0,-y*(x1-x2)+marža
11) torch.nn.HingeEmbeddingLoss HingeEmbeddingLoss mēra dotā ievades tenzora x un etiķetes tenzora y, kas satur 1 vai -1, zudumu. To izmanto, lai noteiktu, vai divas ievades ir līdzīgas vai atšķirīgas. Zaudējumu funkcija ir definēta šādi:
torch.nn programmā PyTorch
12) torch.nn.MultiLabelMarginLoss To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu vairāku klasifikāciju eņģes zudumu starp ieeju x un izeju y.
torch.nn programmā PyTorch
13) lāpa.nn.SmoothL1Loss To izmanto, lai izveidotu kritēriju, kas izmanto kvadrātu, ja absolūtā elementa kļūda ir mazāka par 1 un L1 terminu pretējā gadījumā. To sauc arī par Hubera zaudējumu:
torch.nn programmā PyTorch
14) torch.nn.SoftMarginLoss To izmanto, lai izveidotu kritēriju, kas optimizē divu klašu klasifikācijas loģistikas zudumus starp ievades tensoru x un mērķa tensoru y, kas satur 1 vai -1.
torch.nn programmā PyTorch
15) torch.nn.MultiLabelSoftMarginLoss To izmanto, lai izveidotu kritēriju, kas optimizē vairāku marķējumu viens pret visiem zudumu, pamatojoties uz maksimālo entropiju starp ievadi x un mērķa y izmēra (N, C).
torch.nn programmā PyTorch
16) torch.nn.CosineEmbeddingLoss To izmanto, lai izveidotu kritēriju, kas mēra doto ievades tenzoru x1, x2 zudumu un tensora etiķeti y ar vērtībām 1 vai -1. To izmanto, lai izmērītu, vai divas ieejas ir līdzīgas vai atšķirīgas, izmantojot kosinusa attālumu.
torch.nn programmā PyTorch
17) lāpa.nn.MultiMarginLoss To izmanto, lai izveidotu kritēriju, kas optimizē vairāku klašu klasifikācijas eņģes zudumu starp ieeju x un izeju y.
torch.nn programmā PyTorch
18) torch.nn.TripletMarginLoss To izmanto, lai izveidotu kritēriju, kas mēra tripleta zudumu dotajiem ieejas tensoriem x1, x2, x3 un robežu ar vērtību, kas lielāka par 0. To izmanto, lai izmērītu relatīvo līdzību starp paraugiem. Trīskāršs sastāv no enkura, pozitīva piemēra un negatīva piemēra.
L(a,p,n)=max{d(ai, lppi)-d(ai,ni)+marža,0}
piecpadsmit. Redzes slāņi
1) torch.nn.PixelShuffle To izmanto, lai pārkārtotu elementus formas tenzorā (*, C × r2,H,W) līdz formas tenzoram (*,C,H×r,W,r)
2) lāpa.nn.Upsample To izmanto, lai palielinātu noteiktu daudzkanālu 1D, 2D vai 3D datu paraugus.
3) torch.nn.upsamplingNearest2d To izmanto, lai piemērotu 2D tuvākā kaimiņa iztveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem.
4) torch.nn.UpsamplingBilinear2d To izmanto, lai piemērotu 2D bilineāru pārtveršanu ieejas signālam, kas sastāv no vairākiem ievades kanāliem.
16. Datu paralēlie slāņi (vairāki GPU, sadalīti)
1) lāpa.nn.DataParallel To izmanto datu paralēlisma ieviešanai moduļa līmenī.
2) torch.nn.DistributedDataParallel To izmanto, lai ieviestu sadalīto datu paralēlismu, kura pamatā ir torch.distributed pakotne moduļa līmenī.
3) torch.nn.DistributedDataParallelCPU To izmanto, lai ieviestu sadalīto datu paralēlismu CPU moduļa līmenī.
17. Komunālie pakalpojumi
1) torch.nn.clip_grad_norm_ To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu.
2) torch.nn.clip_grad_value_ To izmanto, lai izgrieztu parametru atkārtojamības gradienta normu norādītajā vērtībā.
3) torch.nn.parameters_to_vector To izmanto, lai pārveidotu parametrus vienā vektorā.
4) torch.nn.vector_to_parameters To izmanto, lai pārveidotu vienu vektoru par parametriem.
5) lāpa.nn.svara_norm To izmanto, lai piemērotu svara normalizēšanu parametram dotajā modulī.
6) torch.nn.remove_weight_norm To izmanto, lai noņemtu svara normalizēšanu un atkārtotu parametru noteikšanu no moduļa.
7) torch.nn.spectral_norm To izmanto, lai piemērotu spektrālo normalizāciju parametram dotajā modulī.
8) torch.nn.PackedSequence Tas tiks izmantots, lai glabātu iepakotas secības datus un batch_sizes sarakstu.
9) torch.nn.pack_padded_sequence To izmanto, lai iepakotu Tensor, kas satur mainīga garuma polsterētas sekvences.
10) torch.nn.pad_packed_sequence To izmanto, lai pildītu mainīga garuma secību komplektu.
11) torch.nn.pad_sequence To izmanto, lai papildinātu mainīga garuma tensoru sarakstu ar polsterējuma vērtību.
12) torch.nn.pack_sequence To izmanto, lai iesaiņotu mainīga garuma tensoru sarakstu
13) torch.nn.remove_spectral_norm To izmanto, lai noņemtu spektrālo normalizāciju un pārparametrēšanu no moduļa.

Atsauce:

https://pytorch.org/docs/stable/nn.html