SSIS apmācība nodrošina pamata un uzlabotas SQL Server integrācijas pakalpojumu koncepcijas. Mūsu SSIS apmācība ir paredzēta iesācējiem un profesionāļiem.

SQL servera integrācijas pakalpojums ir ātrs un elastīgs datu noliktavas rīks, ko izmanto datu ieguvei, pārveidošanai un datu ielādei. Tas atvieglo datu ielādi no vienas datu bāzes uz citu datu bāzi, piemēram, SQL Server, Oracle, Excel failu utt.

Šajā apmācībā mēs apspriedīsim šādas tēmas:

• Kas ir SSIS
• Kas ir datu integrācija
• Kāpēc SSIS
• Kā darbojas SSIS
• Prasības SQL Server integrācijas pakalpojumam
• Kas ir SSIS pakotne
• SSIS uzdevumi
• Datu plūsmas uzdevuma piemērs
• SQL uzdevuma izpildes piemērs

Kas ir SSIS?

• SSIS apzīmē SQL servera integrācijas pakalpojumus.
• Tas ir Microsoft SQL Server datu bāzes programmatūrā pieejams komponents, ko izmanto, lai veiktu plašu integrācijas uzdevumu klāstu.
• Tas ir datu noliktavas rīks, ko izmanto datu ieguvei, datu ielādei citā datu bāzē, transformācijām, piemēram, datu tīrīšanai, apkopošanai, apvienošanai utt.
• SSIS rīks satur arī grafiskos rīkus un logu vedņu darbplūsmas funkcijas, piemēram, e-pasta ziņojumu sūtīšanu, ftp operācijas, datu avotus.
• SSIS tiek izmantots, lai veiktu plašu transformācijas un integrācijas uzdevumu klāstu. Kopumā datu migrēšanā tiek izmantots SSIS rīks.

SSIS ir rīks, ko galvenokārt izmanto, lai veiktu divas funkcijas:

Datu integrācija
SSIS veic datu integrāciju, apvienojot datus no vairākiem avotiem un nodrošina lietotājiem vienotus datus.Darbplūsma
Darbplūsmu var izmantot, lai veiktu vairākas darbības. Dažreiz mums ir jāizpilda dažas konkrētas darbības vai konkrēts ceļš, kas ir balstīts uz laika periodu vai pakotnei nosūtīto parametru vai datiem, kas pieprasīti no datu bāzes. To var izmantot, lai automatizētu SQL Server datu bāzu uzturēšanu un nodrošinātu daudzdimensiju analītisko datu atjaunināšanu.

Kas ir datu integrācija?

Datu integrācija ir process, kam sekojat, lai integrētu datus no vairākiem avotiem. Dati var būt neviendabīgi vai homogēni dati. Dati var būt strukturēti, daļēji strukturēti vai nestrukturēti. Datu integrācijā dati no dažādiem atšķirīgiem datu avotiem tiek integrēti, veidojot nozīmīgus datus.

Lai panāktu datu integrāciju, tiek izmantotas dažas metodes:

Datu modelēšana:Datu modelēšanā vispirms ir jāizveido datu modelis un jāveic ar to darbības.Datu profilēšana:Datu profilēšana ir process, ko izmanto, lai pārbaudītu pieejamo datu kļūdas, nekonsekvenci vai atšķirības. Datu profilēšana nodrošina datu kvalitāti, kur datu kvalitāte attiecas uz datu precizitāti, konsekvenci un pilnīgumu.

Datu integrācijas priekšrocības:

Samaziniet datu sarežģītību
Tas samazina datu sarežģītību, kas nozīmē, ka datus var piegādāt jebkurā sistēmā. Datu integrācija saglabā sarežģītību, racionalizētus savienojumus un atvieglo datu piegādi jebkurā sistēmā.Datu ticamība
Datu integritātei ir liela nozīme datu integrācijā. Tas attiecas uz datu tīrīšanu un apstiprināšanu. Ikviens vēlas augstas kvalitātes un stabilus datus, tāpēc, lai to panāktu, tiek izmantota datu integrācijas koncepcija. Datu integrācija palīdz novērst kļūdas, nekonsekvenci un dublēšanos.Vienkārša datu sadarbība
Pieejamība ir saistīta ar datu sadarbību. Pieejamība nozīmē, ka datus var viegli pārveidot, un cilvēki var viegli integrēt datus projektos, koplietot savus rezultātus un uzturēt datus atjauninātus.Gudrāki biznesa lēmumi
Tas arī ļauj pieņemt gudrākus lēmumus. Integrēti dati attiecas uz pārsūtīšanas procesu uzņēmumā, lai mēs varētu vieglāk saprast informāciju. Integrēti dati ir daudz vienkāršāki un informatīvāki.

Kāpēc SSIS?

SSIS tiek izmantots šādu iemeslu dēļ:

Datus var ielādēt paralēli daudziem dažādiem galamērķiem
SSIS tiek izmantots, lai apvienotu datus no vairākiem datu avotiem, lai vienotā skatā izveidotu vienu struktūru. Būtībā tā ir atbildīga par datu vākšanu, datu ieguvi no vairākiem datu avotiem un apvienošanu vienā datu avotā.Novērš vajadzību pēc cietajiem programmētājiem
SSSIS ir platforma, kas spēj ielādēt lielu datu apjomu no Excel uz SQL Server datu bāzi.Integrācija ar citiem produktiem
SSSIS rīks nodrošina ciešu integrāciju ar citiem Microsoft produktiem.Lētāk nekā citi ETL rīki
SSSIS rīks ir lētāks nekā vairums citu rīku. Tas var pretoties citiem bāzes produktiem, to vadāmībai, biznesa informācijai utt.Sarežģīta kļūdu apstrāde datu plūsmās
SSSIS ļauj apstrādāt sarežģīto kļūdu datu plūsmā. Varat sākt un apturēt datu plūsmu, pamatojoties uz kļūdas nopietnību. Ja rodas kāda kļūda, varat pat nosūtīt e-pastu administratoram. Kad kļūda ir novērsta, varat izvēlēties ceļu starp darbplūsmu.

Kā darbojas SSIS?

Mēs zinām, ka SSIS ir platforma divām funkcijām, t.i., datu integrācijai un darbplūsmai. Gan uzdevumi Datu transformācijas, gan darbplūsmas izveide tiek veikti, izmantojot SSIS pakotni. SSIS pakotne sastāv no trim sastāvdaļām:

Darbības dati

Operacionālie dati ir datu bāze, ko izmanto, lai integrētu datus no vairākiem datu avotiem, lai veiktu papildu darbības ar datiem. Tā ir vieta, kur dati tiek glabāti pašreizējai darbībai pirms nosūtīšanas uz datu noliktavu glabāšanai, ziņošanai vai arhivēšanai.

operētājsistēmu piemēri

ETL

• ETL ir vissvarīgākais process SSIS rīkā. ETL tiek izmantots, lai izvilktu, pārveidotu un ielādētu datus datu noliktavā.
• ETL ir process, kas atbild par datu izņemšanu no vairākiem datu avotiem, datu pārveidošanu noderīgos datos un pēc tam datu glabāšanu datu noliktavā. Dati var būt jebkura formāta xml failā, plakanā failā vai jebkurā datu bāzes failā.
• Tas arī nodrošina, ka datu noliktavā glabātie dati ir atbilstoši, precīzi, kvalitatīvi un noderīgi biznesa lietotājiem.
• Tam var viegli piekļūt, lai datu noliktavu varētu izmantot efektīvi un lietderīgi.
• Tas arī palīdz organizācijai pieņemt uz datiem balstītus lēmumus, izgūstot strukturētus un nestrukturētus datus no vairākiem datu avotiem.

ETL ir trīs vārdu jēdziens, taču tas ir sadalīts četrās fāzēs:

Uzņemt: Uztveršanas fāze ir pazīstama arī kā izvilkšanas fāze. Šajā fāzē tas izvēlas avota datus vai metadatus, un dati var būt jebkurā formātā, piemēram, xml failā, plakanā failā vai jebkurā datu bāzes failā.

Skrubis: Šajā posmā tiek pārbaudīti sākotnējie dati. Tā pārbauda datus neatkarīgi no tā, vai tajos ir kļūdas vai nav. Tas pārbauda datu kļūdas vai neatbilstības, izmantojot dažus mākslīgā intelekta paņēmienus. Īsāk sakot, tas pārbauda, ​​vai produkta kvalitāte ir vai nav.

Pārveidot: Tā ir trešā ETL fāze. Pārveidošana ir process, kurā sākotnējais formāts tiek pārveidots vajadzīgajā formātā, kuru vēlaties. Transformācija ir datu modelēšana vai mainīšana atbilstoši lietotāja prasībām. Izmaiņas var būt gan kolonnu, gan rindu skaita izmaiņas.

Slodze un indekss: Ceturtā fāze ir slodze un indekss. Tas ielādē datus un apstiprina apstrādāto rindu skaitu. Kad datu ielāde ir pabeigta, tiek izmantota indeksēšana. Indeksēšana palīdz izsekot datu noliktavā ielādēto rindu skaitam. Indeksēšana arī palīdz identificēt datus neatkarīgi no tā, vai tie ir vai nav pareizajā formātā.

Datu noliktava

Datu noliktava ir vienota, pilnīga un konsekventa datu krātuve, kas tiek veidota, apvienojot datus no vairākiem datu avotiem.

Atšķirība starp datu bāzi un datu noliktavu

Atbilde var būt gan jā, gan nē. Gan datu bāzē, gan datu noliktavā ir liela datu vienība un līdzīgs fiziskais attēlojums, taču sarežģītu vaicājumu atbildes laiks datu noliktavā ir ātrāks nekā datu bāzē.

Prasības SQL Server integrācijas pakalpojumiem

Tālāk ir norādītas prasības, lai instalētu SQL Server integrācijas pakalpojumus.

• Instalējiet SQL serveri
• Instalējiet SQL Server datu rīkus

Lai instalētu SQL Server datu rīkus, veiciet tālāk norādītās darbības.

1. darbība: Noklikšķiniet uz saites https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 lai lejupielādētu SQL Server datu rīkus.

2. darbība: Noklikšķinot uz iepriekš minētās saites, tiek parādīts zemāk redzamais ekrāns:

Iepriekš redzamajā ekrānā atlasiet SSDT versiju, kuru vēlaties instalēt.

3. darbība: Kad lejupielāde ir pabeigta, palaidiet lejupielādēto failu. Kad palaižat lejupielādēto failu, tiek parādīts ekrāns, kas parādīts zemāk:

4. darbība: Noklikšķiniet uz pogas Tālāk.

5. darbība: Atlasiet Visual Studio instanci un rīkus, kurus vēlaties instalēt programmā Visual Studio 2017.

6. darbība: Noklikšķiniet uz Uzstādīt pogu.

Kas ir SSIS pakotne?

Pakete ir pamatbloks, kurā kodējat SSIS. Šeit kods nenozīmē, ka jūs kodējat kādā programmēšanas valodā; tas nozīmē attīstību, ko jūs darāt. Izstrāde tiek veikta SSIS pakotnē. SSIS galvenokārt tiek izmantots ETL procesam, un ETL process tiek veikts SSIS pakotnē.

SSIS pakotne sastāv no trim daļām:

Savienojumi
SSIS pakotnei būs daži savienojumi, un šie savienojumi tiek izmantoti, lai izveidotu savienojumu ar dažādiem datu avotiem.Kontroles plūsmas elementi
SSIS pakotne sastāv no diviem elementiem, t.i., vadības plūsmas elementiem un datu plūsmas elementiem. Kontroles plūsmas elementi apstrādā darbplūsmas. Darbplūsma nozīmē, ka mēs veicam dažus uzdevumus pa soļiem, tāpēc secība tiek veikta, izmantojot kontroles plūsmu.Datu plūsmas elementi
Datu plūsmas elementi veic transformācijas.

SSIS uzdevumi

SSIS pakotnē mēs varam pievienot uzdevumus. Uzdevums ir darba vienība, un mums būs dažāda veida uzdevumi, lai veiktu dažāda veida darbus. Ir dažādi uzdevumu veidi, taču mēs apspriedīsim SSIS visbiežāk izmantotos uzdevumus:

Izpildiet SQL uzdevumu
To izmanto, lai izpildītu SQL paziņojumus pret relāciju datu bāzi.Datu plūsmas uzdevums
To galvenokārt izmanto, lai nolasītu datus no viena vai vairākiem datu avotiem, pārveidotu datus, un tos var arī ielādēt vienā vai vairākos galamērķos.Analīzes pakalpojumu apstrādes uzdevums
To izmanto, lai apstrādātu SSAS kuba vai tabulas modeļa objektus.Izpildiet pakotnes uzdevumu
Šis uzdevums tiek izmantots, lai izsauktu citas pakotnes tajā pašā projektā. Jūs pat varat nodot mainīgās vērtības izsauktajai pakotnei.Izpildiet procesa uzdevumu
Tas ļauj palaist lietojumprogrammu vai pakešu skriptus kā SQL servera integrācijas pakalpojumus. To var izmantot, lai atvērtu standarta lietojumprogrammu, piemēram, Microsoft Excel, Microsoft Word utt. To izmanto arī saspiestā faila izsaiņošanai.Failu sistēmas uzdevums
To var izmantot, lai veiktu manipulācijas ar failu sistēmu, piemēram, failu pārvietošana, failu dzēšana, failu pārdēvēšana, direktorija maiņa utt.FTP uzdevumi
IFTP uzdevumi tiek izmantoti, lai veiktu darbības ar failiem un mapēm. Piemēram, ja vēlaties nosūtīt vai saņemt failu no FTP servera uz vietējo direktoriju, tad tiek izmantots SSIS FTP uzdevums.Skripta uzdevums
Šis uzdevums ļauj uzrakstīt .Net kodu, kuru vēlaties veikt.Sūtīt pasta uzdevumu
Šis uzdevums tiek izmantots, lai nosūtītu e-pastu. To galvenokārt izmanto, ja vēlaties informēt lietotājus par uzdevuma stāvokli, vai tas ir darbības stāvoklī vai ir radusies kāda kļūda.

Apskatīsim dažus efektīvu datu integrācijas pakalpojuma piemēru.

Datu plūsmas uzdevuma piemērs

1. darbība: Pirmkārt, mēs izveidojam Excel failu programmā Microsoft Excel. Pieņemsim, ka es izveidoju studentu datu bāzi programmā Microsoft Excel, un studentu tabulas lauki ir studenta_id, studenta_nosaukums, atzīmes un dzimums.

2. darbība: Atveriet vizuālo studiju (SQL Server Data Tools).

3. darbība: Noklikšķiniet uz opcijas Fails un pēc tam pārejiet uz Jauns-> Projekts.

4. darbība: Noklikšķinot uz projekta, tiek parādīts ekrāns, kas parādīts šādi:

Iepriekš redzamajā ekrānā noklikšķiniet uz Integrācijas pakalpojumi, kas parādās paneļa kreisajā pusē, un pēc tam noklikšķiniet uz Integrācijas pakalpojumu projekta.

5. darbība: Pēc noklikšķināšanas uz Integrācijas pakalpojumu projekts opciju, ekrāns tiek parādīts šādi:

Iepriekš redzamais ekrāns sastāv no piecām cilnēm, piemēram, Control flow, Data flow, Parameters, Event Handler un Package Explorer. Mēs jau esam apsprieduši vadības plūsmu un datu plūsmu, gan vadības plūsma, gan datu plūsma pastāv SSIS pakotnē.

6. darbība: Lai importētu datus, mums vispirms ir jāizveido datu bāze, kurā mēs izveidojam tabulu SQL Server datu bāzē. Kā zināms, studentu dati ir pieejami Excel failā, un mēs vēlamies tos importēt SQL Server datu bāzē. Lai to panāktu, vispirms ir jāizveido tabula SQL Server. Atveriet SQL Server Management Studio.

7. darbība: Izveidojiet students datu bāze. Ar peles labo pogu noklikšķiniet uz datu bāzes un pēc tam noklikšķiniet uz Jauna datu bāze opciju.

8. darbība: Ievadiet datu bāzes nosaukumu zemāk esošajā ekrānuzņēmumā:

Esmu piešķīris StudentWarehouse kā datu bāzes nosaukumu.

9. darbība: Noklikšķiniet uz labi pogu.

10. darbība: Tagad mēs izveidojam tabulu a Studentu noliktava datu bāze. Ar peles labo pogu noklikšķiniet uz tabulām un pēc tam noklikšķiniet uz Jauna tabula.

11. darbība: Tagad mēs pievienojam tabulas laukus, piemēram, studenta_id, studenta_nosaukums, atzīmes un dzimums. Mēs iestatījām student_id kā primāro atslēgu, kas unikāli identificē katru rindu.

r c valodā

Iepriekš redzamajā ekrānā redzams, ka tabulā tiek pievienoti četri lauki. Pēc visu lauku pievienošanas tabulai mēs saglabājam tabulu, norādot kādu noderīgu nosaukumu. Pieņemsim, ka esmu norādījis studentu kā tabulas nosaukumu.

12. darbība: Pārejiet atpakaļ uz vizuālo studiju. Vadības plūsma satur datu plūsmas uzdevumu, velciet un nometiet datu plūsmas uzdevumu galvenajā logā.

13. darbība: Veicot dubultklikšķi uz datu plūsmas uzdevuma, vadīkla automātiski pāriet uz datu plūsmu no vadības plūsmas, tāpēc mēs varam teikt, ka Control Flow ir datu plūsmas konteiners.

14. darbība: Tagad mēs varam veikt transformācijas datu plūsmā. Mēs vēlamies iegūt datus no Excel faila, ko izveidojām iepriekš, tāpēc velciet un nometiet Excel avotu no citiem avotiem, kas parādās paneļa galējā kreisajā pusē.

Iepriekš redzamajā ekrānā mēs novērojam, ka Excel avotā parādās sarkans krusts, kas nozīmē, ka komponents ir konfigurēts ar Excel avotu.

15. darbība: Lai konfigurētu komponentu, ar peles labo pogu noklikšķiniet uz Excel avota un noklikšķiniet uz opcijas Rediģēt, kā parādīts tālāk esošajā ekrānuzņēmumā:

16. darbība: Aizpildiet tālāk redzamajā ekrānuzņēmumā redzamo informāciju:

17. darbība: Pēc visu datu ievadīšanas ekrānā tiek parādīts šāds attēls:

18. darbība: Noklikšķiniet uz Excel avota.

Iepriekš redzamajā ekrānā ir redzamas divas bultiņas, sarkanā un zilā bultiņa. Zilā bultiņa nosaka faktiskos datus, ko mēs saņemam no Excel faila, un sarkanā bultiņa apzīmē mūsu kļūdas. Tagad mums ir jāveic transformācijas, un pirms transformāciju veikšanas mums ir jāielādē datu bāze.

19. darbība: Lai ielādētu datu bāzi, noklikšķiniet uz Citi galamērķi un pēc tam noklikšķiniet uz Galamērķis.

20. darbība: Pēc galamērķa pievienošanas savienojiet avotu ar galamērķi.

21. darbība: Iepriekš minētajā darbībā mēs pamanījām sarkano krustu ADO NET galamērķī, kas nozīmē, ka tas nav konfigurēts ar komponentu. Ar peles labo pogu noklikšķiniet uz ADO NET galamērķa un pēc tam noklikšķiniet uz opcijas Rediģēt, kā parādīts zemāk esošajā ekrānuzņēmumā:

22. darbība: Jums jānorāda konfigurācijas pārvaldnieks.

23. darbība: Noklikšķiniet uz Jauns pogu, lai pievienotu savienojuma pārvaldnieku. Noklikšķinot uz Jauns pogu, tiek parādīts zemāk redzamais ekrāns:

24. darbība: Pievienojiet servera nosaukumu un atlasiet datu bāzes nosaukumu no SQL servera.

25. darbība: Noklikšķiniet uz pogas Labi.

26. darbība: Pievienojiet tabulas nosaukumu, kurā vēlaties ielādēt datus.

27. darbība: Tālāk esošajā ekrānā kartējiet ievades avota lauku ar mērķa avota lauku.

foreach cilpas mašīnraksts

28. darbība: Pēc kartēšanas pievienošanas avots tiek savienots ar galamērķi, kā parādīts tālāk esošajā ekrānuzņēmumā:

29. darbība: Noklikšķiniet uz Sākt pogu, lai palaistu integrācijas pakalpojumu projektu. Kad palaižat projektu, dati tiek ielādēti galamērķī, t.i., SQL serveris .

SQL uzdevuma izpildes piemērs

• Izpildiet iepriekšējā piemēra darbības no 2. līdz 5. darbībai.
• Velciet un nometiet Izpildiet SQL uzdevumu kas parādās galvenā loga galējā kreisajā panelī.

Iepriekš redzamajā ekrānā mēs novērojam, ka uzdevumā Execute SQL Task parādās sarkanais krustiņš, kas nozīmē, ka Savienojumu pārvaldnieks nav konfigurēts ar Izpildiet SQL uzdevumu . Lai to konfigurētu, mums jāpievieno savienojuma pārvaldnieks.

• Lai pievienotu savienojumu pārvaldnieku, ar peles labo pogu noklikšķiniet uz Savienojumu pārvaldnieka un pēc tam noklikšķiniet uz Jauns savienojumu pārvaldnieks, kā parādīts tālāk esošajā ekrānuzņēmumā:

• Izvēlieties OLEDB kā savienojumu pārvaldnieka veidu un pēc tam noklikšķiniet uz Pievienot pogu, kā parādīts zemāk esošajā ekrānuzņēmumā:

• Pēc noklikšķināšanas uz Pievienot pogu, tiek parādīts ekrāns, kas parādīts zemāk esošajā ekrānuzņēmumā:

Iepriekš redzamajā ekrānā mēs novērojam, ka datu savienojums ir Studentu noliktava datu bāze jau ir pieejama, kā mēs izveidojām iepriekšējā darbībā. Noklikšķiniet uz labi pogu.

• Noklikšķinot uz pogas Labi, tiek parādīts tālāk redzamais ekrāns.

Iepriekš redzamajā ekrānā jums jāievada tāda informācija kā uzdevuma nosaukums, apraksts, SQL priekšraksts (SQL uzdevums, kas jums jāveic tabulā).

• Iepriekš esošajā ekrānuzņēmumā ievadīju šādu informāciju:

Iepriekš minētajā gadījumā esmu nodrošinājis ievietošanas komandu programmā SQLStatement.

• Noklikšķiniet uz labi pogu.
• Konfigurējot komponentu ar Execute SQL Task, sarkanais krusts pazūd, kā parādīts tālāk esošajā ekrānuzņēmumā:

• Palaidiet projektu, noklikšķinot uz Sākt .

• Noklikšķinot uz Sākt , ekrāns parādās šādi:

Iepriekš redzamajā ekrānā atzīme norāda, ka jūsu SQL uzdevums ir veiksmīgi izpildīts. Ievietošanas paziņojums, ko pievienojām iepriekšējās darbībās, ir izpildīts, un dati tiek pievienoti tabulā. i., students1.

• Šī uzdevuma rezultāts ir parādīts zemāk

Priekšnoteikums

Pirms apgūt SSIS, jums ir jābūt pamatzināšanām par SQL Server.

Auditorija

Mūsu SSIS apmācība ir paredzēta, lai palīdzētu iesācējiem un profesionāļiem.

Problēma

Mēs garantējam, ka šajā SSIS apmācībā jūs neatradīsit nekādas problēmas. Bet, ja ir kāda kļūda vai kļūda, lūdzu, publicējiet kļūdu saziņas veidlapā.