SSIS apmācība nodrošina pamata un uzlabotas SQL Server integrācijas pakalpojumu koncepcijas. Mūsu SSIS apmācība ir paredzēta iesācējiem un profesionāļiem.
SQL servera integrācijas pakalpojums ir ātrs un elastīgs datu noliktavas rīks, ko izmanto datu ieguvei, pārveidošanai un datu ielādei. Tas atvieglo datu ielādi no vienas datu bāzes uz citu datu bāzi, piemēram, SQL Server, Oracle, Excel failu utt.
Šajā apmācībā mēs apspriedīsim šādas tēmas:
- Kas ir SSIS
- Kas ir datu integrācija
- Kāpēc SSIS
- Kā darbojas SSIS
- Prasības SQL Server integrācijas pakalpojumam
- Kas ir SSIS pakotne
- SSIS uzdevumi
- Datu plūsmas uzdevuma piemērs
- SQL uzdevuma izpildes piemērs
Kas ir SSIS?
- SSIS apzīmē SQL servera integrācijas pakalpojumus.
- Tas ir Microsoft SQL Server datu bāzes programmatūrā pieejams komponents, ko izmanto, lai veiktu plašu integrācijas uzdevumu klāstu.
- Tas ir datu noliktavas rīks, ko izmanto datu ieguvei, datu ielādei citā datu bāzē, transformācijām, piemēram, datu tīrīšanai, apkopošanai, apvienošanai utt.
- SSIS rīks satur arī grafiskos rīkus un logu vedņu darbplūsmas funkcijas, piemēram, e-pasta ziņojumu sūtīšanu, ftp operācijas, datu avotus.
- SSIS tiek izmantots, lai veiktu plašu transformācijas un integrācijas uzdevumu klāstu. Kopumā datu migrēšanā tiek izmantots SSIS rīks.
SSIS ir rīks, ko galvenokārt izmanto, lai veiktu divas funkcijas:
SSIS veic datu integrāciju, apvienojot datus no vairākiem avotiem un nodrošina lietotājiem vienotus datus.
Darbplūsmu var izmantot, lai veiktu vairākas darbības. Dažreiz mums ir jāizpilda dažas konkrētas darbības vai konkrēts ceļš, kas ir balstīts uz laika periodu vai pakotnei nosūtīto parametru vai datiem, kas pieprasīti no datu bāzes. To var izmantot, lai automatizētu SQL Server datu bāzu uzturēšanu un nodrošinātu daudzdimensiju analītisko datu atjaunināšanu.
Kas ir datu integrācija?
Datu integrācija ir process, kam sekojat, lai integrētu datus no vairākiem avotiem. Dati var būt neviendabīgi vai homogēni dati. Dati var būt strukturēti, daļēji strukturēti vai nestrukturēti. Datu integrācijā dati no dažādiem atšķirīgiem datu avotiem tiek integrēti, veidojot nozīmīgus datus.
Lai panāktu datu integrāciju, tiek izmantotas dažas metodes:
Datu integrācijas priekšrocības:
Tas samazina datu sarežģītību, kas nozīmē, ka datus var piegādāt jebkurā sistēmā. Datu integrācija saglabā sarežģītību, racionalizētus savienojumus un atvieglo datu piegādi jebkurā sistēmā.
Datu integritātei ir liela nozīme datu integrācijā. Tas attiecas uz datu tīrīšanu un apstiprināšanu. Ikviens vēlas augstas kvalitātes un stabilus datus, tāpēc, lai to panāktu, tiek izmantota datu integrācijas koncepcija. Datu integrācija palīdz novērst kļūdas, nekonsekvenci un dublēšanos.
Pieejamība ir saistīta ar datu sadarbību. Pieejamība nozīmē, ka datus var viegli pārveidot, un cilvēki var viegli integrēt datus projektos, koplietot savus rezultātus un uzturēt datus atjauninātus.
Tas arī ļauj pieņemt gudrākus lēmumus. Integrēti dati attiecas uz pārsūtīšanas procesu uzņēmumā, lai mēs varētu vieglāk saprast informāciju. Integrēti dati ir daudz vienkāršāki un informatīvāki.
Kāpēc SSIS?
SSIS tiek izmantots šādu iemeslu dēļ:
SSIS tiek izmantots, lai apvienotu datus no vairākiem datu avotiem, lai vienotā skatā izveidotu vienu struktūru. Būtībā tā ir atbildīga par datu vākšanu, datu ieguvi no vairākiem datu avotiem un apvienošanu vienā datu avotā.
SSSIS ir platforma, kas spēj ielādēt lielu datu apjomu no Excel uz SQL Server datu bāzi.
SSSIS rīks nodrošina ciešu integrāciju ar citiem Microsoft produktiem.
SSSIS rīks ir lētāks nekā vairums citu rīku. Tas var pretoties citiem bāzes produktiem, to vadāmībai, biznesa informācijai utt.
SSSIS ļauj apstrādāt sarežģīto kļūdu datu plūsmā. Varat sākt un apturēt datu plūsmu, pamatojoties uz kļūdas nopietnību. Ja rodas kāda kļūda, varat pat nosūtīt e-pastu administratoram. Kad kļūda ir novērsta, varat izvēlēties ceļu starp darbplūsmu.
Kā darbojas SSIS?
Mēs zinām, ka SSIS ir platforma divām funkcijām, t.i., datu integrācijai un darbplūsmai. Gan uzdevumi Datu transformācijas, gan darbplūsmas izveide tiek veikti, izmantojot SSIS pakotni. SSIS pakotne sastāv no trim sastāvdaļām:
Darbības dati
Operacionālie dati ir datu bāze, ko izmanto, lai integrētu datus no vairākiem datu avotiem, lai veiktu papildu darbības ar datiem. Tā ir vieta, kur dati tiek glabāti pašreizējai darbībai pirms nosūtīšanas uz datu noliktavu glabāšanai, ziņošanai vai arhivēšanai.
operētājsistēmu piemēri
ETL
- ETL ir vissvarīgākais process SSIS rīkā. ETL tiek izmantots, lai izvilktu, pārveidotu un ielādētu datus datu noliktavā.
- ETL ir process, kas atbild par datu izņemšanu no vairākiem datu avotiem, datu pārveidošanu noderīgos datos un pēc tam datu glabāšanu datu noliktavā. Dati var būt jebkura formāta xml failā, plakanā failā vai jebkurā datu bāzes failā.
- Tas arī nodrošina, ka datu noliktavā glabātie dati ir atbilstoši, precīzi, kvalitatīvi un noderīgi biznesa lietotājiem.
- Tam var viegli piekļūt, lai datu noliktavu varētu izmantot efektīvi un lietderīgi.
- Tas arī palīdz organizācijai pieņemt uz datiem balstītus lēmumus, izgūstot strukturētus un nestrukturētus datus no vairākiem datu avotiem.
ETL ir trīs vārdu jēdziens, taču tas ir sadalīts četrās fāzēs:
Uzņemt: Uztveršanas fāze ir pazīstama arī kā izvilkšanas fāze. Šajā fāzē tas izvēlas avota datus vai metadatus, un dati var būt jebkurā formātā, piemēram, xml failā, plakanā failā vai jebkurā datu bāzes failā.
Skrubis: Šajā posmā tiek pārbaudīti sākotnējie dati. Tā pārbauda datus neatkarīgi no tā, vai tajos ir kļūdas vai nav. Tas pārbauda datu kļūdas vai neatbilstības, izmantojot dažus mākslīgā intelekta paņēmienus. Īsāk sakot, tas pārbauda, vai produkta kvalitāte ir vai nav.
Pārveidot: Tā ir trešā ETL fāze. Pārveidošana ir process, kurā sākotnējais formāts tiek pārveidots vajadzīgajā formātā, kuru vēlaties. Transformācija ir datu modelēšana vai mainīšana atbilstoši lietotāja prasībām. Izmaiņas var būt gan kolonnu, gan rindu skaita izmaiņas.
Slodze un indekss: Ceturtā fāze ir slodze un indekss. Tas ielādē datus un apstiprina apstrādāto rindu skaitu. Kad datu ielāde ir pabeigta, tiek izmantota indeksēšana. Indeksēšana palīdz izsekot datu noliktavā ielādēto rindu skaitam. Indeksēšana arī palīdz identificēt datus neatkarīgi no tā, vai tie ir vai nav pareizajā formātā.
Datu noliktava
Datu noliktava ir vienota, pilnīga un konsekventa datu krātuve, kas tiek veidota, apvienojot datus no vairākiem datu avotiem.
Atšķirība starp datu bāzi un datu noliktavu
Atbilde var būt gan jā, gan nē. Gan datu bāzē, gan datu noliktavā ir liela datu vienība un līdzīgs fiziskais attēlojums, taču sarežģītu vaicājumu atbildes laiks datu noliktavā ir ātrāks nekā datu bāzē.
Prasības SQL Server integrācijas pakalpojumiem
Tālāk ir norādītas prasības, lai instalētu SQL Server integrācijas pakalpojumus.
- Instalējiet SQL serveri
- Instalējiet SQL Server datu rīkus
Lai instalētu SQL Server datu rīkus, veiciet tālāk norādītās darbības.
1. darbība: Noklikšķiniet uz saites https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 lai lejupielādētu SQL Server datu rīkus.
2. darbība: Noklikšķinot uz iepriekš minētās saites, tiek parādīts zemāk redzamais ekrāns:
Iepriekš redzamajā ekrānā atlasiet SSDT versiju, kuru vēlaties instalēt.
3. darbība: Kad lejupielāde ir pabeigta, palaidiet lejupielādēto failu. Kad palaižat lejupielādēto failu, tiek parādīts ekrāns, kas parādīts zemāk:
4. darbība: Noklikšķiniet uz pogas Tālāk.
5. darbība: Atlasiet Visual Studio instanci un rīkus, kurus vēlaties instalēt programmā Visual Studio 2017.
6. darbība: Noklikšķiniet uz Uzstādīt pogu.
Kas ir SSIS pakotne?
Pakete ir pamatbloks, kurā kodējat SSIS. Šeit kods nenozīmē, ka jūs kodējat kādā programmēšanas valodā; tas nozīmē attīstību, ko jūs darāt. Izstrāde tiek veikta SSIS pakotnē. SSIS galvenokārt tiek izmantots ETL procesam, un ETL process tiek veikts SSIS pakotnē.
SSIS pakotne sastāv no trim daļām:
SSIS pakotnei būs daži savienojumi, un šie savienojumi tiek izmantoti, lai izveidotu savienojumu ar dažādiem datu avotiem.
SSIS pakotne sastāv no diviem elementiem, t.i., vadības plūsmas elementiem un datu plūsmas elementiem. Kontroles plūsmas elementi apstrādā darbplūsmas. Darbplūsma nozīmē, ka mēs veicam dažus uzdevumus pa soļiem, tāpēc secība tiek veikta, izmantojot kontroles plūsmu.
Datu plūsmas elementi veic transformācijas.
SSIS uzdevumi
SSIS pakotnē mēs varam pievienot uzdevumus. Uzdevums ir darba vienība, un mums būs dažāda veida uzdevumi, lai veiktu dažāda veida darbus. Ir dažādi uzdevumu veidi, taču mēs apspriedīsim SSIS visbiežāk izmantotos uzdevumus:
To izmanto, lai izpildītu SQL paziņojumus pret relāciju datu bāzi.
To galvenokārt izmanto, lai nolasītu datus no viena vai vairākiem datu avotiem, pārveidotu datus, un tos var arī ielādēt vienā vai vairākos galamērķos.
To izmanto, lai apstrādātu SSAS kuba vai tabulas modeļa objektus.
Šis uzdevums tiek izmantots, lai izsauktu citas pakotnes tajā pašā projektā. Jūs pat varat nodot mainīgās vērtības izsauktajai pakotnei.
Tas ļauj palaist lietojumprogrammu vai pakešu skriptus kā SQL servera integrācijas pakalpojumus. To var izmantot, lai atvērtu standarta lietojumprogrammu, piemēram, Microsoft Excel, Microsoft Word utt. To izmanto arī saspiestā faila izsaiņošanai.
To var izmantot, lai veiktu manipulācijas ar failu sistēmu, piemēram, failu pārvietošana, failu dzēšana, failu pārdēvēšana, direktorija maiņa utt.
IFTP uzdevumi tiek izmantoti, lai veiktu darbības ar failiem un mapēm. Piemēram, ja vēlaties nosūtīt vai saņemt failu no FTP servera uz vietējo direktoriju, tad tiek izmantots SSIS FTP uzdevums.
Šis uzdevums ļauj uzrakstīt .Net kodu, kuru vēlaties veikt.
Šis uzdevums tiek izmantots, lai nosūtītu e-pastu. To galvenokārt izmanto, ja vēlaties informēt lietotājus par uzdevuma stāvokli, vai tas ir darbības stāvoklī vai ir radusies kāda kļūda.
Apskatīsim dažus efektīvu datu integrācijas pakalpojuma piemēru.
Datu plūsmas uzdevuma piemērs
1. darbība: Pirmkārt, mēs izveidojam Excel failu programmā Microsoft Excel. Pieņemsim, ka es izveidoju studentu datu bāzi programmā Microsoft Excel, un studentu tabulas lauki ir studenta_id, studenta_nosaukums, atzīmes un dzimums.
2. darbība: Atveriet vizuālo studiju (SQL Server Data Tools).
3. darbība: Noklikšķiniet uz opcijas Fails un pēc tam pārejiet uz Jauns-> Projekts.
4. darbība: Noklikšķinot uz projekta, tiek parādīts ekrāns, kas parādīts šādi:
Iepriekš redzamajā ekrānā noklikšķiniet uz Integrācijas pakalpojumi, kas parādās paneļa kreisajā pusē, un pēc tam noklikšķiniet uz Integrācijas pakalpojumu projekta.
5. darbība: Pēc noklikšķināšanas uz Integrācijas pakalpojumu projekts opciju, ekrāns tiek parādīts šādi:
Iepriekš redzamais ekrāns sastāv no piecām cilnēm, piemēram, Control flow, Data flow, Parameters, Event Handler un Package Explorer. Mēs jau esam apsprieduši vadības plūsmu un datu plūsmu, gan vadības plūsma, gan datu plūsma pastāv SSIS pakotnē.
6. darbība: Lai importētu datus, mums vispirms ir jāizveido datu bāze, kurā mēs izveidojam tabulu SQL Server datu bāzē. Kā zināms, studentu dati ir pieejami Excel failā, un mēs vēlamies tos importēt SQL Server datu bāzē. Lai to panāktu, vispirms ir jāizveido tabula SQL Server. Atveriet SQL Server Management Studio.
7. darbība: Izveidojiet students datu bāze. Ar peles labo pogu noklikšķiniet uz datu bāzes un pēc tam noklikšķiniet uz Jauna datu bāze opciju.
8. darbība: Ievadiet datu bāzes nosaukumu zemāk esošajā ekrānuzņēmumā:
Esmu piešķīris StudentWarehouse kā datu bāzes nosaukumu.
9. darbība: Noklikšķiniet uz labi pogu.
10. darbība: Tagad mēs izveidojam tabulu a Studentu noliktava datu bāze. Ar peles labo pogu noklikšķiniet uz tabulām un pēc tam noklikšķiniet uz Jauna tabula.
11. darbība: Tagad mēs pievienojam tabulas laukus, piemēram, studenta_id, studenta_nosaukums, atzīmes un dzimums. Mēs iestatījām student_id kā primāro atslēgu, kas unikāli identificē katru rindu.
r c valodā
Iepriekš redzamajā ekrānā redzams, ka tabulā tiek pievienoti četri lauki. Pēc visu lauku pievienošanas tabulai mēs saglabājam tabulu, norādot kādu noderīgu nosaukumu. Pieņemsim, ka esmu norādījis studentu kā tabulas nosaukumu.
12. darbība: Pārejiet atpakaļ uz vizuālo studiju. Vadības plūsma satur datu plūsmas uzdevumu, velciet un nometiet datu plūsmas uzdevumu galvenajā logā.
13. darbība: Veicot dubultklikšķi uz datu plūsmas uzdevuma, vadīkla automātiski pāriet uz datu plūsmu no vadības plūsmas, tāpēc mēs varam teikt, ka Control Flow ir datu plūsmas konteiners.
14. darbība: Tagad mēs varam veikt transformācijas datu plūsmā. Mēs vēlamies iegūt datus no Excel faila, ko izveidojām iepriekš, tāpēc velciet un nometiet Excel avotu no citiem avotiem, kas parādās paneļa galējā kreisajā pusē.
Iepriekš redzamajā ekrānā mēs novērojam, ka Excel avotā parādās sarkans krusts, kas nozīmē, ka komponents ir konfigurēts ar Excel avotu.
15. darbība: Lai konfigurētu komponentu, ar peles labo pogu noklikšķiniet uz Excel avota un noklikšķiniet uz opcijas Rediģēt, kā parādīts tālāk esošajā ekrānuzņēmumā:
16. darbība: Aizpildiet tālāk redzamajā ekrānuzņēmumā redzamo informāciju:
17. darbība: Pēc visu datu ievadīšanas ekrānā tiek parādīts šāds attēls:
18. darbība: Noklikšķiniet uz Excel avota.
Iepriekš redzamajā ekrānā ir redzamas divas bultiņas, sarkanā un zilā bultiņa. Zilā bultiņa nosaka faktiskos datus, ko mēs saņemam no Excel faila, un sarkanā bultiņa apzīmē mūsu kļūdas. Tagad mums ir jāveic transformācijas, un pirms transformāciju veikšanas mums ir jāielādē datu bāze.
19. darbība: Lai ielādētu datu bāzi, noklikšķiniet uz Citi galamērķi un pēc tam noklikšķiniet uz Galamērķis.
20. darbība: Pēc galamērķa pievienošanas savienojiet avotu ar galamērķi.
21. darbība: Iepriekš minētajā darbībā mēs pamanījām sarkano krustu ADO NET galamērķī, kas nozīmē, ka tas nav konfigurēts ar komponentu. Ar peles labo pogu noklikšķiniet uz ADO NET galamērķa un pēc tam noklikšķiniet uz opcijas Rediģēt, kā parādīts zemāk esošajā ekrānuzņēmumā:
22. darbība: Jums jānorāda konfigurācijas pārvaldnieks.
23. darbība: Noklikšķiniet uz Jauns pogu, lai pievienotu savienojuma pārvaldnieku. Noklikšķinot uz Jauns pogu, tiek parādīts zemāk redzamais ekrāns:
24. darbība: Pievienojiet servera nosaukumu un atlasiet datu bāzes nosaukumu no SQL servera.
25. darbība: Noklikšķiniet uz pogas Labi.
26. darbība: Pievienojiet tabulas nosaukumu, kurā vēlaties ielādēt datus.
27. darbība: Tālāk esošajā ekrānā kartējiet ievades avota lauku ar mērķa avota lauku.
foreach cilpas mašīnraksts
28. darbība: Pēc kartēšanas pievienošanas avots tiek savienots ar galamērķi, kā parādīts tālāk esošajā ekrānuzņēmumā:
29. darbība: Noklikšķiniet uz Sākt pogu, lai palaistu integrācijas pakalpojumu projektu. Kad palaižat projektu, dati tiek ielādēti galamērķī, t.i., SQL serveris .
SQL uzdevuma izpildes piemērs
- Izpildiet iepriekšējā piemēra darbības no 2. līdz 5. darbībai.
- Velciet un nometiet Izpildiet SQL uzdevumu kas parādās galvenā loga galējā kreisajā panelī.
Iepriekš redzamajā ekrānā mēs novērojam, ka uzdevumā Execute SQL Task parādās sarkanais krustiņš, kas nozīmē, ka Savienojumu pārvaldnieks nav konfigurēts ar Izpildiet SQL uzdevumu . Lai to konfigurētu, mums jāpievieno savienojuma pārvaldnieks.
- Lai pievienotu savienojumu pārvaldnieku, ar peles labo pogu noklikšķiniet uz Savienojumu pārvaldnieka un pēc tam noklikšķiniet uz Jauns savienojumu pārvaldnieks, kā parādīts tālāk esošajā ekrānuzņēmumā:
- Izvēlieties OLEDB kā savienojumu pārvaldnieka veidu un pēc tam noklikšķiniet uz Pievienot pogu, kā parādīts zemāk esošajā ekrānuzņēmumā:
- Pēc noklikšķināšanas uz Pievienot pogu, tiek parādīts ekrāns, kas parādīts zemāk esošajā ekrānuzņēmumā:
Iepriekš redzamajā ekrānā mēs novērojam, ka datu savienojums ir Studentu noliktava datu bāze jau ir pieejama, kā mēs izveidojām iepriekšējā darbībā. Noklikšķiniet uz labi pogu.
- Noklikšķinot uz pogas Labi, tiek parādīts tālāk redzamais ekrāns.
Iepriekš redzamajā ekrānā jums jāievada tāda informācija kā uzdevuma nosaukums, apraksts, SQL priekšraksts (SQL uzdevums, kas jums jāveic tabulā).
- Iepriekš esošajā ekrānuzņēmumā ievadīju šādu informāciju:
Iepriekš minētajā gadījumā esmu nodrošinājis ievietošanas komandu programmā SQLStatement.
- Noklikšķiniet uz labi pogu.
- Konfigurējot komponentu ar Execute SQL Task, sarkanais krusts pazūd, kā parādīts tālāk esošajā ekrānuzņēmumā:
- Palaidiet projektu, noklikšķinot uz Sākt .
- Noklikšķinot uz Sākt , ekrāns parādās šādi:
Iepriekš redzamajā ekrānā atzīme norāda, ka jūsu SQL uzdevums ir veiksmīgi izpildīts. Ievietošanas paziņojums, ko pievienojām iepriekšējās darbībās, ir izpildīts, un dati tiek pievienoti tabulā. i., students1.
- Šī uzdevuma rezultāts ir parādīts zemāk
Priekšnoteikums
Pirms apgūt SSIS, jums ir jābūt pamatzināšanām par SQL Server.
Auditorija
Mūsu SSIS apmācība ir paredzēta, lai palīdzētu iesācējiem un profesionāļiem.
Problēma
Mēs garantējam, ka šajā SSIS apmācībā jūs neatradīsit nekādas problēmas. Bet, ja ir kāda kļūda vai kļūda, lūdzu, publicējiet kļūdu saziņas veidlapā.