Посібник SSIS містить базові та розширені концепції служб інтеграції SQL Server. Наш навчальний посібник із SSIS призначений для початківців і професіоналів.
Служба інтеграції SQL Server це швидкий і гнучкий інструмент зберігання даних, який використовується для вилучення, перетворення та завантаження даних. Це дозволяє легко завантажувати дані з однієї бази даних в іншу базу даних, наприклад SQL Server, Oracle, файл Excel тощо.
У цьому посібнику ми обговоримо такі теми:
- Що таке SSIS
- Що таке інтеграція даних
- Чому SSIS
- Як працює SSIS
- Вимоги до служби інтеграції SQL Server
- Що таке пакет SSIS
- Завдання SSIS
- Приклад завдання потоку даних
- Приклад виконання завдання SQL
Що таке SSIS?
- SSIS означає SQL Server Integration Services.
- Це компонент, доступний у програмному забезпеченні бази даних Microsoft SQL Server, який використовується для виконання широкого кола завдань інтеграції.
- Це інструмент сховища даних, який використовується для вилучення даних, завантаження даних в іншу базу даних, таких перетворень, як очищення, агрегування, об’єднання даних тощо.
- Інструмент SSIS також містить графічні інструменти та функції робочого циклу майстрів вікон, такі як надсилання повідомлень електронної пошти, операції ftp, джерела даних.
- SSIS використовується для виконання широкого спектру завдань трансформації та інтеграції. В цілому інструмент SSIS використовується для міграції даних.
SSIS — це інструмент, який в основному використовується для виконання двох функцій:
Служба SSIS виконує інтеграцію даних шляхом поєднання даних із кількох джерел і надає уніфіковані дані користувачам.
Робочий процес можна використовувати для виконання кількох завдань. Іноді нам потрібно виконати певні кроки або певний шлях, який базується або на періоді часу, або на параметрі, переданому пакету, або на даних, запитуваних із бази даних. Його можна використовувати для автоматизації обслуговування баз даних SQL Server і забезпечує оновлення багатовимірних аналітичних даних.
Що таке інтеграція даних?
Інтеграція даних — це процес, який ви виконуєте, щоб інтегрувати дані з кількох джерел. Дані можуть бути різнорідними або однорідними даними. Дані можуть бути структурованими, напівструктурованими або неструктурованими. В інтеграції даних дані з різних несхожих джерел даних об’єднуються, щоб сформувати деякі значущі дані.
Деякі методи використовуються для досягнення інтеграції даних:
Переваги інтеграції даних:
Це зменшує складність даних, що означає, що дані можуть бути доставлені в будь-яку систему. Інтеграція даних підтримує складність, спрощені з’єднання та полегшує доставку даних до будь-якої системи.
Цілісність даних відіграє важливу роль в інтеграції даних. Він займається очищенням і перевіркою даних. Усі хочуть високоякісних і надійних даних, тому для досягнення цього використовується концепція інтеграції даних. Інтеграція даних допомагає усунути помилки, неузгодженість і дублювання.
Доступність є частиною співпраці з даними. Доступність означає, що дані можна легко трансформувати, і люди можуть легко інтегрувати дані в проекти, ділитися своїми результатами та підтримувати дані в актуальному стані.
Це також дає змогу приймати розумніші рішення. Інтегровані дані стосуються процесу передачі всередині компанії, щоб ми могли легше зрозуміти інформацію. Інтегровані дані набагато простіші та інформативніші.
Чому SSIS?
SSIS використовується з таких причин:
SSIS використовується для об’єднання даних із кількох джерел даних для створення єдиної структури в уніфікованому поданні. По суті, він відповідає за збір даних, вилучення даних із кількох джерел даних і об’єднання в одне джерело даних.
SSSIS — це платформа, яка має можливість завантажувати велику кількість даних із Excel у базу даних SQL Server.
Інструмент SSSIS забезпечує тісну інтеграцію з іншими продуктами Microsoft.
Інструмент SSSIS дешевший, ніж більшість інших інструментів. Він може протистояти іншим базовим продуктам, їх керованості, бізнес-аналітиці тощо.
SSSIS дозволяє обробляти складні помилки в потоці даних. Ви можете запускати та зупиняти потік даних залежно від серйозності помилки. Ви навіть можете надіслати електронний лист адміністратору, коли станеться якась помилка. Коли помилку вирішено, ви можете вибрати шлях між робочим процесом.
Як працює SSIS?
Ми знаємо, що SSIS — це платформа для двох функцій, тобто інтеграції даних і робочого процесу. Обидва завдання: перетворення даних і створення робочого циклу виконуються за допомогою пакета SSIS. Пакет SSIS складається з трьох компонентів:
Оперативні дані
Оперативні дані – це база даних, яка використовується для об’єднання даних із кількох джерел даних для виконання додаткових операцій із даними. Це місце, де дані зберігаються для поточної роботи перед надсиланням до сховища даних для зберігання, звітування або архівування.
зірчаста топологія
ETL
- ETL є найважливішим процесом в інструменті SSIS. ETL використовується для вилучення, перетворення та завантаження даних у сховище даних.
- ETL — це процес, відповідальний за отримання даних із кількох джерел даних, перетворення даних у корисні дані, а потім збереження даних у сховищі даних. Дані можуть бути у файлі xml будь-якого формату, плоскому файлі або будь-якому файлі бази даних.
- Це також гарантує, що дані, що зберігаються в сховищі даних, є актуальними, точними, високоякісними та корисними для бізнес-користувачів.
- До нього можна легко отримати доступ, щоб можна було ефективно та ефективно використовувати сховище даних.
- Це також допомагає організації приймати рішення на основі даних, отримуючи структуровані та неструктуровані дані з багатьох джерел даних.
Концепція ETL складається з трьох слів, але вона розділена на чотири фази:
Захоплення: Фаза захоплення також відома як фаза вилучення. На цьому етапі він вибирає вихідні дані або метадані, і дані можуть бути в будь-якому форматі, як-от файл xml, плоский файл або будь-який файл бази даних.
скраб: На цьому етапі перевіряються вихідні дані. Він перевіряє дані, чи містять вони помилки чи ні. Він перевіряє дані на наявність помилок або невідповідності за допомогою деяких методів штучного інтелекту. Коротше кажучи, він перевіряє, чи відповідає якість продукту чи ні.
Трансформувати: Це третя фаза ETL. Перетворення — це процес, під час якого вихідний формат перетворюється на потрібний формат. Трансформація — це моделювання або зміна даних відповідно до вимог користувача. Зміни можуть полягати в зміні кількості стовпців або рядків.
Завантажити та індексувати: Четвертий етап - це завантаження та індекс. Він завантажує дані та перевіряє кількість оброблених рядків. Після завершення завантаження даних використовується індексація. Індексування допомагає відстежувати кількість рядків, які завантажуються в сховище даних. Індексування також допомагає ідентифікувати дані, чи є вони у правильному форматі чи ні.
Інформаційне сховище
Сховище даних — це єдине, повне та узгоджене сховище даних, сформульоване шляхом поєднання даних із кількох джерел даних.
Різниця між базою даних і сховищем даних
Відповідь може бути як «так», так і «ні». Як база даних, так і сховище даних мають велику одиницю даних і однакове фізичне представлення, але час відповіді на складні запити в сховищі даних швидший, ніж у базі даних.
Вимоги до служб інтеграції SQL Server
Нижче наведено вимоги для встановлення служб інтеграції SQL Server:
- Встановіть SQL Server
- Встановіть інструменти даних SQL Server
Щоб інсталювати інструменти даних SQL Server, виконайте наведені нижче дії.
Крок 1: Натисніть на посилання https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 щоб завантажити інструменти даних SQL Server.
крок 2: Коли ви натискаєте посилання вище, з’являється екран, показаний нижче:
На екрані вище виберіть версію SSDT, яку ви хочете інсталювати.
крок 3: Після завершення завантаження запустіть завантажений файл. Коли ви запускаєте завантажений файл, з’являється екран, показаний нижче:
крок 4: Натисніть кнопку Далі.
крок 5: Виберіть екземпляр Visual Studio та інструменти, які потрібно інсталювати у Visual Studio 2017.
Крок 6: Натисніть на встановити кнопку.
Що таке пакет SSIS?
Пакет — це фундаментальний блок, де ви кодуєте код у SSIS. Тут код не означає, що ви кодуєте на якійсь мові програмування; це означає розвиток, який ви робите. Розробка виконується в пакеті SSIS. SSIS в основному використовується для процесу ETL, а процес ETL виконується всередині пакета SSIS.
Пакет SSIS складається з трьох частин:
Пакет SSIS матиме деякі підключення, і ці підключення використовуються для підключення до різних джерел даних.
Пакет SSIS складається з двох елементів, тобто елементів потоку керування та елементів потоку даних. Елементи потоку керування керують робочими процесами. Робочий процес означає, що ми виконуємо деякі завдання поетапно, тому послідовність виконується через контрольний потік.
Елементи потоку даних виконують перетворення.
Завдання SSIS
У пакет SSIS ми можемо додавати завдання. Завдання — це одиниця роботи, і ми матимемо різні типи завдань для виконання різних видів роботи. Існують різні типи завдань, але ми обговоримо найпоширеніші завдання, які використовуються в SSIS:
Він використовується для виконання операторів SQL проти реляційної бази даних.
Він в основному використовується для читання даних з одного або кількох джерел даних, перетворення даних, а також може завантажувати дані в одне або кілька місць призначення.
Він використовується для обробки об’єктів куба SSAS або табличної моделі.
Це завдання використовується для виклику інших пакетів у межах того самого проекту. Ви навіть можете передати значення змінних викликаному пакету.
Це дозволяє запускати програму або пакетні сценарії як служби інтеграції SQL Server. Його можна використовувати для відкриття стандартних програм, таких як Microsoft Excel, Microsoft Word тощо. Він також використовується для розпакування стисненого файлу.
Його можна використовувати для виконання маніпуляцій у файловій системі, таких як переміщення файлів, видалення файлів, перейменування файлів, зміна каталогу тощо.
Завдання IFTP використовуються для виконання операцій над файлами та папками. Наприклад, якщо ви хочете надіслати або отримати файл із FTP-сервера в локальний каталог, тоді використовується завдання SSIS FTP.
Це завдання дозволяє вам написати код .Net, який ви хочете виконати.
Це завдання використовується для надсилання електронного листа. Він в основному використовується, коли ви хочете повідомити користувачів про стан завдання, чи воно запущено, чи сталася якась помилка.
Давайте розглянемо робочий приклад служби інтеграції даних.
Приклад завдання потоку даних
Крок 1: Спочатку ми створюємо файл excel у Microsoft Excel. Припустімо, я створюю базу даних студентів у Microsoft Excel, а поля в таблиці студентів: student_id, student_name, оцінки та стать.
крок 2: Відкрийте Visual Studio (SQL Server Data Tools).
крок 3: Клацніть опцію «Файл», а потім перейдіть до «Новий» -> «Проект».
крок 4: Коли ви натискаєте на проект, з’являється екран, який показано нижче:
На наведеному вище екрані клацніть «Служби інтеграції», які з’являються в лівій частині панелі, а потім клацніть «Проект служб інтеграції».
крок 5: Після натискання на проект Integration Services з’явиться екран, як показано нижче:
Наведений вище екран складається з п’яти вкладок, таких як Потік керування, Потік даних, Параметри, Обробник подій і Огляд пакетів. Ми вже обговорювали потік керування та потік даних, як потік керування, так і потік даних існують у пакеті SSIS.
крок 6: Щоб імпортувати дані, нам потрібно спочатку створити базу даних, у якій ми створюємо таблицю в базі даних SQL Server. Ми знаємо, що дані студентів доступні у файлі Excel, і ми хочемо імпортувати дані в базу даних SQL Server. Щоб досягти цього, нам потрібно спочатку створити таблицю в SQL Server. Відкрийте студію управління SQL Server.
Крок 7: Створити студент бази даних. Клацніть правою кнопкою миші на базі даних, а потім натисніть на Нова база даних варіант.
Крок 8: Введіть назву бази даних на знімку екрана нижче:
Я дав назву StudentWarehouse як назву бази даних.
Крок 9: Натисніть на в порядку кнопку.
Крок 10: Тепер ми створюємо таблицю в a StudentWarehouse бази даних. Клацніть правою кнопкою миші таблиці, а потім натисніть нову таблицю.
Крок 11: Тепер ми додаємо такі поля в таблицю, як student_id, student_name, оцінки та стать. Ми встановили student_id як первинний ключ, який унікально ідентифікує кожен рядок.
На екрані вище показано, що ми додаємо чотири поля в таблицю. Після додавання всіх полів у таблицю ми зберігаємо таблицю, надаючи корисне ім’я. Припустімо, я вказав учень як назву таблиці.
Крок 12: Поверніться до візуальної студії. Потік керування містить завдання потоку даних, перетягніть завдання потоку даних у головне вікно.
рядок додавання java
Крок 13: Коли ми двічі клацаємо завдання потоку даних, елемент керування автоматично переміщується до потоку даних із потоку керування, тому можна сказати, що потік керування є контейнером потоку даних.
Крок 14: Тепер ми можемо виконати перетворення в Data Flow. Ми хочемо витягти дані з файлу Excel, який ми створили раніше, тому перетягніть джерело Excel з інших джерел, які з’являються в крайній лівій частині панелі.
На наведеному вище екрані ми бачимо, що червоний хрестик з’являється всередині джерела Excel, це означає, що компонент налаштовано з джерелом Excel.
Крок 15: Щоб налаштувати компонент, клацніть правою кнопкою миші на джерелі Excel і виберіть опцію «Редагувати», як показано на знімку екрана нижче:
Крок 16: Заповніть дані, показані на знімку екрана нижче:
Крок 17: Після введення всіх даних з’явиться екран, як показано нижче:
Крок 18: Натисніть на джерело Excel.
На екрані вище показано дві стрілки, червону та синю. Синя стрілка визначає фактичні дані, які ми отримуємо з файлу Excel, а червона стрілка позначає помилки, які ми маємо. Тепер ми повинні виконати перетворення, і перед виконанням перетворень нам потрібно завантажити базу даних.
Крок 19: Щоб завантажити базу даних, клацніть «Інші призначення», а потім клацніть «Призначення».
Крок 20: Після додавання пункту призначення підключіть джерело до пункту призначення.
Крок 21: У наведеному вище кроці ми помітили червоний хрестик у ADO NET Destination, що означає, що для нього не налаштовано компонент. Клацніть правою кнопкою миші на ADO NET Destination, а потім виберіть опцію «Редагувати», як показано на знімку екрана нижче:
Крок 22: Потрібно вказати менеджер конфігурації.
Крок 23: Натисніть на новий кнопку, щоб додати диспетчер підключень. Коли ви натискаєте на новий з’явиться екран, показаний нижче:
Крок 24: Додайте назву сервера та виберіть назву бази даних із SQL Server.
Крок 25: Натисніть на кнопку OK.
Крок 26: Додайте назву таблиці, у яку ви хочете завантажити дані.
Крок 27: На екрані нижче зіставте поле джерела введення з полем джерела призначення.
рядок у c++
Крок 28: Після додавання відображення джерело підключається до пункту призначення, як показано на знімку екрана нижче:
Крок 29: Натисніть на Почніть кнопку для запуску проекту служб інтеграції. Коли ви запускаєте проект, дані завантажуються до пункту призначення, тобто SQL Server .
Приклад виконання завдання SQL
- Виконайте дії з кроку 2 по крок 5 попереднього прикладу.
- Перетягніть і опустіть Виконати завдання SQL з’являється на крайній лівій панелі головного вікна.
На наведеному вище екрані ми спостерігаємо, що червоний хрестик з’являється в Execute SQL Task, що означає, що Менеджер підключень не налаштовано з Виконати завдання SQL . Щоб налаштувати його, нам потрібно додати диспетчер підключень.
- Щоб додати диспетчер підключень, клацніть правою кнопкою миші на диспетчері підключень, а потім клацніть новий диспетчер підключень, як показано на знімку екрана нижче:
- Виберіть OLEDB як тип диспетчера підключень, а потім натисніть на додати кнопку, як показано на знімку екрана нижче:
- Після натискання на додати з’явиться екран, показаний на знімку екрана нижче:
На наведеному вище екрані ми бачимо, що з’єднання даних StudentWarehouse база даних уже доступна, як ми створили на попередньому кроці. Натисніть на в порядку кнопку.
- Коли ви натискаєте кнопку OK, з’являється екран, як показано нижче:
На наведеному вище екрані вам потрібно ввести такі деталі, як назва вашого завдання, опис, оператор SQL (завдання SQL, яке вам потрібно виконати в таблиці).
- Я ввів такі дані на наведеному вище знімку екрана:
У наведеному вище випадку я надав команду вставки в SQLStatement.
- Натисніть на в порядку кнопку.
- Коли ви налаштовуєте компонент із завданням «Виконати SQL», червоний хрестик зникає, як показано на знімку екрана нижче:
- Запустіть проект, натиснувши на Почніть .
- Коли ви натискаєте на Почніть , з’явиться екран, як показано нижче:
На наведеному вище екрані позначка вказує на те, що ваше завдання SQL успішно завершено. Оператор вставки, який ми додали на попередніх кроках, було виконано, а дані додано в таблицю. тобто студент1.
- Результат цього завдання показано нижче
Передумова
Перш ніж вивчати SSIS, ви повинні мати базові знання про SQL Server.
Аудиторія
Наш підручник SSIS розроблено, щоб допомогти новачкам і професіоналам.
проблема
Ми запевняємо, що ви не знайдете жодних проблем у цьому підручнику SSIS. Але якщо є якась помилка чи помилка, будь ласка, опублікуйте помилку в контактній формі.