- Redshift — це швидка та потужна, повністю керована служба сховища даних у петабайтному масштабі в хмарі.
- Клієнти можуть використовувати Redshift лише за 0,25 доларів США на годину без будь-яких зобов’язань або попередніх витрат і масштабувати до петабайта або більше за 1000 доларів США за терабайт на рік.
OLAP
OLAP є Система онлайн-аналітики використовується Червоне зміщення .
Приклад транзакції OLAP:
Припустімо, ми хочемо обчислити чистий прибуток для EMEA та Pacific для продукту цифрового радіо. Для цього потрібно отримати велику кількість записів. Нижче наведено записи, необхідні для розрахунку чистого прибутку:
- Загальна кількість радіостанцій, проданих у регіоні EMEA.
- Загальна кількість радіостанцій, проданих у Тихоокеанському регіоні.
- Вартість одиниці радіо в кожному регіоні.
- Продажна ціна кожного радіо
- Ціна реалізації - собівартість одиниці продукції
Для отримання наведених вище записів потрібні складні запити. Бази даних сховищ даних використовують різні типи архітектури як з точки зору бази даних, так і з точки зору рівня інфраструктури.
Конфігурація червоного зсуву
Червоне зміщення складається з двох типів вузлів:
Одиночний вузол: Один вузол зберігає до 160 ГБ.
Багатовузловий: Багатовузловий — це вузол, який складається з більш ніж одного вузла. Він буває двох видів:
Він керує підключеннями клієнтів і отримує запити. Ведучий вузол отримує запити від клієнтських програм, аналізує запити та розробляє плани виконання. Він координує паралельне виконання цих планів з обчислювальним вузлом і об’єднує проміжні результати всіх вузлів, а потім повертає кінцевий результат до клієнтської програми.
Обчислювальний вузол виконує плани виконання, а потім проміжні результати надсилаються на провідний вузол для агрегації перед надсиланням назад клієнтській програмі. Він може мати до 128 обчислювальних вузлів.
Давайте на прикладі розберемо концепцію ведучого вузла та обчислювальних вузлів.
Сховище Redshift — це набір обчислювальних ресурсів, відомих як вузли, і ці вузли організовані в групу, відому як кластер. Кожен кластер працює в Redshift Engine, який містить одну або кілька баз даних.
Коли ви запускаєте екземпляр Redshift, він починається з одного вузла розміром 160 ГБ. Якщо ви хочете розвиватися, ви можете додати додаткові вузли, щоб скористатися перевагами паралельної обробки. У вас є головний вузол, який керує кількома вузлами. Ведучий вузол обробляє підключення клієнта, а також обчислювальні вузли. Він зберігає дані в обчислювальних вузлах і виконує запит.
Чому Redshift працює в 10 разів швидше
Червоне зміщення відбувається в 10 разів швидше через такі причини:
Замість того, щоб зберігати дані у вигляді серії рядків, Amazon Redshift упорядковує дані за стовпцями. Системи на основі рядків ідеально підходять для обробки транзакцій, тоді як системи на основі стовпців ідеально підходять для сховищ даних і аналітики, де запити часто включають агрегати, що виконуються над великими наборами даних. Оскільки обробляються лише стовпці, які беруть участь у запитах, а стовпчасті дані зберігаються на носії даних послідовно, системи на основі стовпців вимагають менше вводу-виводу, таким чином покращуючи продуктивність запитів.
Стовпчасті сховища даних можуть бути стиснуті набагато сильніше, ніж сховища даних на основі рядків, оскільки подібні дані зберігаються на диску послідовно. Amazon Redshift використовує кілька методів стиснення, і часто може досягти значного стиснення порівняно з традиційними сховищами реляційних даних.
Amazon Redshift не потребує індексів чи матеріалізованих представлень, тому для нього потрібно менше місця, ніж для традиційних систем реляційних баз даних. Під час завантаження даних у порожню таблицю Amazon Redshift автоматично робить вибірку ваших даних і вибирає найбільш прийнятну техніку стиснення.
Amazon Redshift автоматично розподіляє дані та завантажує запит між різними вузлами. Amazon Redshift спрощує додавання нових вузлів до вашого сховища даних, і це дає нам змогу досягати швидшої роботи запитів у міру зростання вашого сховища даних.
Особливості червоного зміщення
Особливості Redshift наведено нижче:
типи бінарних дерев
Redshift простий у налаштуванні та експлуатації. Ви можете розгорнути нове сховище даних лише кількома клацаннями миші в консолі AWS, і Redshift автоматично створить інфраструктуру для вас. В AWS автоматизовані всі адміністративні завдання, такі як резервне копіювання та реплікація, вам потрібно зосередитися на своїх даних, а не на адмініструванні.
Redshift автоматично створює резервні копії ваших даних на S3. Ви також можете скопіювати знімки в S3 в іншому регіоні для будь-якого аварійного відновлення.
Amazon Redshift є найбільш економічно ефективним сервісом сховища даних, оскільки вам потрібно платити лише за те, що ви використовуєте.
Його вартість починається з 0,25 доларів США за годину без будь-яких зобов’язань і попередніх витрат і може досягати 250 доларів США за терабайт на рік.
Amazon Redshift — це єдина служба сховища даних, яка пропонує тарифікацію на вимогу без попередніх витрат, а також пропонує ціноутворення зарезервованих екземплярів, що дозволяє заощадити до 75% завдяки терміну дії 1–3 роки.
Ви можете вибрати будь-який із двох вузлів, щоб оптимізувати червоне зміщення.
Щільний обчислювальний вузол може створити високопродуктивне сховище даних, використовуючи швидкі процесори, великий обсяг оперативної пам’яті та твердотільні диски.
Якщо ви хочете зменшити вартість, ви можете використовувати вузол щільного зберігання. Він створює рентабельне сховище даних завдяки використанню більшого жорсткого диска.
Amazon Redshift автоматично збільшує або зменшує масштаб вузлів відповідно до необхідних змін. Лише кількома клацаннями в консолі AWS або одним викликом API можна легко змінити кількість вузлів у сховищі даних.
Це функція Redshift, яка дозволяє запускати запити до ексабайтів даних в Amazon S3. Amazon S3 — це безпечний і економічно ефективний пристрій для зберігання необмеженої кількості даних у відкритому форматі.
Ця функція Redshift означає, що кілька запитів можуть отримати доступ до тих самих даних в Amazon S3. Це дозволяє запускати запити на кількох вузлах незалежно від складності запиту чи обсягу даних.
Amazon Redshift — це єдине сховище даних, яке використовується для запитів до озера даних Amazon S3 без завантаження даних. Це забезпечує гнучкість завдяки зберіганню часто використовуваних даних у Redshift і неструктурованих або рідко доступних даних в Amazon S3.
За допомогою кількох налаштувань параметрів ви можете налаштувати Redshift на використання SSL для захисту ваших даних. Ви також можете включити шифрування, всі дані, записані на диск, будуть зашифровані.
Amazon Redshift забезпечує стовпчасте зберігання даних, стиснення та паралельну обробку, щоб зменшити кількість вводу-виводу, необхідного для виконання запитів. Це покращує продуктивність запитів.