Дані можуть бути стиснуті за допомогою техніки кодування Хаффмана, щоб зменшитися без втрати інформації. Після Девіда Хаффмана, хто створив його на початку? Дані, які містять символи, що часто повторюються, зазвичай стискаються за допомогою кодування Хаффмана.
Добре відомим алгоритмом Greedy є кодування Хаффмана. Розмір коду, виділеного символу, залежить від частоти символу, тому його називають жадібним алгоритмом. Короткий код змінної довжини призначається символу з найвищою частотою, і навпаки для символів з меншою частотою. Він використовує кодування змінної довжини, що означає, що кожному символу в наданому потоці даних надається інший код змінної довжини.
таблиця істинності повного суматора
Правило префікса
По суті, це правило стверджує, що код, призначений символу, не повинен бути префіксом іншого коду. Якщо це правило порушується, при розшифровці створеного дерева Хаффмана можуть виникати різні неоднозначності.
Давайте розглянемо ілюстрацію цього правила, щоб краще його зрозуміти: для кожного символу надається код, наприклад:
a - 0 b - 1 c - 01
Якщо припустити, що отриманий бітовий потік дорівнює 001, код може бути виражений таким чином під час декодування:
0 0 1 = aab 0 01 = ac
Що таке процес кодування Хаффмана?
Код Хаффмана отримується для кожного окремого символу за два етапи:
- Спочатку створіть дерево Хаффмана, використовуючи лише унікальні символи в наданому потоці даних.
- По-друге, ми повинні пройти через створене дерево Хаффмана, призначити коди символам, а потім використати ці коди для декодування наданого тексту.
Кроки, які слід зробити в кодуванні Хаффмана
Кроки, використані для побудови дерева Хаффмана за допомогою наданих символів
Input: string str = 'abbcdbccdaabbeeebeab'
Якщо в цьому випадку для стиснення даних використовується кодування Хаффмана, для декодування необхідно визначити таку інформацію:
java конкатенація рядків
- Для кожного символу код Хаффмана
- Довжина повідомлення, закодованого Хаффманом (у бітах), середня довжина коду
- Використовуючи наведені нижче формули, знайдено останні дві з них.
Як можна побудувати дерево Хаффмана з вхідних символів?
Спочатку потрібно визначити частоту кожного символу в наданому рядку.
| характер | Частота |
|---|---|
| a | 4 |
| b | 7 |
| в | 3 |
| d | 2 |
| Це є | 4 |
- Розсортуйте символи за частотою, за зростанням. Вони зберігаються в черзі пріоритету купи Q/min.
- Для кожного окремого символу та його частоти в потоці даних створіть кінцевий вузол.
- Видаліть два вузли з двома найнижчими частотами з вузлів, і новий корінь дерева буде створено за допомогою суми цих частот.
- Зробіть перший витягнутий вузол своїм лівим дочірнім елементом, а другий витягнутий вузол — правим дочірнім елементом, одночасно витягуючи вузли з найменшою частотою з мінімальної купи.
- До міні-купи додайте цей вузол.
- Так як ліва частина кореня завжди повинна містити мінімальну частоту.
- Повторюйте кроки 3 і 4, поки в купі не залишиться лише один вузол або всі символи не будуть представлені вузлами в дереві. Дерево закінчується, коли залишається тільки кореневий вузол.
Приклади кодування Хаффмана
Давайте використаємо ілюстрацію для пояснення алгоритму:
Алгоритм кодування Хаффмана
Крок 1: Побудуйте міні-купу, у якій кожен вузол представляє корінь дерева з одним вузлом і містить 5 (кількість унікальних символів із наданого потоку даних).
крок 2: Отримайте два вузли мінімальної частоти з мінімальної купи на другому кроці. Додайте третій внутрішній вузол, частота 2 + 3 = 5, який створюється шляхом об’єднання двох вилучених вузлів.
- Тепер у міні-купі є 4 вузли, 3 з яких є коренями дерев з одним елементом кожне, а 1 з яких є коренем дерева з двома елементами.
крок 3: Отримайте два вузли мінімальної частоти з купи подібним чином у третьому кроці. Крім того, додайте новий внутрішній вузол, утворений об’єднанням двох вилучених вузлів; його частота в дереві повинна бути 4 + 4 = 8.
- Тепер, коли мінімальна купа має три вузли, один вузол служить коренем дерев з одним елементом, а два вузли купи служать коренем дерев з кількома вузлами.
крок 4: Отримайте два вузли мінімальної частоти на четвертому кроці. Крім того, додайте новий внутрішній вузол, утворений об’єднанням двох вилучених вузлів; його частота в дереві повинна бути 5 + 7 = 12.
- Створюючи дерево Хаффмана, ми повинні забезпечити, щоб мінімальне значення завжди було зліва, а друге значення завжди було з правого боку. Зараз на зображенні нижче показано сформоване дерево:
крок 5: Отримайте наступні два вузли мінімальної частоти на кроці 5. Крім того, додайте новий внутрішній вузол, утворений шляхом об’єднання двох вилучених вузлів; його частота в дереві повинна бути 12 + 8 = 20.
Продовжуйте, доки всі різні символи не будуть додані до дерева. Дерево Хаффмана, створене для вказаної групи персонажів, показано на зображенні вище.
Тепер для кожного вузла, що не є листом, призначте 0 лівому краю та 1 правому краю, щоб створити код для кожної літери.
Правила, яких слід дотримуватися для визначення ваги країв:
- Правим краям слід надати вагу 1, якщо ви дасте лівим краям вагу 0.
- Якщо лівим краям надається вага 1, правим краям має бути надано вагу 0.
- Можна використовувати будь-яку з двох вищезазначених умов.
- Однак дотримуйтеся того самого протоколу під час декодування дерева.
Після зважування змінене дерево відображається таким чином:
Розуміння Кодексу
- Ми повинні пройти по дереву Хаффмана, доки не досягнемо листкового вузла, де присутній елемент, щоб декодувати код Хаффмана для кожного символу з отриманого дерева Хаффмана.
- Вагові коефіцієнти між вузлами повинні бути записані під час обходу та розподілені для елементів, розташованих у певному листовому вузлі.
- Наступний приклад допоможе краще проілюструвати, що ми маємо на увазі:
- Щоб отримати код для кожного символу на зображенні вище, ми повинні пройти все дерево (поки всі листкові вузли не будуть покриті).
- У результаті створене дерево використовується для декодування кодів для кожного вузла. Нижче наведено список кодів для кожного символу:
| характер | Частота/кількість | Код |
|---|---|---|
| a | 4 | 01 |
| b | 7 | одинадцять |
| в | 3 | 101 |
| d | 2 | 100 |
| Це є | 4 | 00 |
Нижче наведено реалізацію в програмуванні на C:
// C program for Huffman Coding #include #include // This constant can be avoided by explicitly // calculating height of Huffman Tree #define MAX_TREE_HT 100 // A Huffman tree node struct MinHeapNode { // One of the input characters char data; // Frequency of the character unsigned freq; // Left and right child of this node struct MinHeapNode *left, *right; }; // A Min Heap: Collection of // min-heap (or Huffman tree) nodes struct MinHeap { // Current size of min heap unsigned size; // capacity of min heap unsigned capacity; // Array of minheap node pointers struct MinHeapNode** array; }; // A utility function allocate a new // min heap node with given character // and frequency of the character struct MinHeapNode* newNode(char data, unsigned freq) { struct MinHeapNode* temp = (struct MinHeapNode*)malloc( sizeof(struct MinHeapNode)); temp->left = temp->right = NULL; temp->data = data; temp->freq = freq; return temp; } // A utility function to create // a min heap of given capacity struct MinHeap* createMinHeap(unsigned capacity) { struct MinHeap* minHeap = (struct MinHeap*)malloc(sizeof(struct MinHeap)); // current size is 0 minHeap->size = 0; minHeap->capacity = capacity; minHeap->array = (struct MinHeapNode**)malloc( minHeap->capacity * sizeof(struct MinHeapNode*)); return minHeap; } // A utility function to // swap two min heap nodes void swapMinHeapNode(struct MinHeapNode** a, struct MinHeapNode** b) { struct MinHeapNode* t = *a; *a = *b; *b = t; } // The standard minHeapify function. void minHeapify(struct MinHeap* minHeap, int idx) { int smallest = idx; int left = 2 * idx + 1; int right = 2 * idx + 2; if (left size && minHeap->array[left]->freq array[smallest]->freq) smallest = left; if (right size && minHeap->array[right]->freq array[smallest]->freq) smallest = right; if (smallest != idx) { swapMinHeapNode(&minHeap->array[smallest], &minHeap->array[idx]); minHeapify(minHeap, smallest); } } // A utility function to check // if size of heap is 1 or not int isSizeOne(struct MinHeap* minHeap) { return (minHeap->size == 1); } // A standard function to extract // minimum value node from heap struct MinHeapNode* extractMin(struct MinHeap* minHeap) { struct MinHeapNode* temp = minHeap->array[0]; minHeap->array[0] = minHeap->array[minHeap->size - 1]; --minHeap->size; minHeapify(minHeap, 0); return temp; } // A utility function to insert // a new node to Min Heap void insertMinHeap(struct MinHeap* minHeap, struct MinHeapNode* minHeapNode) { ++minHeap->size; int i = minHeap->size - 1; while (i && minHeapNode->freq array[(i - 1) / 2]->freq) { minHeap->array[i] = minHeap->array[(i - 1) / 2]; i = (i - 1) / 2; } minHeap->array[i] = minHeapNode; } // A standard function to build min heap void buildMinHeap(struct MinHeap* minHeap) { int n = minHeap->size - 1; int i; for (i = (n - 1) / 2; i >= 0; --i) minHeapify(minHeap, i); } // A utility function to print an array of size n void printArr(int arr[], int n) { int i; for (i = 0; i left) && !(root->right); } // Creates a min heap of capacity // equal to size and inserts all character of // data[] in min heap. Initially size of // min heap is equal to capacity struct MinHeap* createAndBuildMinHeap(char data[], int freq[], int size) { struct MinHeap* minHeap = createMinHeap(size); for (int i = 0; i array[i] = newNode(data[i], freq[i]); minHeap->size = size; buildMinHeap(minHeap); return minHeap; } // The main function that builds Huffman tree struct MinHeapNode* buildHuffmanTree(char data[], int freq[], int size) { struct MinHeapNode *left, *right, *top; // Step 1: Create a min heap of capacity // equal to size. Initially, there are // modes equal to size. struct MinHeap* minHeap = createAndBuildMinHeap(data, freq, size); // Iterate while size of heap doesn't become 1 while (!isSizeOne(minHeap)) { // Step 2: Extract the two minimum // freq items from min heap left = extractMin(minHeap); right = extractMin(minHeap); // Step 3: Create a new internal // node with frequency equal to the // sum of the two nodes frequencies. // Make the two extracted node as // left and right children of this new node. // Add this node to the min heap // '$' is a special value for internal nodes, not // used top = newNode('$', left->freq + right->freq); top->left = left; top->right = right; insertMinHeap(minHeap, top); } // Step 4: The remaining node is the // root node and the tree is complete. return extractMin(minHeap); } // Prints huffman codes from the root of Huffman Tree. // It uses arr[] to store codes void printCodes(struct MinHeapNode* root, int arr[], int top) { // Assign 0 to left edge and recur if (root->left) { arr[top] = 0; printCodes(root->left, arr, top + 1); } // Assign 1 to right edge and recur if (root->right) { arr[top] = 1; printCodes(root->right, arr, top + 1); } // If this is a leaf node, then // it contains one of the input // characters, print the character // and its code from arr[] if (isLeaf(root)) { printf('%c: ', root->data); printArr(arr, top); } } // The main function that builds a // Huffman Tree and print codes by traversing // the built Huffman Tree void HuffmanCodes(char data[], int freq[], int size) { // Construct Huffman Tree struct MinHeapNode* root = buildHuffmanTree(data, freq, size); // Print Huffman codes using // the Huffman tree built above int arr[MAX_TREE_HT], top = 0; printCodes(root, arr, top); } // Driver code int main() { char arr[] = { 'a', 'b', 'c', 'd', 'e', 'f' }; int freq[] = { 5, 9, 12, 13, 16, 45 }; int size = sizeof(arr) / sizeof(arr[0]); HuffmanCodes(arr, freq, size); return 0; } Вихід
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 …………… Process executed in 1.11 seconds Press any key to continue.
Реалізація коду вище на Java:
import java.util.Comparator; import java.util.PriorityQueue; import java.util.Scanner; class Huffman { // recursive function to print the // huffman-code through the tree traversal. // Here s is the huffman - code generated. public static void printCode(HuffmanNode root, String s) { // base case; if the left and right are null // then its a leaf node and we print // the code s generated by traversing the tree. if (root.left == null && root.right == null && Character.isLetter(root.c)) { // c is the character in the node System.out.println(root.c + ':' + s); return; } // if we go to left then add '0' to the code. // if we go to the right add'1' to the code. // recursive calls for left and // right sub-tree of the generated tree. printCode(root.left, s + '0'); printCode(root.right, s + '1'); } // main function public static void main(String[] args) { Scanner s = new Scanner(System.in); // number of characters. int n = 6; char[] charArray = { 'a', 'b', 'c', 'd', 'e', 'f' }; int[] charfreq = { 5, 9, 12, 13, 16, 45 }; // creating a priority queue q. // makes a min-priority queue(min-heap). PriorityQueue q = new PriorityQueue( n, new MyComparator()); for (int i = 0; i <n; i++) { creating a huffman node object and add it to the priority queue. huffmannode hn="new" huffmannode(); hn.c="charArray[i];" hn.data="charfreq[i];" hn.left="null;" hn.right="null;" functions adds q.add(hn); } create root here we will extract two minimum value from heap each time until its size reduces 1, all nodes are extracted. while (q.size()> 1) { // first min extract. HuffmanNode x = q.peek(); q.poll(); // second min extract. HuffmanNode y = q.peek(); q.poll(); // new node f which is equal HuffmanNode f = new HuffmanNode(); // to the sum of the frequency of the two nodes // assigning values to the f node. f.data = x.data + y.data; f.c = '-'; // first extracted node as left child. f.left = x; // second extracted node as the right child. f.right = y; // marking the f node as the root node. root = f; // add this node to the priority-queue. q.add(f); } // print the codes by traversing the tree printCode(root, ''); } } // node class is the basic structure // of each node present in the Huffman - tree. class HuffmanNode { int data; char c; HuffmanNode left; HuffmanNode right; } // comparator class helps to compare the node // on the basis of one of its attribute. // Here we will be compared // on the basis of data values of the nodes. class MyComparator implements Comparator { public int compare(HuffmanNode x, HuffmanNode y) { return x.data - y.data; } } </n;> Вихід
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 ………………. Process executed in 1.11 seconds Press any key to continue.
Пояснення:
За допомогою обходу створюється та декодується дерево Хаффмана. Значення, зібрані під час обходу, потім будуть застосовані до символу, розташованого у листовому вузлі. Кожен унікальний символ у наданому потоці даних може бути ідентифікований за допомогою коду Хаффмана таким чином. O (nlogn), де n – загальна кількість символів, – часова складність. ExtractMin() викликається 2*(n - 1) разів, якщо є n вузлів. Оскільки extractMin() викликає minHeapify(), час його виконання дорівнює O (logn). Отже, загальна складність дорівнює O (nlogn). Існує алгоритм лінійного часу, якщо вхідний масив відсортований. Більш детально це буде розглянуто в нашій майбутній статті.
Проблеми з кодуванням Хаффмана
Давайте поговоримо про недоліки кодування Хаффмана в цій частині та про те, чому це не завжди найкращий варіант:
злиття сортування java
- Якщо не всі ймовірності або частоти символів є від’ємними степенями 2, це не вважається ідеальним.
- Хоча можна наблизитися до ідеалу шляхом групування символів і розширення алфавіту, метод блокування вимагає обробки більшого алфавіту. Тому кодування Хаффмана не завжди може бути дуже ефективним.
- Хоча існує багато ефективних способів підрахувати частоту кожного символу чи символу, реконструкція всього дерева для кожного з них може зайняти багато часу. Зазвичай це так, коли алфавіт великий і розподіли ймовірностей швидко змінюються з кожним символом.
Алгоритм побудови коду Greedy Huffman
- Хаффман розробив жадібну техніку, яка генерує код Хаффмана, ідеальний префіксний код, для кожного окремого символу у вхідному потоці даних.
- Цей підхід щоразу використовує найменшу кількість вузлів для створення дерева Хаффмана знизу вгору.
- Оскільки кожен символ отримує довжину коду залежно від того, як часто він з’являється в даному потоці даних, цей метод відомий як жадібний підхід. Це типовий елемент у даних, якщо розмір отриманого коду менший.
Використання кодування Хаффмана
- Тут ми поговоримо про деякі практичні застосування кодування Хаффмана:
- Звичайні формати стиснення, такі як PKZIP, GZIP тощо, зазвичай використовують кодування Хаффмана.
- Кодування Хаффмана використовується для передачі даних за допомогою факсу та тексту, оскільки воно мінімізує розмір файлу та збільшує швидкість передачі.
- Кодування Хаффмана (зокрема коди префіксів) використовується кількома форматами зберігання мультимедіа, зокрема JPEG, PNG і MP3, для стиснення файлів.
- Кодування Хаффмана в основному використовується для стиснення зображень.
- Якщо потрібно надіслати рядок часто повторюваних символів, це може бути більш корисним.
Висновок
- Загалом кодування Хаффмана корисне для стиснення даних, які містять часто зустрічаються символи.
- Ми бачимо, що символ, який зустрічається найчастіше, має найкоротший код, тоді як символ, який зустрічається рідше, має найбільший код.
- Техніка стиснення коду Хаффмана використовується для створення кодування змінної довжини, яке використовує різну кількість бітів для кожної літери чи символу. Цей метод кращий за кодування фіксованої довжини, оскільки він використовує менше пам’яті та швидше передає дані.
- Прочитайте цю статтю, щоб краще дізнатися про жадібний алгоритм.