Παρασκευή, 19 04 2019

Θεωρία Πληροφορίας

Γενικά

 
Θεωρία Πληροφορίας
 
Κωδικός:  ECE_A702
Επίπεδο:  -
Εξάμηνο:  7ο
Ιστοσελίδα:   http://eclass.upatras.gr/courses/EE676/
eclass:   http://eclass.upatras.gr/courses/EE676/

Περιγραφή

Στοιχεία Θεωρίας Πιθανοτήτων και Αρχές Συνδυαστικής (επανάληψη).

Εισαγωγή στη Θεωρία Πληροφορίας και βασικά μεγέθη. Εντροπία. Αμοιβαία Πληροφορία. Σχετική Εντροπία. Ιδιότητες. Διακριτές Πηγές Πληροφορίας με Μνήμη. Ρυθμός Εντροπίας.

Συμπίεση Πληροφορίας. Κωδικοποίηση Σταθερού Μήκους. Θεώρημα Κωδικοποίησης Πηγής. Κωδικοποίηση Μεταβλητού Μήκους. Είδη κωδίκων. Η ανισότητα Kraft. Κώδικες Shannon και Fano. Βέλτιστοι κώδικες. Κωδικοποίηση Huffman. Προσαρμοζόμενοι Κώδικες Huffman. Αριθμητική Κωδικοποίηση. Συμπίεση πηγών με μνήμη.

     Δίαυλοι και Χωρητικότητα. Θεώρημα Κωδικοποίησης Διαύλου για Διακριτούς Διαύλους χωρίς Μνήμη. Θεώρημα Διαχωρισμού Πηγής-Διαύλου. Μεγέθη Θεωρίας Πληροφορίας για συνεχείς τυχαίες μεταβλητές. Διαφορική Εντροπία. Συνεχείς Δίαυλοι Διακριτού Χρόνου. Χωρητικότητα Γκαουσιανού διαύλου. Συνεχείς Δίαυλοι. Χωρητικότητα Γκαουσιανού διαύλου πεπερασμένου εύρους ζώνης. Παράλληλοι Γκαουσιανοί δίαυλοι και waterfilling.

     Κωδικοποίηση και Διόρθωση Σφαλμάτων. Εισαγωγή στην κωδικοποίηση. Ανίχνευση Σφαλμάτων. Διόρθωση Σφαλμάτων. Γραμμικοί Κώδικες: Γεννήτορας Πίνακας και Πίνακας Ισοτιμίας. Αποκωδικοποίηση με Συνομάδες. Αποκωδικοποίηση με Σύνδρομα. Κώδικες Hamming. Δυϊκοί Κώδικες. Τέλειοι Κώδικες. Κυκλικοί Κώδικες: κωδικοποίηση και αποκωδικοποίηση Κυκλικών Κωδίκων. Αναφορά σε Συνελικτικούς Κώδικες, Κώδικες Trellis, Turbo και LDPC.

 

Διδάσκοντες

 

Δενάζης Σπύρος

Μπίρμπας Μιχάλης