Υπολογίζεται η εντροπία διακριτής πηγής πληροφορίας ως ένα πρώτο απλό παράδειγμα κατανόησης της έννοιας της εντροπίας. Μέσω του υπολογισμού του κόστους επικοινωνίας προκύπτει ξεκάθαρα το πλεονέκτημα από την υπολογισμό της εντροπίας, σε σχέση με την περίπτωση που η εντροπία (και η κατανομή των πιθανοτήτων) δε ληφθεί υπόψιν.
Ещё видео!