Initiation à la théorie de l'information et au codage de canal

Parmi les résultats présentés par Shannon, celui-ci est particulièrement étonnant : « Dans une transmission numériquenumérique en présence de perturbation, si le niveau moyen de celle-ci ne dépasse pas un certain seuil et en utilisant un codagecodage approprié, le récepteur peut identifier le message d'origine sans aucune erreur. »

Illustrons ce problème par un exemple simple : deux personnes se parlent près d'une route où la circulation est assez intense. Le bruit des moteurs gêne plus ou moins la conversation, avec des pics de perturbation sonore correspondant au passage des véhicules.

Initiation à la théorie de l'information et au codage de canal. Ici, du code binaire. © 3dkombinat, Shutterstock

Supposons dans un premier temps que l'une des personnes émette régulièrement une lettre tirée au hasard : « a », « b »... ou l'une quelconque des 26 lettres de l'alphabet, avec une même probabilité (soit 1/26). Le message ne contient donc aucune redondance, puisqu'il n'existe aucun lien entre les sons émis. L'auditeur, s'il ne lit pas sur les lèvres du locuteur, sera certainement embarrassé pour reconnaître certaines lettres. Il y aura donc des erreurs de transmission.

Un système de codage correcteur d'erreurs

Dans un autre cas de figure, l'une des personnes énonce des phrases complètes, portant sur un sujet bien précis, le temps qu'il fait par exemple. Malgré le bruit, l'auditeur comprend mieux le message que dans le cas des lettres isolées, parce que les phrases contiennent de la redondance. Les mots ne sont pas indépendants. On sait par exemple qu'après un sujet, apparaît généralement un verbe ; on devine qu'après « nua- », il y aura « -ge » même si on le perçoit mal, etc.

Illustration 1 : le signal contre le bruit. © DR

Voici précisément ce que Shannon annonçait : « Dans une transmission en présence de perturbations, aussi fortes soient-elles (mais de puissance moyenne finie), il existerait un système de codage correcteur d'erreurs, à base de redondance, qui permettrait d'effacer complètement les effets des distorsions et ainsi, de reconnaître parfaitement le contenu du message émis. »