(Fr) Shannon et la théorie de l’information : la force d’une idée simple

(Fr) Conférence par Alain Chenciner, Observatoire de Paris, Département de mathématique, Université Paris VII

1948 est une grande année aux “Bell Labs” : John Bardeen, Walter Brattain et William Shockley montrent à leurs collègues le premier transistor et Claude Shannon publie A Mathematical Theory of Communication. Issu de recherches faites pendant la guerre sur la cryptographie, ce travail purement théorique est à l’origine de la Théorie de l’information sans laquelle notre monde de communications numériques serait inconcevable.

Alain Chenciner expliquera comment Shannon propose de mesurer la quantité d’information contenue dans une source de message (son entropie H) et comment on peut la comparer à la capacité C d’un canal de transmission par lequel on souhaite l’adresser à un interlocuteur. Il montrera que la condition H<C (limite de Shannon) est nécessaire pour que le message puisse être transmis sans perte d’information. Il expliquera aussi comment Shannon montre que, si H<C, il est possible en théorie de coder le message de façon à rendre arbitrairement petite la probabilité d’une erreur de transmission par un canal bruité

Restée longtemps théorique, la limite de Shannon (débit théorique maximal de transfert d’information sur un canal de transmission) est pratiquement atteinte par les turbocodes développés dans les années 1990 par Claude Berrou et son équipe, et utilisés aujourd’hui dans les sondes spatiales et les réseaux 4G.