Fondations informatiques et éditeurs de texte

Les ordinateurs fonctionnent via des signaux électriques, représentés par des niveaux hauts (1) et bas (0) en binaire. Ainsi, ils ne manipulent que des données numériques. Lors de l'utilisation d'outils comme des éditeurs de texte, le contenu est d'abord stocké en mémoire volatile ; la sauvegarde le transfère sur le disque dur pour une persistance.

Par exemple, lorsqu'un fichier Python est écrit sans exécution, il s'agit simplement d'une suite de caractères en mémoire. L'exécution via un interpréteur Python implique plusieurs étapes : l'interpréteur démarre, lit le fichier depuis le disque vers la mémoire, puis exécute le code en interprétant la syntaxe Python. Contrairement à un éditeur de texte ordinaire, l'interpréteur analyse et exécute le code, tout en gérant l'encodage des caractères.

Définition et évolution de l'encodage

L'encodage des caractères est une norme qui mappe des symboles humains à des valeurs numériques, permettant aux ordinateurs de les traiter. Deux scénarios principaux le concernent : le stockage et la lecture de fichiers, ainsi que la manipulation des chaînes de caractères en mémoire.

L'encodage a évolué pour répondre aux besoins mondiaux. Initialement, ASCII utilisait un octet (8 bits) pour représenter des caractères anglais, limité à 256 symboles. Pour les langues à caractères multiples comme le chinois ou le jpaonais, des encodages locaux (comme GB2312, Shift_JIS) ont été développés, mais ils causaient des incompatibilités. Unicode a émergé comme standard universel, utilisant généralement deux octets par caractère, avec une compatibilité ascendante vers ASCII.

Pour optimiser l'espace, UTF-8 a été conçu comme une représentation à longueur variable : les caractères anglais prennent un octet, tandis que d'autres comme les idéogrammes chinois nécessitent trois octets. Cela réduit la taille des fichiers tout en maintenant la compatibilité Unicode.

Encodage dans les éditeurs de texte et l'interpréteur Python

Dans les éditeurs comme Notepad++ ou PyCharm, le choix d'encodage lors de l'ouverture et de la sauvegarde des fichiers est crucial pour éviter le corrompu des données. Par exemple, ouvrir un fichier encodé en UTF-8 avec un éditeur configuré en ISO-8859-1 peut entraîner des erreurs d'affichage.

Pour l'interpréteur Python, l'exécution d'un script suit trois phases : démarrage de l'interpréteur, lecture du fichier en mémoire avec l'encodage spécifié (via une directive comme #coding: utf-8), puis exécution du code. L'encodage en mémoire est généralement Unicode pour une compatibilité étendue.

# Exemple de spécification d'encodage dans un fichier Python
# -*- coding: utf-8 -*-
contenu = 'café'  # Utilisation d'un caractère accentué
print(contenu)

Encodage dans les applications Python

Lors de l'exécution d'un script Python, le processus implique une conversion d'encodage. Les données lues depuis le disque (souvent en UTF-8) sont décodées en Unicode pour le traitement en mémoire. Lors de l'écriture sur disque ou de la transmission réseau, l'encodage inverse (comme UTF-8) est appliqué.

En Python 2, deux types de chaînes existaient : str (octets encodés) et unicode. Par exemple, avec un fichier encodé en GBK, une chaîne comme '上' était stockée sous forme d'octets spécifiques. En Python 3, le type str utilise Unicode nativement, et les octets bruts sont représentés par le type bytes.

# Python 3 : conversion d'encodage
texte = 'élève'  # Chaîne Unicode
octets = texte.encode('utf-8')  # Encodage en bytes UTF-8
print(type(octets))  # <class 'bytes'>
texte_recupere = octets.decode('utf-8')  # Décodage en str Unicode

Cette distinction garantit une gestion cohérente des caractères multilingues, où la conversion entre Unicode et encodages spécifiques (comme UTF-8) est essentielle pour le stockage et l'échange de données.