ilimitado Web Entwickler Blog

Wer kennt das nicht, valides XHTML als auch XML verlangen die Angabe eines Zeichensatzes. Wir haben diese Angaben auf unseren Homepages auch immer fleißig gemacht. Seit kurzem haben wir begriffen, was so ein Zeichensatz alles beeinflusst. Ums vorweg zu nehmen, der korrekte Zeichensatz erspart es Umlaute durch Entities (z.B. ä) zu ersetzen (escapen),… ok, wie das? Bei falschem Zeichensatz könnte in etwa folgendes Problem auftreten, statt deutschen Umlauten sieht man nur Fragezeichen, Quadrate oder sonsitge komische Zeichen, wie in diesem Bild:

statt dem richtigen Text:

Zunächst einmal kurz die Grundlage, was ist ein Zeichensatz? Dazu muss man sich klar machen, auf einem Computer wird letztendlich alles auf eine Festplatte geschrieben. Das ist eine Magnetscheibe und bekanntlich kann so ein Magnet in 2 Richtungen ausgerichtet sein (+/-). Desswegen speichert so ein Computer alles im Binärsystem, also mit 0 (-) und 1(+). Mit einem Bit kann man grade mal zwei Zeichen codieren, eben 0 und 1. Mit zwei Bit bekommt man schon 4 Symbole codiert: 00, 01, 10, 11. Mit 7 Bit schafft mans schon auf 128 Zeichen. Bei 28 Buchstaben, jeweils groß und klein, den Zahlen und Satzzeichen kommt man mit einem solchen Zeichensatz (z.B. ASCII) schon sehr weit. Dort steht die Bitfolge 1000011 für ein C.

Ein anderer Zeichensatz wäre UTF-8, bestehend aus bis zu 32 Bit. Auch hier ist ein C durch 1000011 repräsentiert. Das ä aber zum Beipsiel durch 1100001110100100, in ASCII hingegen gibt es gar kein ä. Ein anderer Zeichensatz, ISO-8895-1 interpretiert die Folge 11111100 als ein ä.

Gebe ich also im XHTML Header an, die Datei soll als ASCII interpretiert werden passiert nichts anderes, als dass der Browser sich den Bitstrom der Datei anschaut, in 7 Bit Schritte einteilt und ein entsprechendes Zeichen zuordnet. Es dürfte klar sein, dass so natürlich teilweise andere Zeichen bei rauskommen, wenn man nun ein anderen Zeichensatz angibt.
Das übrhaupt noch was zu lesen ist liegt daran, dass sich die Zeichensätze alle im Bereich eder normalen Buchstaben sehr ähneln und sich an ASCII orientieren.

Welches ist nun aber der richtige Zeichensatz für XHTML oder XML für deutsche Texte? Nun wie schon gesagt, mit ASCII kommt man von daher nicht weit, da deutsche Umlaute fehlen. Natürlich kann man sie durch Entities darstellen, ein ä also durch das HTML Entity ä
Das ist aber total nervig, da man Texte so nicht flüssig tippen kann und ständig betroffenen Buchstaben ersetzen muss. Vor allem eine Gästebuchfunktion muss sich durch Ersetzungsoperationen um solche Dinge kümmern. Ausserdem sind Texte mit Entities total schwer zu lesen und auf Rechtschreibung zu korrigieren.

Wählt man ISO-8895-1 oder UTF8 als Zeichensatz, hat man das Problem nicht. Aber jetzt kommt der entscheidende Punkt:
Eine Datei muss unbedingt auch in dem Zeichensatz gespeichert sein, in welchem sie später interpretiert wird!
Das heisst, schreibe ich in meinen XHTML Header UTF-8 und speichere aber einfach, wie immer ohne nachzudenken meinen Quellcode im Editor meiner Wahl ab, wird man wider nicht die richtigen Zeichen sehen! Man muss in jedem Editor schauen, wo man den Zeichensatz einstellen kann. Sogar der Windows Editor Notepad kann das.
Eclipse z.B. speichert alles standardmäßig im Microsoft Windows Zeichensatz cp1252. Das muss man erstmal auf UTF-8 umstellen, vorher geht gar nichts.
Das Selbe gilt für eine Datenbank. Dort müssen die Tabellen ebenfalls im richtigen Zeichensatz codiert sein!
Stimmen dann das Format wie man abspeichert und wie man interpretiert überein, kann man alle möglichen Zeichen die im Zeichensatz enthalten sind in XHTML nutzen ohne Entities. Ohne nerviges ä
Einzige Voraussetzung, die Besucher der Seite können den eingestellten Zeichensatz auf ihrem Rechner auflösen. Das ist bei UTF-8 und ISO-8895-1 heutzutage auf jeden Fall gegeben.

Ist das nun das Ende der Entities? Nein, Entities wie &lt; für < und &gt; für > wird man in XML oder XHTML immer brauchen, da die Zeichen <,>,&,und ” Teil der Sprache sind und als Zeichen dann in Entities anzugeben.

Zusammenfassend lässt sich sagen, durch das Abspeichern der Dateien und Datenbanktabellen im richtigen Zeichensatz (UTF-8, ISO-8895-1) und die Angabe dessen im Header, braucht man keine Entities und trotzdem werden alle Zeichen, Umlaute und Symbole korrekt angezeigt.

Angeben tut mans übrigens so

  <?xml version="1.0" encoding="UTF-8"?>

  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

Weiterführende Links:
Zeichenkodierung – Einführung in XHTML, CSS und Webdesign
W3C I18N Tutorial: Character sets & encodings in XHTML, HTML and CSS
Imperia Unicode- und Multi-Language-HOWTO
UTF-8-Codetabelle mit Unicode-Zeichen