Dem Computer das Verstehen von Bildern zu erm$\ddot $oglichen ist eine große Herausforderung. Durch die geeignete Behandlung typischer Ver$\ddot $anderungen in Bildern kann man die Erkennung von Objekten in vielen F$\ddot $allen verbessern. In der hier vorgestellten Dissertation werden Modelle zur Beschreibung von Variabilit$\ddot $at in Bildern f$\ddot $ur die erscheinungsbasierte Klassifikation von Objekten untersucht. Die Mo- delle bestimmen dabei die $\ddot $Ahnlichkeit zwischen zwei gegebenen Bildern, die f$\ddot $ur die Klassifikation verwendet wird. Als theoretisches Ergebnis wird erstmals gezeigt, dass die Bestimmung der besten flexiblen Abbildung zwischen zwei Bildern f$\ddot $ur ein zweidimensionales Modell zur Klasse der NP-harten Probleme geh$\ddot $ort. In der praktischen An- wendung stellt sich andererseits als entscheidend f$\ddot $ur niedrige Fehlerraten heraus, dass ein geeigneter Kontext der Bildpixel bei der Abbildung ber$\ddot $ucksichtigt wird. Durch die Hinzunahme von Kontext werden auch mit weniger komplexen Modellen sehr gute Fehlerraten erreicht. Die Anwendung der vorgestellten Methoden wird vor allem f$\ddot $ur die Klassifikation handgeschriebener Zeichen und die Kategorisierung von medizinischen Bildern untersucht, wobei in beiden F$\ddot $allen Ergebnisse erzielt werden, die im Vergleich mit denen anderer Forschergruppen sehr gut abschneiden.