Gesellschaft für Informatik e.V.

Lecture Notes in Informatics


Ausgezeichnete Informatikdissertationen 2001 D-2, 135-146 (2001).

GI, Gesellschaft für Informatik, Bonn
2001


Editors

Dorothea Wagner (ed.)


Copyright © GI, Gesellschaft für Informatik, Bonn

Contents

Robustes Boosting durch konvexe Optimierung

Gunnar Rätsch

Abstract


und Ausblick In meiner Dissertation habe ich drei wichtige Themen bearbeitet (vgl. Abb. 1): (i) theoretische Grundlagen von Boosting und Zusammenhänge zur konvexen Optimierung, (ii) Verbesserung und Erweiterung von Boosting-Algorithmen, um sie robust zu machen und für Regressionsprobleme verwenden zu können und (iii) Anwendung der neuen Algorithmen in bisher nicht erschlossenen Anwendungsfeldern wie der Energietechnik. Durch das Etablieren der Verbindungen von Boosting zu Optimierungsmethoden konnten vorhandene Algorithmen deutlich besser verstanden werden. Ich glaube, dass sich aus dieser Verbindung noch viele andere Ergebnisse und Konsequenzen für das Maschinelle Lernen ergeben werden (siehe z.B. MMZ02). In meiner Arbeit konnte ich das erarbeitete Verständnis nutzen, um neue Ideen für robuste Methoden zu implementieren und die Konvergenzeigenschaften neuer Algorithmen zu analysieren. Unsere Soft-Margin Idee für Boosting führte so zu Algorithmen, die in Simulationen mit exzellenten Ergebnissen abschneiden und die Verwendbarkeit von Boosting-Algorithmen auf Problemen mit viel Rauschen erst ermöglichen. Die in der Arbeit vorgestellten Resultate in realen Anwendungen zeigen, dass Boosting Algorithmen tatsächlich sehr gut funktionieren und ausgereift genug für weitere praktische Anwendungen sind. Die weitere Entwicklung dieses faszinierenden Forschungsgebietes kann u.a. auf der von mir aufgebauten Web-Site verfolgt werden. Danksagung Herzlich danke ich den Betreuern der Arbeit: Klaus-Robert Müller, Manfred K. Warmuth und Kristin K. Bennett. Literatur [Bre96] L. Breiman. Bagging Predictors. Machine Learning, $26(2)$:123-140, 1996. [Car90] J. Carmichael. Non-intrusive Appliance Load Monitoring System. EPRI journal, 1990. [CV95] C. Cortes and V.N. Vapnik. Support Vector Networks. Mach. Learn., 20:273ff, 1995. [FS97] Y. Freund and R.E. Schapire. A Decision-theoretic Generalization of On- line Learning and an Application to Boosting. J. of Comp. and System Sc., $55(1)$:119-139, 1997. [MMZ02] S. Mannor, R. Meir, and T. Zhang. The Consistency of Greedy Algorithms


Full Text: PDF

GI, Gesellschaft für Informatik, Bonn
ISBN 3-88579-406-3


Last changed 12.06.2012 13:41:11