Gesellschaft für Informatik e.V.

Lecture Notes in Informatics


Ausgezeichnete Informatikdissertationen 2001 D-2, 29-38 (2001).

GI, Gesellschaft für Informatik, Bonn
2001


Editors

Dorothea Wagner (ed.)


Copyright © GI, Gesellschaft für Informatik, Bonn

Contents

Local and semi-global approaches to the extraction of 3D anatomical landmarks from 3D tomographic images

Sönke Frantz

Abstract


der Beiträge der Dissertation In meiner Dissertation habe ich-ausgehend vom Stand der Kunst-neue lokale (differentielle) Verfahren sowie ein semi-globales Verfahren basierend auf sog. deformierbaren Modellen (engl. deformable models) zur semi-automatischen Extraktion von 3D anatomischen Punktlandmarken aus 3D tomographischen Bildern entwickelt und untersucht. Im folgenden fasse ich die Hauptbeiträge der Dissertation zusammen. 4.1 Mehrstufige, differentielle Verfahren zur Landmarkenlokalisierung Die bisher existierenden Arbeiten konzentrierten sich auf die Entwicklung von Verfahren zur Landmarkendetektion, wohingegen die Lokalisationsgenauigkeit kaum untersucht wurde. Im allgemeinen sind jedoch bei der Anwendung von Differentialoperatoren systematische Lokalisationsfehler zu erwarten, die beispielsweise von der Stärke der Oberflächenkrümmung an einer Landmarke oder auch von der Operatorskala abhängen (siehe auch [Roh94] für eine theoretische Untersuchung der Lokalisationsgenauigkeit von verwandten 2D Differentialoperatoren). In der Dissertation schlage ich ein neuartiges mehrstufiges, differentielles Verfahren zur subvoxelgenauen Lokalisierung von 3D Punktlandmarken vor. Das Verfahren ist eine 3D Erweiterung eines existierenden zweistufigen 2D Verfahrens ([FG87]) und kombiniert einen existierenden robusten 3D Differentialoperator zur Landmarkendetektion mit zusätzlichen Schritten zur Landmarkenlokalisierung basierend auf einem neuartigen differentiellen 3D Kantenschnittverfahren. Ich untersuche zunächst die Lokalisationsgenauigkeit des zweistufigen 2D Verfahrens anhand von analytischen Modellen zweidimensionaler, prototypischer Intensitätsstrukturen. Die Ergebnisse zeigen, daß das zweistufige Verfahren gegenüber der alleinigen Anwendung eines 2D Differentialoperators die Lokalisationsgenauigkeit erheblich verbessert. Die Ergebnisse experimenteller Untersuchungen anhand von 3D MR-Bildern demonstrieren schließlich die Überlegenheit des vorgeschlagenen mehrstufigen Verfahrens zur Lokalisierung von 3D Punktlandmarken gegenüber der alleinigen Anwendung des 3D Differentialoperators in bezug auf die Lokalisationsgenauigkeit. Die Ergebnisse meiner Arbeiten sind u.a. in Sönke Frantz [FRS98a], [FRS98b], [FRS98c] veröffentlicht worden. 4.2 Differentielle Verfahren zur Verbesserung der Detektionsleistung Die Anwendbarkeit eines semi-automatischen Verfahrens zur Landmarkenextraktion hängt entscheidend von der Detektionsleistung ab. Idealerweise sollte ein solches Verfahren genau eine (korrekte) Detektion für die jeweilige Landmarke liefern. Die Anwendung von existierenden 3D Differentialoperatoren zur Landmarkendetektion führt jedoch häufig zu einer größeren Anzahl an Falschdetektionen. Dies erhöht einerseits den Aufwand für einen Anwender und reduziert andererseits die Zuverlässigkeit bei der Auswahl der vermeintlich korrekten Detektion. In meiner Dissertation schlage ich zwei unterschiedliche neuartige Verfahren zur automatischen Reduktion von Falschdetektionen bei der Landmarkenextraktion vor. Als erstes stelle ich ein neues statistikbasiertes Verfahren zur automatischen Wahl der optimalen Größe des Bildbereiches für die Landmarkenextraktion vor. Dieses Verfahren basiert auf der statistischen Unsicherheit der Positionsschätzung des differentiellen 3D Kantenschnittverfahrens, das ich für die 3D Landmarkenlokalisierung entwickelt habe. Zum zweiten nutze ich zusätzliches a priori Wissen über die Intensitätsstruktur an einer Landmarke aus. Dieses a priori Wissen wird genutzt, um Detektionen mit einer inkonsistenten Intensitätsstruktur automatisch zu verwerfen. Der Hauptbeitrag ist ein neuer Algorithmus zur Landmarkendetektion, der die beiden Verfahren zur Reduktion von Falschdetektionen mit einem existierenden robusten 3D Differentialoperator zur Landmarkendetektion kombiniert. Hervorzuheben ist dabei, daß bei der Schätzung der partiellen Ableitungen der Intensitätsfunktion auf der Basis von interpolierenden kubischen B-Splines und Gauß-Glättungsfiltern die im allgemeinen anisotrope Bildauflösung berücksichtigt wird. Die Ergebnisse experimenteller Untersuchungen anhand von 3D MR- und CT-Bildern zeigen, daß die Anzahl der Falschdetektionen deutlich reduziert wird und somit die Anwendbarkeit erheblich verbessert wird. Die Ergebnisse meiner Arbeiten sind u.a. in [FRS98b], [FRS$\cdot $99a], [FRS99b] veröffentlicht worden. 4.3 Validierung von Verfahren zur Landmarkenextraktion Die Validierung von Verfahren für die klinische Anwendung ist von zentraler Bedeutung. In der Dissertation stelle die Ergebnisse einer umfangreichen Validierungsstudie vor, in der ich exemplarisch die Anwendbarkeit eines semi-automatischen Verfahrens zur Landmarkenextraktion auf das Problem der landmarkenbasierten Registrierung von 3D MR- und CT-Bildern untersucht habe. Dabei habe ich den in der Dissertation entwickelten neuen Algorithmus zur Landmarkendetektion verwendet. Ich habe die Ergebnisse mit denen einer rein manuellen Prozedur zur Landmarkenextraktion verglichen. Eine derartige Studie wurde bisher noch nicht durchgeführt. Als Leistungskriterien habe ich (a) die benötigte Zeit zur Extraktion eines Satzes von korrespondierenden Landmarken aus verschiedenen 3D MR- und CT-Bildern, (b) die Ergebnisse einer starren Registrierung unter Verwendung der semi-automatisch und manuell bestimmten Landmarken und (c) die Variabilität in den lokalisierten Landmarkenpositionen im Falle unterschiedlicher Anwender als Maß für die Reproduzierbarkeit der Ergebnisse betrachtet. Insgesamt haben fünf Personen an dieser Studie teilgenommen und fünf 3D MR/CT-Bildpaare unterschiedlicher Patienten sind verwendet worden. Zusammenfassend hat die Studie ergeben, daß gegenüber einer rein manuellen Prozedur zur Landmarkenextraktion das semi-automatische Verfahren (a) die benötigte Zeit zur Landmarkenextraktion teilweise drastisch senkt, (b) im allgemeinen zu Registrierungsergebnissen mit in etwa vergleichbarer Qualität führt und (c) die Variabilität in den lokalisierten Landmarkenpositionen im Falle unterschiedlicher Anwender deutlich reduziert und somit die Reproduzierbarkeit der Ergebnisse eines landmarkenbasierten An- satzes verbessert. Die Ergebnisse der Studie sind in [FRS$\cdot $99a] veröffentlicht worden. 4.4 Landmarkenextraktion basierend auf deformierbaren Modellen Die oben beschriebenen Arbeiten konzentrieren sich auf lokale (differentielle) Verfahren zur Landmarkenextraktion. Ein grundsätzliches Problem bei rein differentiellen Verfahren stellt jedoch die Empfindlichkeit gegenüber Bildrauschen dar. Ein Grund dafür ist, daß nur lokale Intensitätsinformation benutzt wird. Als eine Erweiterung der differentiellen Verfahren schlage ich ein neuartiges semi-globales Verfahren zur Landmarkenextraktion basierend auf deformierbaren Modellen vor. Bisher veröffentlichte Arbeiten im Kontext der medizinischen Bildanalyse, in denen 3D deformierbare Modelle angewendet wurden, zielten auf die Segmentierung und die Verfolgung von Objekten in zeitlichen Bildsequenzen oder auf die Bild-Atlas-Registrierung ab (siehe z.B. [MT96] für einen Überblick). Dagegen wurde die Extraktion von 3D Punktlandmarken basierend auf deformierbaren Modellen bisher noch nicht untersucht. Ich verwende geometrische Modelle basierend auf Quadriken in Kombination mit globalen Deformationen zur Repräsentation der Oberflä- che an einer Landmarke. Diese Modelle beschreiben Spitzen sowie sattelförmige Strukturen, die sich durch ein eindeutiges Krümmungsextremum auszeichen, dessen Position eindeutig durch die Modellparameter festgelegt ist. Die Anpassung der geometrischen Modelle an die Bilddaten erfolgt durch die Optimierung kantenbasierter Anpassungsma- ße, die sowohl die Stärke als auch die Richtung der Intensitätsvariationen berücksichtigen. Aufbauend auf den in der Dissertation entwickelten differentiellen Verfahren wird ferner ein semi-automatisches Verfahren zur Bestimmung von geeigneten Startwerten für die Modellparameter vorgestellt. Die Ergebnisse experimenteller Untersuchungen anhand von 3D MR- und CT-Bildern demonstrieren die prinzipielle Anwendbarkeit dieses neuen Verfahrens zur Landmarkenextraktion basierend auf deformierbaren Modellen. Zusammenfassend zeigt sich, daß die Kombination eines semi-globalen Verfahrens zur Landmarkenextraktion mit einem differentiellen Verfahren (zur Bestimmung von Startwerten für die Modellparameter) sowohl die Lokalisationsgenauigkeit verbessert als auch dazu beiträgt, die Anzahl der Falschdetektionen weiter zu reduzieren. Die Ergebnisse meiner Arbeiten sind u.a. in [FRS00] veröffentlicht worden. Sönke Frantz Literaturverzeichnis [BRS97] W. Beil, K. Rohr, and H.S. Stiehl. Investigation of Approaches for the Localization of Anatomical Landmarks in 3D Medical Images. In H.U. Lemke, M.W. Vannier, and K. Inamura, eds., Proc. Computer Assisted Radiology and Surgery 1997 (CAR'97), Berlin, Germany, pp. 265-270. Elsevier Science, Amsterdam, 1997. [Boo89] F.L. Bookstein. Principal Warps: Thin-Plate Splines and the Decomposition of Deformations. IEEE Trans. on Pattern Analysis and Machine Intelligence, $11(6)$:567-585, 1989. [Boo91] F.L. Bookstein. Thin-Plate Splines and the Atlas Problem for Biomedical Images. In A.C.F. Colchester and D.J. Hawkes, eds., Proc. Internat. Conf. on Information Processing in Medical Imaging (IPMI'91), Wye, UK, Lecture Notes in Computer Science 511, pp. 326-342. Springer-Verlag, Berlin, 1991. [BP98] K.W. Bowyer and P.J. Phillips, eds. Empirical Evaluation Techniques in Computer Vision. IEEE Computer Society Press, Los Alamitos, CA, 1998. [Bow00] K.W. Bowyer. Validation of Medical Image Analysis Techniques. In M. Sonka and J.M. Fitzpatrick, eds., Handbook of Medical Imaging, Volume 2: Medical Image Processing and Analysis, pp. 567-607. SPIE Press, Bellingham, WA, 2000. [CF97] H.I. Christensen and W. Förstner. Performance characteristics of vision algorithms. Machine Vision and Applications, 9:215-218, 1997. [CNPE94] D.L. Collins, P. Neelin, T.M. Peters, and A.C. Evans. Automatic 3D Intersubject Registration of MR Volumetric Data in Standardized Talairach Space. Journal of Computer Assisted Tomography, $18(2)$:192-205, 1994. [EDC$\cdot 91$] A.C. Evans, W. Dai, L. Collins, P. Neelin, and S. Marrett. Warping of a computerized 3- D atlas to match brain image volumes for quantitative neuroanatomical and functional analysis. In M.H. Loew, ed., Proc. SPIE's Internat. Symposium on Medical Imaging 1991: Image Processing, San Jose, CA, USA, volume 1445, pp. 236-246. SPIE Press, Bellingham, WA, 1991. [FG87] W. Förstner and E. Gülch. A Fast Operator for Detection and Precise Location of Distinct Points, Corners and Centres of Circular Features. In Proc. Intercommission Conf. on Fast Processing of Photogrammetric Data, Interlaken, Switzerland, pp. 281- 305, 1987. [FRS98a] S. Frantz, K. Rohr, and H.S. Stiehl. Refined Localization of Three-Dimensional Anatomical Point Landmarks Using Multi-Step Differential Approaches. In K.M. Hanson, ed., Proc. SPIE's Internat. Symposium on Medical Imaging 1998: Image Processing, San Diego, CA, USA, volume 3338, pp. 28-38. SPIE Press, Bellingham, WA, 1998. [FRS98b] S. Frantz, K. Rohr, and H.S. Stiehl. Multi-step Procedures for the Localization of 2D and 3D Point Landmarks and Automatic ROI Size Selection. In H. Burkhardt and B. Neumann, eds., Computer Vision-Proc. 5th European Conf. on Computer Vision (ECCV'98), Freiburg, Germany, Lecture Notes in Computer Science 1406, pp. 687- 703. Springer-Verlag, Berlin, 1998. [FRS98c] S. Frantz, K. Rohr, and H.S. Stiehl. Multi-Step Differential Approaches for the Localization of 3D Point Landmarks in Medical Images. Journal of Computing and Information Technology, $6(4)$:435-447, 1998. [FRS$\cdot $99a] S. Frantz, K. Rohr, H.S. Stiehl, S.-I. Kim, and J. Weese. Validating Point-based MR/CT Registration Based on Semi-automatic Landmark Extraction. In H.U. Lemke, M.W. Vannier, K. Inamura, and A.G. Farman, eds., Proc. Computer Assisted Radiology and Surgery 1999 (CARS'99), Paris, France, pp. 233-237. Elsevier Science, Amsterdam, 1999. [FRS99b] S. Frantz, K. Rohr, and H.S. Stiehl. Improving the Detection Performance in Semiautomatic Landmark Extraction. In C.J. Taylor and A.C.F. Colchester, eds., Proc. 2nd Internat. Conf. on Medical Image Computing and Computer-Assisted Intervention (MICCAI'99), Cambridge, England, Lecture Notes in Computer Science 1679, pp. 253-262. Springer-Verlag, Berlin, 1999. [FRS00] S. Frantz, K. Rohr, and H.S. Stiehl. Localization of 3D Anatomical Point Landmarks in 3D Tomographic Images Using Deformable Models. In S.L. Delp, A.M. DiGioia, and B. Jaramaz, eds., Proc. 3rd Internat. Conf. on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2000), Pittsburgh, PA, USA, Lecture Notes in Computer Science 1935, pp. 492-501. Springer-Verlag, Berlin, 2000. [Fra01] S. Frantz. Local and Semi-Global Approaches to the Extraction of 3D Anatomical Landmarks from 3D Tomographic Images. Dissertation, Fachbereich Informatik, Universität Hamburg, Germany, 2001. Published in Dissertationen zur Künstlichen Intelligenz, Band 253. Akademische Verlagsgesellschaft, Berlin, 2001. [HRS99] T. Hartkens, K. Rohr, and H.S. Stiehl. Performance of 3D differential operators for the detection of anatomical point landmarks in MR and CT images. In K.M. Hanson, ed., Proc. SPIE's Internat. Symposium on Medical Imaging 1999: Image Processing, San Diego, CA, USA, volume 3661, pp. 32-43. SPIE Press, Bellingham, WA, 1999. [HHC$\cdot 91$] D.L.G. Hill, D.J. Hawkes, J.E. Crossman, M.J. Gleeson, T.C.S. Cox, E.E.C.M.L. Bracey, A.J. Strong, and P. Graves. Registration of MR and CT images for skull base surgery using point-like anatomical features. The British Journal of Radiology, 64:1030- 1035, 1991. [HHG$\cdot 94$] D.L.G. Hill, D.J. Hawkes, M.J. Gleeson, T.C.S. Cox, A.J. Strong, W.-L. Wong, C.F. Ruff, N. Kitchen, D.G.T. Thomas, J.E. Crossman, C. Studholme, A.J. Gandhe, S.E.M. Green, and G.P. Robinson. Accurate Frameless Registration of MR and CT Images of the Head: Applications in Surgery and Radiotherapy Planning. Radiology, 191:447- 454, 1994. [KSVV00] R. Klette, H.S. Stiehl, M.A. Viergever, and K.L. Vincken. Performance Characterization in Computer Vision, volume 17 of Computational Imaging and Vision Series. Kluwer Academic Publishers, Dordrecht, 2000. [MT96] T. McInerney and D. Terzopoulos. Deformable Models in Medical Image Analysis: A Survey. Medical Image Analysis, $1(2)$:91-108, 1996. [Roh94] K. Rohr. Localization Properties of Direct Corner Detectors. Journal of Mathematical Imaging and Vision, $4(2)$:139-150, 1994. [RSS$\cdot 96$] K. Rohr, H.S. Stiehl, R. Sprengel, W. Beil, T.M. Buzug, J. Weese, and M.H. Kuhn. Point-Based Elastic Registration of Medical Image Data Using Approximating Thin- Plate Splines. In K.H. Höhne and R. Kikinis, eds., Proc. Visualization in Biomedical Computing (VBC'96), Hamburg, Germany, Lecture Notes in Computer Science 1131, pp. 297-306. Springer-Verlag, Berlin, 1996. [RS96] K. Rohr and H.S. Stiehl. On the Definition and Characterization of 3D Brain Landmarks. Techn. Report FBI-HH-M-268/96, Fachbereich Informatik, Universität Hamburg, Germany, December 1996. Sönke Frantz [Roh97] K. Rohr. On 3D differential operators for detecting point landmarks. Image and Vision Computing, $15(3)$:219-233, 1997. [RS97] K. Rohr and H.S. Stiehl. Characterization and Localization of Anatomical Landmarks in Medical Images. In B.O. Hütter and J.M. Gilsbach, eds., Proc. 1st Aachen Conf. in Neurosurgery, Psychiatry, and Neurology, Aachen, Germany, pp. 9-12. Verlag der Augustinus Buchhandlung, Aachen, 1997. [Roh99] K. Rohr. Extraction of 3d anatomical point landmarks based on invariance principles. Pattern Recognition, $32(1)$:3-15, 1999. [Roh01] K. Rohr. Landmark-Based Image Analysis Using Geometric and Intensity Models, volume 21 of Computational Imaging and Vision Series. Kluwer Academic Publishers, Dordrecht, 2001. [RSF$\cdot 00$] K. Rohr, H.S. Stiehl, M. Fornefett, S. Frantz, and A. Hagemann. Project IMAGINE: Landmark-Based Elastic Registration and Biomechanical Brain Modelling. Künstliche Intelligenz, Heft 3, pp. 37-39, Juli 2000. [SSG99] U. Spetzger, H.S. Stiehl, and J.M. Gilsbach, eds. Navigated Brain Surgery- Interdisciplinary Views of Neuronavigation from Neurosurgeons and Computer Scientists. Wissenschaftsverlag Mainz, Aachen, 1999. [TLBM96] R.H. Taylor, S. Lavallée, G.C. Burdea, and R. Mösges, eds. Computer-integrated Surgery. MIT Press, Cambridge, MA, 1996. [Thi94] J.-P. Thirion. Extremal Points: Definition and Application to 3D Image Registration. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR'94), Seattle, WA, USA, pp. 587-592. IEEE Computer Society Press, Los Alamitos, CA, 1994. [Thi96] J.-P. Thirion. New Feature Points based on Geometric Invariants for 3D Image Registration. Internat. Journal of Computer Vision, $18(2)$:121-137, 1996. Sönke Frantz studierte Informatik mit Ergänzungsfach Betriebswirtschaftslehre an den Universitäten Karlsruhe und Hamburg. Er erlangte am Fachbereich Informatik der Universität Hamburg im Februar 1997 das Informatik-Diplom und wurde im Mai 2001 zum Doktor der Naturwissenschaften promoviert. Nach Abschluß des Studiums war er am Ar- beitsbereich Kognitive Systeme des Fachbereichs Informatik der Universität Hamburg bis März 2000 als Doktorand im Rahmen des von den Philips Forschungslaboratorien Hamburg geförderten Drittmittelprojektes IMAGINE (IMageand Atlas-Guided Interventions in NEurosurgery) beschäftigt. Im Anschluß daran war er bis Dezember 2001 wissenschaftlicher Mitarbeiter am Arbeitsbereich Kognitive Systeme. Seit Januar 2002 ist er tätig als Software-Entwickler im Bereich Bildverarbeitung bei der YXLON International X-Ray GmbH, einem Unternehmen, das röntgenbasierte Systeme zur zerstörungsfreien Materialprüfung herstellt.


Full Text: PDF

GI, Gesellschaft für Informatik, Bonn
ISBN 3-88579-406-3


Last changed 12.06.2012 13:40:44