Erweiterte Realität

Augmented Reality Beispiel „Wikitude AR Travel Guide“ auf einem G1 Google Smartphone (Android)

Unter erweiterter Realität (auch engl. Augmented reality [ɔːɡˈmɛntɪd ɹiˈælɪti], kurz: AR [eɪˈɑː]) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Diese Information kann alle menschlichen Sinnesmodalitäten ansprechen. Häufig wird jedoch unter erweiterter Realität nur die visuelle Darstellung von Informationen verstanden, also die Ergänzung von Bildern oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung. Bei Fußball-Übertragungen ist erweiterte Realität z. B. das Einblenden von Entfernungen bei Freistößen mithilfe eines Kreises oder einer Linie.

Definition und Abgrenzung

Im „Realitäts-Virtualitäts-Kontinuum“ (nach Paul Milgram et al. (1994)) sind die erweiterte Realität (augmented reality, AR) und erweiterte Virtualität (augmented virtuality) Teil der sogenannten gemischten Realität (mixed reality). Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden Augmented Reality und Mixed Reality, selten auch Enhanced Reality, meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in einer virtuellen Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Für die visuelle Modalität führt dies zu wesentlich härteren Anforderungen an die Positionsbestimmung (Tracking) und Kalibrierung.

Unter einem AR-System (kurz ARS) versteht man das System der technischen Bestandteile, die nötig sind, um eine Augmented-Reality-Anwendung aufzubauen: Kamera, Trackinggeräte, Unterstützungssoftware usw.

Die Literatur verwendet meist die Definition der erweiterten Realität von Azuma (Azuma, 1997):

• Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert).
• Interaktivität in Echtzeit
• Reale und virtuelle Objekte stehen 3-dimensional zueinander in Bezug.

Diese Definition hat zwei Nachteile:

• sie stützt sich allein auf technische Merkmale
• sie beschränkt sich auf nur einen Teilaspekt von AR.

Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder, usw.

Von der Trendforschung wurde zudem der Begriff Outernet eingeführt.

Anwendungen

Erweiterte Realität könnte in praktisch allen Bereichen des Alltags zum Einsatz kommen. Monteure könnten sich den nächsten Arbeitsschritt direkt in ihr Sichtfeld einblenden lassen; Soldaten oder Katastrophenhelfer könnten sich Ziele und Gefahrenzonen im Gelände anzeigen lassen und Designer könnten mit tatsächlich und virtuell anwesenden Kollegen am selben dreidimensionalen Modell arbeiten. Mit fortschreitender Technologie lassen sich futuristische Anwendungsszenarien erschließen: Elektronische Geräte, die nur virtuell existieren, aber auf echte Berührungen reagieren, künstliche Sinneserweiterungen wie den „Röntgenblick“ und Computerspiele in freiem Gelände.

Ein Beispiel für eine AR-Anwendung sind die in Echtzeit eingeblendeten virtuellen Marken bei Sportübertragungen: Verschiedene Entfernungen der Konkurrenten beim Ski-Springen, Weitwurf, usw. (Man beachte, dass dieses Beispiel oft keine Augmented-Reality-Anwendung nach der obigen Definition ist, da manchmal das interaktive Element fehlt.)

• Hilfestellung bei komplexen Aufgaben, v. a. in Konstruktion, Wartung und Medizin
  • durch Anzeigen von Zusatzinformationen (z. B. werden für einen Mechaniker die Teile eines Gerätes „beschriftet“, und er bekommt Arbeitsanweisungen)
  • durch Darstellung nicht sichtbarer Elemente (z. B. intraoperativ in der Medizin, als „Röntgenblick“ für den Operateur, basierend auf vorheriger Tomographie oder aktuellen Bilddaten von Ultraschallgeräten oder offenen Kernspintomografen)

• Industrielle Anwendungen
  • Mit Augmented Reality können digitale Planungsdaten effizient mit vorhandenen realen Geometrien abgeglichen werden. Die Technologie ermöglicht ferner den breiten Einsatz von digitalen Absicherungsmethoden bei der Kombination von digitalen Daten mit realen Prototypen bzw. Konstruktionen.

Head-up-Display einer F/A-18C

• Navigation
  • im Gebäude, z. B. bei der Wartung von Industrieanlagen
  • im Freien, z. B. für Militär oder Katastrophenmanagement
  • im Auto (Darstellung von Navigationshinweisen in Abhängigkeit von der Verkehrslage in der Windschutzscheibe)
  • Im Flugzeug (Head-Up-Displays in Kampfflugzeugen sind eine der frühesten AR-Anwendungen überhaupt)
• Militär und Katastrophenmanagement (am Körper tragbare Systeme, die etwa Freund und Feind oder Brandherde anzeigen)

• Prospektion in Hydrologie, Ökologie, Geologie (Darstellung und interaktive Analyse von Karten und Geländemerkmalen, z. B. zur Ausbeutung von Bodenschätzen)
• Visualisierung von Architektur (Darstellung zerstörter historischer Gebäude; zukünftige Architekturprojekte)
• Simulation, z. B. Flug- und Fahrsimulatoren

• Zusammenarbeit verteilter Teams
  • Konferenzen mit realen und virtuellen Teilnehmern
  • gemeinsame Arbeit an simulierten 3D-Modellen

• Unterhaltung
  • Virtuelle Objekte in Museen und Ausstellungen
  • Spiele (z. B. ARQuake, EyePet (für PS3))

Zukünftige Anwendungen:

• Erweiterung von PC-Betriebssystemoberflächen in die reale Umwelt: Programmfenster und Icons werden als virtuelle Geräte im realen Raum dargestellt und durch Blicke oder Zeigen mit dem Finger bedient.
• Darstellung virtueller Geräte aller Art, z. B. Ersatz herkömmlicher Bildschirme, Gerätebedienfelder, dazu völlig neue Gerätetypen.
• Mediale Anwendungen, wie pseudo-holografische virtuelle Bildschirme, virtuelle „Holodecks“, virtuelles Surround-Kino.
• Ersatz von Handy- und Navigatorbildschirmen und Einblendung der Informationen direkt in die Umwelt, z. B. von Leitlinien direkt auf die Fahrbahn, sowie Erweiterungen, wie z. B. „Röntgenblick“ zur Darstellung verdeckter Ziele.
• Darstellung virtueller Pflanzen, Tapeten, Ausblicke, Kunstwerke, Dekorationen, Beleuchtung usw. zur Verschönerung der alltäglichen Umwelt.
• Bei allgemeiner Verbreitung von AR-Systemen auch virtuelle Schaufenster, Plakate, Verkehrsschilder etc.

Probleme

• Performance: Nachführung der Bilder bei Bewegungen
• Energieversorgung: Die momentan verfügbaren Akkus reichen noch nicht aus, um mobile Augmented-Reality-Systeme längere Zeit zu versorgen.
• Sensor: Rauschen bei Bewegung, Drift, Abschattung des Trackingsystems (z. B. bei GPS, INS). Eine Kombination von z. B. GPS mit Trägheits- und optischer Navigation ist daher bei fortgeschrittenen Systemen üblich.
• Daten: Verfügbarkeit, Authoring und hohe Komplexität der Daten
• Visualisierung: Um die Einbettung der virtuellen Szene in die reale Szene möglichst überzeugend zu leisten, sind Daten notwendig, die die Umgebung auch in ihrer Geometrie beschreiben. Darauf aufbauend können dann virtuelle Schnitte durch reale Objekte gezeichnet und die Verdeckung der virtuellen Objekte durch die realen Objekte berechnet werden. Diese Geometriedaten sind jedoch nicht immer verfügbar oder aktuell.
• Die vollständige Integration virtueller Objekte in reale Szenen erfordert das Ausblenden von Hintergrundteilen, damit die Objekte nicht durchsichtig erscheinen. Systeme, die die direkte Sicht vollständig durch Kamerabilder ersetzen (EyeTap) haben dieses Problem nicht, sind aber für sehr viele Anwendungen ungeeignet.

Siehe auch

• Google Street View, Google Maps for Mobile: für Mobiltelefone, PDAs oder Smartphones
• ARiSE, EU-Forschungsprojekt
• Optisches Tracking
• Photogrammetrie
• Mobile Storytelling
• WikiMapia
• Placeopedia
• Google Earth
• OpenStreetMap
• Bing Maps
• Point of Interest
• wikitude

Literatur

• Rolf R. Hainich: The End of Hardware – A Novel Approach to Augmented Reality.. Boksurge Publishing. 2. Auflage, 2006. 3. erw. Auflage, Mai 2009.
• Michael Haller, Mark Billinghurst, Bruce Thomas: Emerging Technologies of Augmented Reality: Interfaces and Design. Idea Group Publishing, November 2006.
• Oliver Bimber, Ramesh Raskar: Spatial Augmented Reality: Merging Real and Virtual Worlds. A K Peters, Juli 2005.
• W. Barfield, T. Caudell (Hrsg.): Fundamentals of Wearable Computers and Augmented Reality. Lawrence Erlbaum, Mahwah, NJ 2001.

Weblinks

• 7. Paderborner Workshop Augmented & Virtual Reality in der Produktentstehung, Heinz Nixdorf Institut Paderborn
• ISMAR 2007 Symposium (englisch)
• Minimalinvasive Laparoskopie mit Augmented Reality (mit OsiriX), Teikyo University Chiba Medical Center
• Internetvideostream in der 3sat Mediathek (Beitrag) oder in der zdf-Mediathek zu Beispielen für die Anwendung der Erweiterten Realität im Bereich virtuell integrierte 3D-Objekte
• Augmented Reality in Suchmaschinen - Sendung in SWR2 Wissen
• Augmented Reality: Ich sehe was, was du nicht siehst. In: Elektrischer Reporter. 19. März 2010.
• Alexander Stirn: Augmented Reality. Wegweiser durch die neue Wirklichkeit. In: spiegel.de 7. November 2009.
• Augmented Reality: Erweiterte Realität fürs Handy - Sendung in SWR2 Wissen
• Eine Vision wird Realität - Die Röntgenbrille im OP - Sendung c't magazin

Software

• ARToolkit, eine plattformübergreifende Bibliothek zur Erstellung von Augmented Reality Anwendungen.
• AndAR - eine Portierung des ARToolkit auf die Android Plattform.
• ARToolkitPlus Erweiterung des ARToolkit
• GE – Plug Into the Smart Grid – Augmented Reality (engl.) eine vertonte 3D-Animation wird im Webcambild auf ein vor der Webcam gehaltenes Blatt Papier projiziert (benötigt Flash, Adobe Reader, Webcam und Drucker)
• mixare - Open Source (GPLv3) Augmented Reality Engine für Android. Funktioniert als eigenständige App und kann vor allem für die Entwicklung eigener Applikationen verwendet werden.
• Unifeye - Kommerziell. Komplexe und leistungsfähige Softwareplattform für professionelle Anwendungen im Bereich Augmented Reality. Bespielt in verschiedenen Produktvarianten gleichzeitig industrielle Anwendungen, Desktop und Web-Anwendungen sowie die mobilen Plattformen iPhone / Android/ Windows Mobile und Symbian

Forschung im deutschsprachigen Raum

• AVILUS (2008 - 2011)
• ImRoNet (2007 - 2009)
• DiFac (2006 - 2009)
• BayTOU (2004 - 2006)
• ForLog,ForLog (2004 - 2007)
• Virtuelle Realität und Augmented Reality, Fachgruppe der Gesellschaft für Informatik
• ARVIKA und ARTESAS, BMBF-Projekte (1999–2003 und 2004–2006)
• Augmented Reality in der Medizin, TU Berlin (englisch)
• Enhanced Reality, Universität Koblenz-Landau
• Augmented Reality in Medizin und Industrie, Technische Universität München (englisch)
• Augmented Reality in der Chirurgie, Universität Karlsruhe (TH)
• Augmented Reality in der Fahrzeugentwicklung, Heinz Nixdorf Institut Paderborn
• Mixed and Augmented Reality Solutions, Fraunhofer FIT St. Augustin
• Spatial Augmented Reality, Bauhaus-Universität Weimar (englisch)
• Kollaborative Augmented Reality, TU Graz (englisch)

Wichtige Publikationen

• R. Azuma: A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), S. 355–385. (PDF-Datei; 479 kB)
• R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. MacIntyre: Recent advances in augmented reality. In: IEEE Computer Graphics and Applications. 21(6):34–47, November/Dezember 2001. (PDF-Datei; 2,2 MB)
• T. P. Caudell, D. W. Mizell: Augmented Reality: an application of heads-up display technology to manual manufacturing processes. In: Proceedings of the Twenty-Fifth Hawaii International Conference on Systems Science. Kauai, Hawaii, 7.–10. Januar 1992, Ausgabe 2, S. 659–669.
• P. Wellner, W. Mackay, R. Gold (Hrsg.): Special issue on computer augmented environments: Back to the real world. In: Communications of the ACM. Band 36, Ausgabe 7 (Juli 1993).
• P. Milgram, H. Takemura, A. Utsumi, F. Kishino: Augmented Reality: A class of displays on the reality-virtuality continuum. (pdf), SPIE Vol. 2351-34, Proceedings of Telemanipulator and Telepresence Technologies (1994). (PDF-Datei; 45 kB)