So kommt Bewegung ins Spiel

Dabei ist die Idee nicht neu. Schon Mitte der Achtziger brachte Nintendo für sein damals aktuelles Spielsystem NES (Nintendo Entertainment System) die Lightgun NES Zapper auf den Markt. Spiele wie Duck Hunt oder Wild Gunman brachten es zu einer gewissen Popularität, aber auch mehrere Konsolengenerationen später blieben controllerlose Eingabemöglichkeiten nur Exoten.

NES Zapper (Nintendo 1985)

Das technische Prinzip, welches hinter den Lightguns steckt, wirkt aus heutiger Sicht fast antiquiert. Über ein Kabel mit der Konsole verbunden, synchronisierten sich die Pistolen mit der Bildwiederholungsfrquenz der damals üblichen Röhrenfernseher. Das sichtbare Bild wurde im Fernseher 50 mal pro Sekunde zeilenweise von einer Braunschen Röhre aufgebaut, was dem menschlichen Auge ein flimmerfreies Bild und einer lichtempfindlichen Fotodiode an der Spitze der Lightgun genug Informationen zur Bestimmung der Position bot. Die heutigen Flachbildschirme oder Beamer funktionieren nach einem andren System, mit dem Lightguns nicht funktionieren. Von daher darf man die Technik wohl aus ausgestorben bezeichnen.

Im Winter 2006 läutete Nintendo mit dem Verkaufsstart der Wii eine neue Ära der innovativen Eingabemöglichkeiten ein. Zum ersten mal war die Gestensteuerung keine Spielerei, sondern grundlegendes Bedienkonzept. Es wurde nicht mehr mit einem Steuerkreuz auf einen Menüpunkt navigiert, sondern einfach mit der Wiimote auf die gewünschte Stelle gezeigt. Die Methode war neu und aufregend, und der Hype im Vorfeld so groß wie die Warteschlangen bei den zahlreich organisierten Mitternachtsverkäufen.

Schnell war die neue Technik von Fans und Fachpresse zerlegt und analysiert. Dabei zeigte sich, dass Nintendo auch nur mit Wasser kochte. Die Sensor Bar, eine kleine Leiste die über oder unter dem Fernseher angebracht wird, enthält lediglich zwei infrarote Leuchtdioden, wie sie an der Spitze aller gebräuchlichen Fernbedienungen zu finden sind. Diese Dioden bilden eine Art unsichtbares Leuchtfeuer, welches vom vorderen Sensor der Wiimote erkannt wird. Daraus und an den Informationen des internen Lagesensors kann dann die Position des Eingabegeräts zum Bildschirm errechnet und per Bluetooth an die Wii gesendet werden. In der Praxis funktioniert dieses Prinzip gut, ist aber störanfällig. Viele Lichtquellen wie Sonneneinstrahlung, Kerzenlicht oder eine Lampe neben dem TV senden auch infrarotes Licht aus, welches von der Wiimote erkannt wird und für unbrauchbare Ergebnisse sorgt.

2009 erweiterte Nintendo die Genauigkeit der Wiimote mit dem separat erhältlichen Wii Motion Plus Die kleine Hardware-Erweiterung wird von unten an die Wiimote angedockt und enthält im Wesentlichen einen gyroskopischen Sensor, der Bewegungen nun deutlich besser erkennt. Allerdings muss das auch vom Spiel unterstützt werden, was noch längst nicht bei allen so ist. Manche Spiele ignorieren die Bewegungssteuerung auch komplett und benutzen die Wiimote einfach als klobiges NES-Gamepad.

Einen ähnlichen Weg schlägt auch Sony mit dem „Move“ getauften Steuerungskonzept ein, jedenfalls was das Handling angeht. Auch hier hält der Spieler ein Eingabegerät, den Move Motion-Controller in der Hand, und steuert damit das Geschehen auf dem Bildschirm. Die Technik dahinter ist allerdings grundverschieden.

Anders als bei der Wii, wo Licht von der Wiimote empfangen wird, leuchtet bei der PlayStation der Controller. Eine per USB angeschlossene Kamera filmt den Raum vor dem Fernseher mit einer Auflösung von maximal 640x480 Bildpunkten und erkennt die Position des Motion-Controller, und –eingeschränkt– die des Spielers. Dazu sitzt an der Spitze des Controllers ein weicher Ball, welcher eine von vier Farben annehmen kann. Durch die fast kugelförmige Abstrahlcharakteristik dieses Balls kann der Controller von der Kamera in viel mehr Positionen wahrgenommen werden. Bei der Zuspielung aller anderen nötigen Informationen ähneln sich beide Systeme wieder. Auch Sonys Bewegungssteuerung koppelt sich via Bluetooth an die Konsole und überträgt zusätzlich Daten von Gyroskop und Lagesensoren.

Der Vorteil dieses Systems ist neben der geringeren Störanfälligkeit die höhere Präzision des Controllers sowie die Möglichkeit, das Live-Bild des Spielers in das Geschehen mit einzubinden. Das Stichwort heißt „Augmented Reality“ (erweiterte Realität), was nichts anderes bedeutet als virtuell die Realitätswahrnehmung des Spielers durch computergestützte Effekte zu erweitern. Als Beispiel sei Buzz – Musik Quiz genannt, wo man sich auf dem Bildschirm anstatt des Controllers mit einem großen Holzhammer in der Hand sieht, mit dem auf die richtige Antwort geschlagen werden muss. Doch auch als alternatives Steuergerät hat sich Move spätestens mit dem First-Person-Shooter Killzone 3 bewiesen, wo man mit der Zeigerfunktion des Motion-Controllers butterweich das Zielkreuz seiner Waffe bewegen kann.

Fast zeitgleich mit Konkurrent Sony brachte Microsoft seine Version der Bewegungssteuerung für Xbox 360 auf den Markt. Das Grundprinzip unterschied sich aber radikal von allem bisher da gewesenen: erstmals steuerte der Spieler ausschließlich mit seinem Körper, ganz ohne handgeführte Sensoren.

Streng genommen ist Kinect nicht die allererste Steuerung dieser Art, Sony veröffentlichte schon 2003 die „Eye-Toy“-Kamera für PlayStation 2. Der Spieler wurde gefilmt und konnte mit seinen Bewegungen das Spiels beeinflussen. Die limitierte Rechenleistung der PS2 schmälerte die Genauigkeit der Bilderkennung aber erheblich, und so konnte von genauer Eingabe keine Rede sein. Meist reduzierte sich die Interaktion auf hektisches Händeschütteln, und kaum ein Spieltitel unterstützte das System. Erst Kinect konnte den Anspruch für sich erheben, ein ausreichend genaues Abbild der Spielerumgebung zu erstellen und zu verarbeiten.

Herzstück des Systems ist die Kinect Sensoreinheit, welche wie bei Move den Raum vor dem Fernseher erfasst. Aus technischer Sicht ist das Prinzip von Kinect das interessanteste aller drei Modelle, denn hier wird nicht die Position eines Eingabegeräts, sondern der dreidimensionale Raum ermittelt. Dazu wurden gleich zwei Kameras verbaut, eine herkömmliche VGA- und eine Infrarot-Kamera mit einer Auflösung von jeweils 640x480 Bildpunkten. Für die Tiefenwahrnehmung flutet ein infraroter Laserprojektor den Raum mit abertausenden von für das menschliche Auge unsichtbaren Lichtpunkten (siehe Video), die von einem CMOS-Sensor in der IR-Kamera erkannt werden. Ein Algorithmus berechnet aus den Reflexionen 30 mal in der Sekunde ein 3D-Bild aller Objekte, also neben dem Spieler auch Möbel, Wände und Decken. Die Software ist in der Lage, bis zu sechs Personen gleichzeitig zu erkennen und zwei als aktive Spieler zu analysieren. Dazu wird der Mensch auf ein Linienmodell mit 20 Fixpunkten reduziert, welches der Konsole zusammen mit dem Bild der Kamera und dem 3D-Scan alle nötigen Informationen liefert, um die Bewegung des Spielers auf den Bildschirm zu übertragen. Außerdem enthält der Kinect Sensor noch ein 3D-Mikrofon mit vier Aufnahmeköpfen, um Sprache und Geräusche im Raum orten zu können. Neben der Bewegungs- und Gesichtserkennung versteht die Xbox 360 so auch das gesprochene Wort, vorerst allerdings nur in Englisch und Japanisch. Weitere Sprachen sollen aber per Update nachgerüstet werden.

Fixpunkte des Kinect-Algorithmus


Schnell entdeckten findige Bastler die Möglichkeiten, die Kinect am PC bieten könnte, und veröffentlichten Open Source Treiber für den Sensor. Microsoft ließ die Fans gewähren, wehrte sich aber gegen die Aussage, Kinect sei „gehacked“ worden. Die Datenübertragung wäre vom Design her schon immer offen und ohne Verschlüsselung gewesen und der Treiber lediglich in der Lage, die gelieferten Informationen verwertbar zu machen. Kurze Zeit später erschienen unzählige Programme und Projekte von Hobbyprogrammierern, welche die Sensoren für die unterschiedlichsten Zwecke benutzen. Die Palette reicht von Spielereien wie einer virtuelle Luftgitarre bis hin zu ernsthaften Anwendungen, z.B. Motion Capturing oder alternative Desktops wie im Film Minority Report. Mittlerweile hat auch Microsoft den Markt erkannt und für 2011 ein kostenloses SDK (Software-Entwicklungskit) für Windows angekündigt.

Wohin der Weg in Zukunft auch führen mag, auf handgeführte Controller dürften Konsolen jedenfalls so schnell nicht verzichten können. Zu etabliert ist die Bedienung eines „klassischen“ Gamepads, als das die Gestensteuerung auf absehbare Zeit die totale Dominanz übernehmen wird. Eine willkommene Ergänzung stellt sie aber wohl schon dar, und der Trend geht unverkennbar weiter Richtung „Augmented Reality“ und 3D. Lassen wir uns also überraschen, wie wir im Jahr 2020 unsere virtuellen Helden über den Bildschirm scheuchen werden.