Bildverarbeitung im Einsatz -  Anwendungsbeispiele aus zahlreichen Branchen

BILDVERARBEITUNG IM EINSATZ

Kundenreferenzen & Anwendungsbeispiele aus zahlreichen Branchen

Mit Bildverarbeitung auf die Siegerstraße

Juli 2012

Seit Beginn der Saison 2011/12 werden alle Spiele der ersten und zweiten Fußball-Bundesliga von einem Hightech-Bildverarbeitungssystem ausgewertet, das von den Firmen Impire und STEMMER IMAGING entwickelt wurde. Das Tracking- System VIS.TRACK sorgt für die detaillierte Analyse von Fußballspielen und besteht zu wesentlichen Teilen aus Bildverarbeitungskomponenten von STEMMER IMAGING.

Für die detaillierte Analyse von Fußballspielen hat die in Ismaning bei München ansässige Firma Impire das Tracking-System VIS.TRACK entwickelt, das zu wesentlichen Teilen aus Bildverarbeitungskomponenten von STEMMER IMAGING besteht. Die Trainer der Bundesligisten erhoffen sich von der statistischen Auswertung der Spiele mehr Erfolg, so Impire-Vorstandsmitglied Christian Holzer: »Seit der Saison 2011/12 sind alle Stadien der 1. und 2. Bundesliga mit diesem System ausgestattet und erlauben die Analyse aller Spiele der beiden obersten deutschen Ligen. Erfolgreiche Clubs, darunter auch der aktuelle Deutsche Meister Borussia Dortmund sowie ein Großteil weiterer Bundesligisten, arbeiten ausgiebig mit VIS.TRACK, um so die Leistungen ihrer Spieler nicht nur subjektiv, sondern objektiv und mit Zahlen belegt einordnen zu können.« Auch international zählt nach Holzers Worten bereits eine Reihe von Spitzenclubs zu den Abnehmern des Impire-Systems.

Spielanalyse in Echtzeit

Daten wie der prozentuale Ballbesitz der Mannschaften, die Anzahl von Torschüssen, Kopf- oder Eckbällen wurden ja bereits seit längerem manuell gezählt. Die objektive und genaue Erfassung der individuellen Laufleistungen einzelner Spieler war auf diese Weise jedoch in der Vergangenheit nicht möglich. VIS.TRACK leistet genau das, erläutert Holzer: »Unser Tracking-System liefert für jeden Spieler die Positionskoordinaten zu jedem Zeitpunkt des Spiels. Daraus lassen sich dann Daten wie z.B. die absolvierte Gesamtlaufstrecke, die Durchschnitts- und Maximalgeschwindigkeit, die Anzahl und Intensität der Sprints sowie die dabei zurückgelegte Distanz und noch vieles mehr errechnen.« Die pro Spiel anfallenden Datenmengen sind dabei enorm: Das System erfasst von jedem Spieler 25 Mal pro Sekunde die X/Y-Koordinaten und speichert sie ab. Das ergibt am Ende eines Spiels in Summe rund 4 Millionen Positionsdaten. Diese Werte bereitet Impire für die Clubs so auf, dass die Trainerstäbe aller Clubs per PC oder über eine Smartphone-App passwortgeschützten Zugang auf diese Daten haben.

Mit Hilfe einer Heat Map visualisiert VIS.TRACK für jeden Spieler die Positionskoordinaten zu jedem Zeitpunkt des Spiels.

Auf Basis der vorliegenden Daten ist eine Vielzahl an grafischen Darstellungen möglich. So können unter anderem Geschwindigkeitsgrafiken für jeden Spieler angezeigt werden, die auch die Veränderung seiner Laufbereitschaft mit zunehmender Spieldauer belegen. Der Aktionsradius jedes Spielers auf dem Rasen lässt sich in Form einer so genannten Heat Map veranschaulichen.

»Durch die Aufsummierung der Einzelwerte sind darüber hinaus auch Statistiken über die gesamte Mannschaft hinweg möglich, die sofort und mit absolut hoher Genauigkeit zur Verfügung stehen«, so Holzer weiter. Ein Trainer kann seinen Spielern somit in der Halbzeitpause oder bei der detaillierten Analyse nach einem Spiel nicht nur gefühlt, sondern mit Zahlen und Grafiken belegt aufzeigen, wenn sein Team z.B. die linke Angriffsseite vernachlässigt hat, sich insgesamt zu defensiv verhalten hat oder deutlich weniger gelaufen ist als der Gegner. Dabei stellt ihm das System taktische Analysen in 2D und 3D sowie ein Zeichenwerkzeug zur Verfügung, mit dem er den Spielern seine Vorstellungen grafisch besser aufzeigen kann.

Holzer nennt einen weiteren wichtigen Vorzug der VIS.TRACK-Produktlinie: »VIS.TRACK-Produkte können auch zur Auswertung von Trainingseinheiten eingesetzt werden. Die dabei gewonnenen Auswertungen erschließen somit die Chance, die Trainingsintensität für einzelne Spieler z.B. nach Verletzungen individuell anzupassen und am aktuellen Leistungsstand zu orientieren.«

Nicht nur für Trainer und Vereine sind die Statistiken aller Spiele verfügbar, auch die Medien haben großes Interesse daran, relevante Daten an die Fußballfans weiterzugeben. Aufgrund dieser Nachfrage hat Impire von der DFL (Deutsche Fußball Liga) die Rechte erworben, die aufgezeichneten Daten an Medienunternehmen zu verkaufen. Wenn also bei der Auswechslung eines Spielers einer Bundesligabegegnung seine bis dahin erzielte Laufleistung in Metern im Fernsehbild eingeblendet wird, so stammt dieser Wert seit der Saison 2011/12 aus der Impire-Datenbank.

Übrigens zeichnet VIS.TRACK auch die Laufwege der Schiedsrichter auf, so dass auch für die Unparteiischen nachvollzogen werden kann, welche Strecken sie mit welchen Geschwindigkeiten in einem Spiel zurückgelegt haben.

Highend-Bildverarbeitung im Stadion

Eine Kamera pro Spielfeldhälfte nimmt die Bewegungen aller Akteure auf. Während der Testphase des Systems wurden die Kameras noch ohne Schutzgehäuse betrieben.

Der technische Schlüssel zur Realisierung des VIS.TRACK-Systems besteht aus einem leistungsfähigen Bildverarbeitungssystem, das Impire in enger Zusammenarbeit mit STEMMER IMAGING konzipiert und umgesetzt hat. Die Bilddaten liefert dabei pro Spielhälfte eine hochauflösende Kamera, die in einem von Impire speziell entwickelten, wetterfesten Gehäuse integriert ist. Die beiden Kameragehäuse eines Systems sind in allen Stadien auf Höhe der Mittellinie und meist unter dem Stadiondach fest angebracht. Zum Einsatz kommen dabei HD-Kameras von JAI.

Die von diesen beiden Kameras aufgenommenen Bilddaten werden z.T. über Glasfaserkabel per Gigabit Ethernet an die vier leistungsstarken Bildverarbeitungs-PCs übertragen, aus denen ein komplettes System derzeit besteht. »Aufgrund der zum Teil sehr langen Übertragungswege in den Stadien kam hierbei nur Gigabit Ethernet als Technologie in Frage«, begründet Holzer diese Entscheidung.

In der optimalen Systemauslegung sowie in der Aufgabenverteilung zwischen den vier eingesetzten Rechnern liegt der wesentliche Schlüssel zum Erfolg des Impire-Systems. Hier war die enge Zusammenarbeit zwischen den Entwicklern bei Impire und STEMMER IMAGING nach Holzers Worten entscheidend. Die Bildverarbeitungssoftware Common Vision Blox (CVB) spielt dabei an mehreren Stellen eine entscheidende Rolle.

Vier PCs und CVB sorgen für extreme Performance

Fest installiertes Kamerapaar in zwei Schutzgehäusen

Im aktuell eingesetzten System erfolgt die Datenaufnahme im Multicast-Modus, d.h. die Videodaten werden mit Hilfe des CVB GigE Vision Servers parallel auf alle vier PCs verteilt. Ein Recording-PC dient dabei als eine Art Videorekorder, mit dem ein zeitversetztes und geschwindigkeitsverändertes Abspielen der Aufnahme möglich ist. Dies erfolgt dann ebenfalls im Multicast-Modus, so dass das Tracking und die Auswertung eines Spiels z.B. zur späteren Spielanalyse jederzeit erfolgen können.

Der zweite Rechner realisiert als Tracking-PC auf seiner Grafikkarte (GPU) das De-bayering der Bilddaten sowie weitere Vorverarbeitungsschritte, bevor ein von Impire entwickeltes Softwarepaket auf Basis von Common Vision Blox das Tracking der Spieler übernimmt. Dieser Rechner leistet zudem auch die Darstellung an den Monitoren.

Der dritte beteiligte PC ist für die Bayer-Konvertierung und die Anzeige inklusive des aus dem Tracking-PC zur Verfügung gestellten Overlays zuständig. Als vierter Rechner im

System nutzt der Panorama-PC wieder die Leistungsfähigkeit einer Multicore-GPU-Verarbeitung auf Basis von CVB, um die Bilddaten der beiden Full HD-Kameras Bayer-dekodiert und grafisch entzerrt nahtlos zusammenzusetzen, an die CPU zu übergeben und das Ganze dann als mp4-Datei mit doppelter Full-HD-Auflösung im RGB-Format auf die Festplatte zu schreiben.

Pro Mannschaft überwacht ein Scout die korrekte Zuordnung der einzelnen Spieler

»Aufgrund dieser auf extrem hohe Performance ausgelegten Systemarchitektur ist es möglich, die Videodaten ohne nennenswerte Verzögerung auf den insgesamt fünf Monitoren des Systems darzustellen. Während eines Spiels sind an diesen Monitoren zwei Impire-Mitarbeiter im Einsatz. Die Hauptaufgabe dieser beiden Scouts besteht darin, die korrekte Zuordnung der einzelnen Spieler jeweils einer Mannschaft zu überwachen. Im normalen Spielverlauf meistert das System diese Aufgabe in der Regel selbständig: Es trackt jeden Spieler automatisch und zeigt dies auf den Monitoren mit farbigen Kästchen an, die jeden Spieler umrahmen.«

»Wenn das System jedoch z.B. nach Zweikämpfen oder im Torjubel mehrere Spieler mit der gleichen Trikotfarbe nicht mehr eindeutig identifizieren kann, so ändert es bei den betroffenen Spielern die Farbe des umrahmenden Kästchens auf dem Observer-PC und zeigt so dem zuständigen Scout an, dass er eingreifen muss«, beschreibt Holzer die Vorgehensweise. Der Mitarbeiter stellt dann wo nötig die korrekten Zuordnungen von Robben und Ribery, Götze und Großkreutz oder Huntelaar und Höwedes wieder her. Die Daten der vom System vertauschten Spieler und ihrer Laufwege korrigiert VIS.TRACK dann umgehend in der Tracking-Datenbank, um die Statistik fehlerfrei zu halten.

Für die Vorbereitungen zur Auswertung eines Spiels, also den Anschluss der Rechner und Monitore an die bereits installierten Kameras, den Start und die Erstzuordnung der Spieler, benötigt ein Impire-Team übrigens nur etwa 90 Minuten Aufbauzeit. Um die Anfahrtswege für den Aufbau der mobilen Systeme möglichst gering zu halten und alle Spiele beider Bundesligen abzudecken, sind die existierenden Impire-Anlagen auf ganz Deutschland verteilt. So erfassen die Ismaninger an jedem Bundesligawochenende 18 Spiele – an den letzten beiden Spieltagen der Saison sogar neun Parallel-Spiele deutschlandweit. Im Trainingsbetrieb besteht durch die Nutzung zusätzlicher Kamerapaare an einem Rechnersystem auch die Möglichkeit, das Geschehen auf mehreren Plätze gleichzeitig zu erfassen und auszuwerten.

Visionen: Weitere Einsatzfelder

In der Saison 2011/12 hat sich das System nach den Worten des Impire-Vorstands bestens bewährt und wird auch in der kommenden Spielzeit 2012/13 wieder in allen Bundesligaspielen im Einsatz sein. Derzeit laufen auf internationaler Ebene Ausschreibungen, bei denen sich Impire nach Holzers Aussage gute Chancen ausrechnet, zum Zuge zu kommen.

Er sieht jedoch auch Optimierungsmöglichkeiten für das aktuelle System: »Um eine verbesserte Darstellung beider Spielhälften in einem Bild zu ermöglichen, haben wir inzwischen einen zusätzlichen Rechner in die Systeme integriert, um ein Panoramabild des gesamten Spielfeldes auf jeweils einem Monitor zu ermöglichen«, zeigt Fußballexperte Holzer einen Verbesserungsschritt auf. Eine weitere Ausbaustufe soll dann auch das exakte Tracken der Balldaten erlauben, um so z.B. die Entfernungen von Pässen automatisiert zu messen.

Holzers Visionen gehen jedoch über den Fußball in Deutschland weit hinaus: »US-Sportfans sind z.B. im Basketball oder American Football äußerst statistikverliebt, und auch in anderen Sportarten wären ähnliche Systeme technisch denkbar.« Impire ist daher im wahrsten Sinn des Wortes am Ball, das System auf die Zukunft vorzubereiten.

JAI

Kopenhagen, Denmark

Seit mehr als 45 Jahren ist JAI führend in der Entwicklung von Kamera- Technologien für den Bildverarbeitungsmarkt. JAI liefert innovative Kamera- Lösungen für Anwendungen in der industriellen Bildverarbeitung, für Medizintechnik, Sicherheits- und Militärtechnik sowie für die Verkehrstechnik. Das Produkt-Portfolio umfasst sowohl Standardprodukte als auch kundenspezifische Lösungen für fast jede Anwendung, bei der Kamera-Technologie ein Bestandteil eines Prozesses, eines Produkts oder einer Dienstleistung ist.

STEMMER IMAGING

Puchheim, Germany

STEMMER IMAGING ist seit 1987 in der industriellen Bildverarbeitung tätig und mittlerweile Europas größter Technologie-Anbieter in diesem Bereich. 1997 stellte STEMMER IMAGING mit Common Vision Blox (CVB) eine leistungsstarke Programmierbibliothek vor, die eine schnelle und zuverlässige Entwicklung und Implementierung von Bildverarbeitungslösungen ermöglicht und inzwischen weltweit über 40.000 mal in verschiedensten Branchen erfolgreich im Einsatz ist.

CVB Image Manager
  • Plattform für die Entwicklung von Anwendungen der Bildverarbeitung in Industrie und Wissenschaft
  • Offene Programmierumgebung
  • Einfache Bedienung Flexibilität und High Performance
CVB GigE Vision Server - Flexibler Bild-Server zur Datenübertragung an mehrere PCs über Multicast
  • Flexibler Bild-Server auf Basis von GigE-Vision Technologie
  • Unterstützt GigEVision- und GeniCam-Standard
  • Datenübertragung an mehrere PCs über Multicast
  • Definition und Simulation eigener Kamera-Features