Avatare im OP

Mixed Reality wird die Welt der Chirurgie grundlegend verändern. Datenbrille und Spezialsoftware errechnen mit den Daten von MRT oder CT-Scans originalgetreue Hologramme. Die verbesserte OP-Technik macht bislang unzugängliche Tumore operabel.

Die Bilder haben etwas Skurriles. Aber sie sind auch beunruhigend. Beobachtet man die Gruppe an Chirurgen, die sich in vollem OP-Ornat im Kreis versammelt hat und mit den Fingern einen unsichtbaren Gegenstand zurechtrückt, dann möchte man die Klinik wechseln. 

Wer die gleiche Szene durch eine Mixed-Reality-Brille verfolgt, erlebt einen Zeitensprung. 

Wie bei Raumschiff Enterprise wird für Ärzte und Zuschauer ein Schädel sichtbar. Knochen von poröser Struktur lassen selbst den Laien Böses vermuten. Das Ärzteteam der Asklepios Klinik Altona dreht und wendet des dreidimensionale Bild, um den Verlauf jeder Nervenbahn und jede Ader exakt zu studieren. Es bereitet sich mithilfe des Hologramms auf eine schwierige Operation vor. Dr. McCoy, der legendäre Bordarzt des Raumschiff Enterprise, wäre zufrieden gewesen.

Mit Software und Brille

Freilich wäre „Pille“ ohne das Headset ausgekommen, das die Operateure erst zu Sehern macht. Die Brille gemahnt rein designmäßig an ein übergroßes Augenglas eines Oligarchen an der Côte d’Azur. Dabei handelt es sich um einen Computer mit eigenem Betriebssystem, wie er aus Virtual-Reality-Anwendungen vertraut geworden ist: Die Brille erlaubt ihrem Träger, zweidimensionale Scans eines MRTs oder eines CTs in dreidimensionaler Darstellung zu sehen. Dabei lassen sich die Projektionen nach Lust und Laune per Fingerstubs drehen und wenden.

Das Headset zeigt Dinge in Mixed Reality: Im Unterschied zu Virtual oder Augmented Reality bringt „Mixed Reality reale und virtuelle Objekte in Echtzeit zusammen und die Nutzer können miteinander interagieren“, erklärt Marc Angelo Bisotti. Die Anwender sehen die Projektion inmitten der realen Umgebung. Dem Vergleich mit Raumschiff Enterprise folgt Bisotti nur zögerlich. Er beschreibt die Projektionen lieber als „Hologramme, die auf den individuellen Bilddaten der Patienten basieren.“ Bisotti ist Finanzverantwortlicher des Hamburger IT-Unternehmens apoQlar. Gemeinsam mit Gründer Sirko Pelzl ist er dabei, die hauseigene Softwareentwicklung VSI HoloMedicin massen­fähig zu machen. VSI steht für Virtual Surgery Intelligence. Dabei handelt es sich um eine Cloud-basierte Anwendung, die aus MRT- und CT-Aufnahmen ein dreidimensionales Abbild konstruiert und dieses in der Mixed-Reality-Brille darstellt. Das Headset beruht auf der Microsoft-Entwicklung HoloLens, die als unabhängiger Computer mit Windows-Holographic-Betriebssystem konzipiert ist. Die 3D-Brille ist WLAN-fähig und funktioniert ohne zusätzliche Geräte wie PC, Konsole oder andere Mobilgeräte.

Im Package mit der apoQlar-Software begründen die HoloLens-Brillen den neuen Bereich der Holomedizin. Die Arbeitsteilung ist klar: Die Software errechnet aus den eingespeisten Daten das Bild, die Brille macht es sichtbar. Auf Basis der Patientendaten erscheint ein perfektes anatomisches Abbild mit allen Strukturen. Das Spezielle daran: Das Hologramm kann beliebig im Raum positioniert werden. Die reale Umgebung bleibt weiter sichtbar und die Hände der Ärzte sind frei zum Operieren. Dabei erfasst die Brille die Körperposition im Raum und lässt die 3D-Objekte an ihrem zugewiesenen Platz, auch wenn sich der Anwender bewegt.

Ausgangspunkte der Darstellung sind bis zu 500 Aufnahmen einzelner Schichten von Körperregionen, die zuvor von den Patienten angefertigt wurden. apoQlar-Cofounder Bisotti beschreibt den Hauptvorteil der VSI-Software: „Chirurgen haben im Vorfeld die Möglichkeit, anhand der personalisierten Patientendaten den gesamten Operationsablauf lebensnah zu simulieren.“ Die Per­spektiven seien atemberaubend: 

Das Schicksal einer älteren Dame zeigt, wie die Mixed Reality Leben verändert. Schwer gezeichnet vom Leberkrebs, wurde die Patientin von ihren Ärzten auf die Palliativ-Schiene geschoben (siehe Quellen und Links). Man sagte ihr, dass man nichts mehr für sie tun könne. Die Metastasen hätten vom Darm ausgehend gestreut und die Leber durchsetzt. Der Sohn brachte die Verzweifelte schließlich an das Pius-Hospital in Oldenburg, eine der ersten deutschen Kliniken, die mit Mixed-Reality-Technologie arbeiteten. Die Chirurgen identifizierten mithilfe der VSI-Hologramme die genaue Position und Verwachsungen der Tumore und legten sich für jede Metastase die schonendste Schnittführung zurecht. Der Eingriff verlief erfolgreich, die Patientin genas. Die Leber hatte dank der behutsamen Operationstechnik nach einem Jahr wieder Ursprungsgröße erreicht.

Holomedizin spielt ihre Stärken nicht nur vor und nach einer Operation aus. Sie kommt auch während des Eingriffs zum Einsatz. Die VSI-Software liefert dem Chirurgen-Team Live-Bilder. Ergänzend zu den CT- und MRT-Aufnahmen, die im Vorfeld einer Operation erstellt werden, hat apoQlar eine „Streamer Box“ in das System integriert, mit der Echt-Bilder aus flankierenden Ultraschalluntersuchungen, Fluoroskopien, Endoskopien und anderen klassischen bildgebenden Verfahren direkt und in Echtzeit in die Headsets und damit in das Blickfeld der Ärzte gespiegelt werden. Dafür müssen nur die jeweiligen medizinischen Geräte im Behandlungssaal per HDMI-Kabel mit der Streamer Box verbunden werden. Die behandelnden Ärzte haben so alle notwendigen Informationen live in einer Mixed-Reality-Umgebung vor Augen und können den Verlauf des Eingriffes aus mehreren Perspektiven kontrollieren.

Die VSI-Software bietet auch im Nachgang der OP während der Visite Zugriff auf sämtliche Patientendaten, Laborwerte und CT/MRT-Bilder. Und über die Speech-to-Text Funktion erstellt der Arzt oder die Ärztin noch während der Visite den Befund. Das verschlankt die Arbeitsprozesse und schafft den behandelnden Teams zeitliche Freiräume. Dabei ist die Frage des Datenschutzes nach Aussage von apoQlar-Geschäftsführer Bisotti gelöst. Nach der Operation werden die Daten auf der Brille gelöscht, sie verbleiben lediglich auf den Servern des Krankenhauses. Die Kombilösung aus HoloLens und VSI braucht viel Rechenpower. Nicht jedes Krankenhaussystem ist darauf vorbereitet. Die Software von apoQlar nutzt eine mächtige Cloud-Lösung von – no na – Microsoft, um eine flüssige Darstellung der Bilder zu garantieren. Probleme beim Datendurchsatz wären fatal: Wenn der Chirurg zur Schnittführung an einem menschlichen Organ ansetzt, gelten ruckelnde Bilder als suboptimal. Eine durchgängige IT-Leistung ist daher einer der entscheidenden Faktoren während einer OP. Die 3D-Visualisierungen können dabei aus jedem beliebigen DICOM- (MRI, CT, SPECT, DVT) Datensatz und anderen medizinischen Formaten gewonnen werden. Unabhängig davon, ob PCs, Laptops oder das PACS als Datenträger dienen: Das VSI erstellt automatisch das Hologramm. Aktuell läuft die holomedizinische Software in zehn deutschen und 40 Kliniken weltweit. Auch in österreichischen Spitälern seien bereits Testpakete am Laufen. Namen wollte Bisotti aber nicht verraten.

Lernen und Lehren mit Brille

Die Verdeutlichung kompliziertester Zusammenhänge macht die VSI-Technologie auch außerhalb des OPs interessant. Die apoQlar-Software ist wie geschaffen, trockene Lehrbücher mit Herzblut zu erfüllen – im wahrsten Sinne des Wortes. Sie verwandelt Aufnahmen aus klassischen Lehrbüchern in reale medizinische Bilder in 3D. Studierende haben so die Möglichkeit, gemeinsam an medizinischen Bildobjekten zu arbeiten. Die Objekte lassen sich frei im Raum bewegen und nach Bedarf in der Größe anpassen. Auf diese Weise sind auch ungewöhnliche und besonders detailreiche Einblicke möglich, die ein völlig neues Verständnis fördern. Die anatomischen Strukturen lassen sich durch die Mixed-Reality-Perspektive leichter nachvollziehen. Die Stärken von Mixed-Reality-Anwendungen unterstützen auch jede Form der professionellen Kommunikation. Kollegen aus anderen Kliniken können Planungen von Eingriffen mit ihrer besonderen Expertise unterstützen. So unglaublich dies ist: Sie sind dann als Hologramm-Avatare für das OP-Personal sichtbar und können sich in Echtzeit mit dem Team vor Ort verständigen – egal wo sie sich auf dem Globus befinden. Eine echt coole Sache – nicht nur für Trekkies. 

Quelle: ÖKZ, 63. JG, 12/2022, Springer-Verlag.