ID#32

28.01.2022

AI Textanalyse: Von Strategieworkshops, Parteiprogrammen und Bedingungswerken – ID#32

Christoph Pfeiffer und Heiko Eckert von Bridge MT sprechen über das Thema „Textanalyse mit künstlicher Intelligenz“. Die beiden Experten haben im letzten Jahr für einige Aufmerksamkeit gesorgt, als sie die Wahlprogramme der Parteien per AI analysieren und automatisch Koalitionswahrscheinlichkeiten bewerten ließen. Die Anwendungsmöglichkeiten für andere Arten von Textanalyse, z. B. auch in der Industrieversicherung, erläutern sie im Gespräch mit Ansgar Knipschild.

Im Gespräch: Christoph Pfeiffer, Heiko Eckert, Ansgar Knipschild

Länge: 49 Minuten

Transkript

Ansgar Knipschild: Hallo und herzlichen Willkommen zu einer neuen Podcast-Folge von Industrieversicherung Digital. Heute eine Folge zu dem spannenden Thema künstliche Intelligenz, oder kurz KI, oder englischsprachig AI für Artificial Intelligence. Wir haben heute zwei Experten zu Gast, die das Thema Textanalyse per AI sehr gut kennen und vor kurzem für einige Aufmerksamkeit gesorgt hatten, als sie die Wahlprogramme der AI analysieren und Koalitionswahrscheinlichkeiten bewerten ließen. Heute sind wir in der unfairen Position, dass wir wissen, wie die Koalitionsverhandlungen ausgegangen sind.

Wir schauen einmal, was die AI damals dazu gesagt hat. Aber vor allen Dingen wollen wir uns in dem heutigen Podcast erklären lassen und diskutieren, wie wir dieses Vorgehen auf die Analyse und den Vergleich von komplexen Texten, wie im Versicherungsbereich zum Beispiel Bedingungswerk und Wordings, wie das dorthin übertragen werde kann. Ganz nebenbei wollen auch etwas besser verstehen lernen, wie eine AI überhaupt lernt und wie das Gelernte von ihr angewendet werden, insbesondere auf längere, unstrukturierte Texte. erst einmal ein herzliches Willkommen an Christoph Pfeiffer und Heiko Eckert. Ich beginne einmal mit Ihnen, Herr Eckert. Mögen Sie sich kurz vorstellen?

 

Heiko Eckert: Sehr gerne. Heiko Eckert, 52, drei Kinder. Ich bin geschäftsführender Gesellschafter der BRIDGE Management Technologies. Wir haben eine Software entwickelt, um Strategieentwicklungs- und Umsetzungsprozesse in Organisationen zu unterstützen und nutzen hier insbesondere auch Methoden des Machine Learnings und der Artificial Intelligence.

 

Ansgar Knipschild: Vielen Dank. Herr Pfeiffer?

 

Christoph Pfeiffer: Ja, sehr gerne. Christoph Pfeiffer ist mein Name, ich bin 39 und arbeite als Unternehmensberater für Data Science, Machine Learning und Spieltheorie in Verhandlungen.

 

Ansgar Knipschild: Sie haben schon ein paar Begriffe der Themen, mit denen Sie sich beschäftigen, genannt, Stichwort Strategie-Workshops. Ich habe von Parteiprogrammen geredet und dann wollen wir noch Versicherungen unter einen Gut bringen. Einmal gucken, wie wir das alles zusammenbringen. Starten wir einmal mit Ihren originären Geschäftsfeld sozusagen, denn Sie beschäftigen sich schon seit einiger Zeit mit dem Thema künstlicher Intelligenz, insbesondere, wie ich verstanden habe, mit dem Ziel, Ergebnisse von Strategie-Workshops automatisch aufzubereiten. Können Sie uns diesen Anwendungsfall einmal näher beschreiben?

 

Heiko Eckert: Sehr gerne. Diese Art von Workshop oder Prozess führen wir seit vielen, vielen Jahren mehrere Male im Jahr durch. Man kann sich das so vorstellen: Eine Organisation hat eine bedeutende Fragestellung, eine strategische Fragestellung, beispielsweise wie verdoppeln wir unseren Gewinn oder unseren Profit in den kommenden fünf Jahren unter Einhaltung von verschiedenen Nebenbedingungen. Also beispielsweise unter der Prämisse als auf den Kunden auszurichten. Wenn man sich diese Fragestellung vorstellt, kann man diese Fragestellung nur unter Einbezug möglichst vieler Fachbereiche, Experten-intern wie -extern beantworten. Beantworten heißt, eine konkrete Zielvorstellung zu entwickeln und sehr konkrete Maßnahmen, um dann diese große Ausgangsfrage zu beantworten und über die Zeit entsprechend umzusetzen. Hierfür binden wir dreißig, vierzig, in manchen Fällen auch 150 Personen ein, die erst einmal Ideen zu dieser Ausgangsfrage, also mögliche Antworten auf die Frage, in einer Art Metaplankarte beispielsweise aufschreiben und die Aufgabe ist, diese hunderten Ideenkarten zu clustern. Das heißt, sie zu Themen zusammen zu bündeln, die im Anschluss im Workshop bearbeitet werden können.

Diesen Konsolidierungsprozess unterstützen wir durch eine KI, die wir entwickelt haben, in dem Sinne, dass alle einkommenden Ideen zu möglichen Themen-Clustern gebündelt werden und diese Themenbündel durch die Workshop-Teilnehmer bearbeitet, diskutiert und Lösungen entwickelt werden. Also dieser Prozess der Ideen-Clusterung im Rahmen von Workshops. Aber auch, das könnte auch eine andere Fragestellung sein, dass ich mir überlege, was könnte ich tun, um die Mitarbeiterzufriedenheit zu verbessern beispielsweise und befrage die gesamte Organisation. Dann bekomme ich deutlich mehr Daten zusammen als in diesen Workshops und der Cluster-Prozess würde sich entsprechend Wochen hinziehen. Mit der KI ist man in der Lage, das sehr, sehr schnell und mit sehr guten Ergebnissen vorzuverarbeiten und diese sehr umfangreichen Arbeiten abzukürzen.

 

Ansgar Knipschild: Wenn ich das noch einmal kurz an Sie zurückspielen darf, das bedeutet einmal in andere Worte übersetzt, ich bekomme als KI relativ viel unstrukturierten Text, Sie haben es mit den Metaplankarten, die wir alle aus Meetings kennen, die an der Wand hängen oder vielleicht digital vorliegen, und die KI hilft mir dabei, sie zu clustern, haben Sie genannt, sprich sie auf Ähnlichkeiten zu bündeln. Da kommen irgendwie zehn Karten zum Thema A und zehn Karten zum Thema B. Ich versuche schon einmal direkt, eine Brücke zu schaffen für unsere Zuhörer, die sich jetzt fragen, was hat das mit Versicherungsverträgen oder so zu tun. Das geht für einen längeren Fließtext genauso. Da habe ich viele Textabschnitte drin, die auch als einzelne Texte identifizieren kann und clustern kann, um zum Beispiel daraus Themengebiete zusammenzuschließen. Ist das vom Verständnis her richtig?

 

Heiko Eckert: Das ist genau richtig. Christoph, vielleicht können wir auch hier schon eine Ebene tiefer gehen und vielleicht ein Verständnis entwickeln, wie die KI bei der Analyse dieser Textbausteine vorgeht.

 

Christoph Pfeiffer: Genau. Die richtigen Begriffe wurden schon genannt. Es geht um Clustering. Clustering ist eine Machine Learning Technik und man kann bei Machine Learning grundsätzlich erst einmal zwischen supervised und unsupervised Machine Learning Techniken unterscheiden. Die unsupervised Machine Learning Techniken funktionieren so, dass man keine annotierten Daten braucht. Das heißt, ich kann unstrukturierte Daten nehmen, brauche die KI vorher nicht unbedingt trainieren und habe am Ende eine bestimmte Anzahl von Clustern. Das war auch, womit viele ursprünglich gestartet sind in dem Projekt. Das heißt, wir haben uns erst einmal Daten von Management-Workshops genommen, haben die clustern lassen und haben uns dann die Ergebnisse angeschaut. Wir waren aber erst einmal nicht so zufrieden mit den Ergebnissen. Das heißt, wenn man einfach clustert und das Modell vorher nicht wirklich trainiert hat, dann sind die Ergebnisse in den meisten Fällen auch nicht super.

Dann haben wir gesagt, wir müssen noch einmal einen Schritt zurückgehen. Wir müssen erst einmal eine Klassifizierungsontologie entwickeln, eine Management-Ontologie. Wir haben diese dann entwickelt. Das hat eine ganze Weile gedauert. Es ist gar nicht so einfach, eine Systematik zu entwickeln, mit der man wirklich alle möglichen Ideen systematisch einordnen kann. Das ist auch immer wieder unsere Erfahrung. Das heißt, es geht bei solchen Machine Learning Data Science Projekten natürlich auch darum, dass man das Modell trainiert, dass man sehr fortgeschrittene Modelle verwendet, die besten Modelle, die man finden kann, aber es ist genauso wichtig, sich vorher sehr gründliche Gedanken zu machen, mit welcher Klassifizierungssystematik arbeite ich und wie kann ich die unterschiedlichen Klassen genau unterscheiden?

Es ist nun einmal so, bei Textdaten, bei Sprachdaten, dass es da sehr viel Unschärfe gibt. Das heißt, wenn zwei Leute sich den gleichen Text anschauen, können sie durchaus zu unterschiedlichen Ergebnissen kommen, wie sie das einordnen würden. Von daher sind wir so vorgegangen, haben diese Ontologie entworfen, sind da insgesamt auf dreißig verschiedene Kategorien gekommen und haben dann eine relativ große Anzahl von Daten klassifiziert, annotiert würde man sagen im Machine Learning Jargon. Das war durchaus ein aufwendiger Prozess, 15.000 Daten. Das hat eine ganze Weile gedauert. Dann sind wir dazu gekommen, dass wir erst einmal ein Klassifizierungssystem entwickelt haben. 10:04

 

Ansgar Knipschild: Entschuldigung, Herr Pfeiffer, dass ich einmal kurz unterbreche. Sie haben gesagt, „Ganz schön lange gedauert“. Können Sie das einmal illustrieren? Haben Sie das mit Kollegen, Kolleginnen gemacht? Mussten da Menschen diese Texte, ich sage es jetzt einmal für Normalsterbliche formuliert, verschlagworten, was dieses klassifizieren bedeutet? Das muss ein Mensch machen, oder?

 

Christoph Pfeiffer: Das muss erst einmal ein Mensch machen, genau. Da war eine Werkstudentin, die Farida, die hat über drei, vier Monate Daten klassifiziert, annotiert. Das heißt, sie hat sie sich angeschaut und hat sie dann eingeordnet. Das war das Futter für das Modell. Damit haben wir das Modell trainiert. Dann haben wir es so gemacht: Wir haben das Klassifizierungsmodell verwendet und sind dann zum Clustering gekommen. Das heißt, das Machine Learning Modell, wenn es trainiert ist, schaut sich einen Input an und am Ende kommt ein Wahrscheinlichkeitsvektor dabei heraus, der geht in diesem Fall über dreißig Elemente, und gibt für jede einzelne Kategorie die Wahrscheinlichkeit an, dass diese Kategorie in den Textdaten enthalten ist. Diesen Wahrscheinlichkeitsvektor kann man wiederum nehmen als Input für das Clustering-Modell. Das heißt, wir haben eine Art Hybridmodell zwischen supervised und unsupervised Machine Learning Modellen und verwenden das, um unstrukturierte Textdaten zu klassifizieren und zu clustern.

 

Ansgar Knipschild: Ich versuche, das noch einmal kurz zusammenzufassen, Herr Pfeiffer. Das bedeutet, wenn wir einer KI die Klassifizierung, also Zuordnung von Texten oder Textbausteinen, beibringen wollen, dann brauchen wir, wenn wir gute Ergebnisse erzielen wollen, jede Menge Beispieltexte. Sie haben jetzt einmal die Zahl 15.000 zum Beispiel genannt, also wirklich viel, will ich damit sagen. Die muss vorher manuell klassifiziert werden, die Textbausteine müssen praktisch alle ihr Schlagwort bekommen, wie die Zuordnung erfolgen soll.

Daraus bezieht die KI ihr Wissen und nachher kommt eben diese prozentuale Zuordnung, wie die Verschlagwortung ist und weil natürlich eine Zuordnung auf dreißig Ebenen, ich schaue einmal ganz kurz hier, was Sie in Ihrem veröffentlichten Paper drin haben, das sind Begriffe Customer und Marke, Products and Marketing, Innovation, Organization, also typische Begriffe aus der Management-Welt, wenn es Strategie-Workshops gibt, und die versucht die KI, hier den Textabschnitten zuzuordnen. Jetzt bekomme ich im Zweifelsfall pro Textabschnitt dreißig Prozentzahlen, so stelle ich mir das vor, du bist für Innovation 23,5 Prozent, für Customer und Marke 17 Prozent. Das kann ich als Mensch nicht verarbeiten. Deshalb brauchen Sie noch einmal Clusterung, die das Ganze noch einmal, praktisch aus menschlicher Sicht wiederum, eindeutiger einem kleineren, engeren Raum sozusagen zuordnet. Ist das richtig verstanden?

 

Christoph Pfeiffer: Genau richtig, ja. Man hat am Ende diese Wahrscheinlichkeitsvektoren und die werden noch einmal geclustert in eine vorgegebene Anzahl von Gruppen und das hat natürlich auch den Vorteil, dass es einmal leichter verständlich ist und dass es auch in Arbeitsgruppen bearbeitet werden kann.

 

Ansgar Knipschild: Okay. Ein bisschen habe ich jetzt die Assoziation, dass eine KI auch die Funktion einer Art Textzusammenfassung leisten kann. Ist das auch ein valides Verständnis? Ich habe einen Text aus vielen Abschnitten und ich kriege danach, in diesem Text geht es um A, B, C, D, E, F.

 

Christoph Pfeiffer: Das geht auch, definitiv. Da gibt es noch andere Techniken für, wo genau das gemacht wird, also wo man einen längeren Text nehmen kann, lässt es durch ein bestimmtes Modell laufen, auch ein Transformer, ein sogenanntes Transformer-Modell, und am Ende kommt ein kürzerer Text heraus, der dann den längeren Text zusammenfasst.

 

Ansgar Knipschild: Okay.

 

Christoph Pfeiffer: Vielleicht noch eine Anmerkung zu dem Annotieren. Das war ein relativ langer Zeitraum. Man kann auch bestimmte Techniken verwenden, um diesen Zeitraum zu verkürzen. Gerade wenn es um bestimmte Projekte geht, wo ein bestimmter Zeitdruck auch dahintersteht, so machen wir es gerade in einem laufenden Projekt, da kann man sagen, wir nehmen die Trainingsdaten, sagen wir jetzt einmal, wir haben zum Beispiel 15.000 Trainingsdaten, starten erst einmal mit tausend Einträgen, klassifizieren die alle, nehmen diese tausend Daten, trainieren das Modell, haben schon ein Modell, das funktioniert, noch nicht perfekt, aber wir haben schon einmal ein Modell, nutzen das Modell für die nächsten tausend Daten und schauen, wie es funktioniert. Das kann den Klassifizierungsablauf deutlich beschleunigen.

 

Ansgar Knipschild: Okay. Ich kenne das in Projekten so, eat your own food, könnte man da fast zu sagen. Mit der eigenen Technologie helfen, die Verschlagwortung auch zu automatisieren oder zu beschleunigen, oder?

 

Christoph Pfeiffer: Genau, richtig.

 

Ansgar Knipschild: Ah interessant. Das ist clever.

 

Heiko Eckert: Das ist ein iterativer Prozess, genau. Vielleicht noch eine kleine Ergänzung: Man muss unterscheiden zwischen Klassifizierung und Clusterung. Die Clusterung hat zum Ziel auf Basis der Klassifizierung noch einmal die Themen deutlich zu reduzieren und vielleicht auch Themen zu identifizieren, wie beispielsweise eine digitale Transformation, um dann zu schauen, welche Aspekte dieser Klassifizierung finden sich in den Clustern wieder. Zum Beispiel hat eine Transformation immer irgendwelche kulturellen Aspekte, hat vielleicht Prozessthemen und hat vielleicht noch andere Aspekte, die dort hineinspielen. Der Cluster sind vielleicht acht, zehn oder zwölf Cluster, weil mit mehr Clustern weiterarbeiten ist schwierig. Es ist noch einmal eine Verdichtung, die hilft, das Ganze handhabbarer zu machen.

 

Ansgar Knipschild: Okay. Das habe ich soweit verstanden. Mit diesem iterativen Trainingsprozess, den Sie gerade erläutert haben, ist die so trainierte KI in der Lage, aus der Wissensdomäne Strategie-Workshops sowohl diese Sammlung von den Karten sozusagen oder auch von Texten entsprechend zu clustern, also aufzubereiten, sodass man die Ergebnisse besser auswerten kann. Jetzt machen wir einen Riesensprung und kommen zu dem Thema Parteiprogramme, denn darüber bin ich auf Ihre Arbeit aufmerksam geworden.

Da hatte der Professor Rieck in seinem Spieltheorie YouTube-Kanal genau von diesem Experiment berichtet, dass Sie die KI benutzt haben, das war kurz vor der Bundestagswahl, die Programme der Parteien auf inhaltliche Überschneidungen zu untersuchen und daraus vielleicht Hypothesen aufzustellen, wie sehen die Koalitionswahrscheinlichkeiten eigentlich aus. Hypothese: Wenn es inhaltliche Überschneidungen in den Wahlprogrammen gibt, ist die Wahrscheinlichkeit, dass es zu einer möglichen Koalition kommt höher. Die Brücke ist jetzt nach meinem Verständnis, auch hier geht es darum, ich habe lange, unstrukturierte Texte, Parteiprogramme, eine KI hilft mir, die zu clustern, also auf Themen zu verdichten und dann probiere ich, herauszukriegen, wo es Überschneidungen gibt, um sie auszuwerten. Das war die Idee Ihres Experiments hier, richtig?

 

Heiko Eckert: Richtig. Wir saßen selbst im September intern zusammen bei unserem Data Science Strategie-Event und die KI hatten wir erst frisch mit 15.000 Daten trainiert und haben gesagt, okay, das funktioniert eigentlich gut. Gibt es irgendwo eine Möglichkeit, die KI anzuwenden. Dann kamen wir auf die Idee, da es kurz vor der Wahl war, lass uns doch die Parteiprogramme einlesen. Die sind frei verfügbar, PDF, und das haben wir dann gemacht. Die Idee war in der Tat, zu schauen, lassen sich eigentlich die Parteien aufgrund ihrer Parteiprogramme in irgendeiner Beziehung zueinander darstellen? Gibt es Parteien, die eben von ihrem Parteiprogramm her ähnlicher zueinanderstehen oder weiter entfernt? Das war die Ursprungsidee. 18:53

 

Ansgar Knipschild: Jetzt drängt sich mir als nicht KI-Experte sofort die Frage auf, Moment, jetzt ist die KI mit dem Thema Strategie-Workshops trainiert worden und jetzt wird sie mit Texten konfrontiert, die mit Parteipolitik, Außenpolitik, Umweltpolitik, all den Aspekten, mit denen sich unsere Parteien beschäftigen, konfrontiert. Wie kann die denn da überhaupt Auswertungen fahren? Das hat überhaupt nichts miteinander zu tun. Wie ist da die Funktionsweise?

 

Christoph Pfeiffer: Das stimmt natürlich. Das ist ein relativ verschiedenes Thema, Management-Workshops, Unternehmensstrategie und Parteiprogramme. Auf der anderen Seite gibt es auch Überschneidungen. Sustainability ist zum Beispiel auch ein Element, das wir in der Ontologie drinnen haben. Das kommt durchaus auch in Parteiprogrammen vor, oder Umgang miteinander, kulturelle Themen. Was man da noch sehen sollte, wir haben zwei verschiedene Modelle, mit denen wir arbeiten.

Eins basiert auf Support Vector Machines, das ist eine Machine Learning Technik und das andere ist eine Art Deep Learning Modell. Jetzt kann man sich die Funktionsweise oder die Vor- und Nachteile dieser beiden Modelle vielleicht so vorstellen: Das Deep Learning Modell ist ein sehr spezialisiertes Modell, das hervorragende Ergebnisse liefert, ist aber auch sehr spezifisch angepasst auf das jeweilige Umfeld. Das Support Vector Machine Modell ist ein etwas simpleres Modell, das aber auch robuster funktioniert. Das heißt, das Support Vector Machine Vector Modell kann ich durchaus einmal in anderen Kontexten anwenden. Das haben wir gemacht. Da hat man gesehen, dass das Support Vector Learning Modell relativ gut in anderen Kontexten funktioniert und das Deep Learning Modell nicht. Was wir gemacht haben, ist, dass wir das Support Vector Machine Learning Modell verwendet haben. Wir wussten es vorher auch nicht, wir dachten einfach, wir probieren es einmal, da waren wir relativ angetan von den Ergebnissen des SVM-Modells, weil man, gerade wenn man die Ergebnisse in einer zweidimensionalen Fläche darstellt, relativ gut sich wiederfinden konnte in den Ergebnissen.

Man hat gesehen grundsätzlich erst einmal CDU, FDP, CSU sind relativ dicht beisammen und die Linke und die SPD sind relativ dich beisammen. Was man auch gesehen hat, was dann etwas überraschend war, das hatte der Christian Rieck auch in seinem YouTube-Block erwähnt, wir waren erst einmal überrascht, dass die Grünen und die AfD relativ dicht beisammen waren. Da hätte man vorher sagen können, gut, das sind eher totale Gegenspieler, die einen auf der rechten Seite des politischen Spektrums, die anderen eher auf der linken Seite des politischen Spektrums. Da hatte Christian Rieck die Erklärung, im Kern sind beide Parteien eher populistisch ausgerichtet. Aber ich möchte da jetzt auch nicht politisch werden. Das war einfach das Ergebnis des Machine Learning Modells.

Grundsätzlich konnten wir uns relativ gut darin wiederfinden. Das heißt, man konnte die Ergebnisse nachvollziehen. Da ist auch der Vorteil von der Dimensionsreduktion zu sehen. Sonst haben wir diese dreißigdimensionalen Vektoren. Wie Sie es schon erwähnt haben, das ist für den Mensch erst einmal nicht wirklich nachvollziehbar, was dasteht. Deshalb haben wir eine Technik angewendet zur Dimensionsreduktion. Das heißt, das ist eine mathematische Transfusion von diesem dreidimensionalen Vektor und der wird in einen zum Beispiel zweidimensionalen Vektor überführt. Das haben wir hier gemacht und damit waren die Ergebnisse gut nachvollziehbar für Menschen.

 

Ansgar Knipschild: Herr Pfeiffer, ich probiere es einmal, wörtlich zu beschreiben, wie das Ergebnis hier aussah. Wir haben leider hier nur den Ton und ich weiß nicht, wie viele unsere Zuhörer noch mit dem Begriff Vektor etwas anfangen können, deshalb probiere ich es gerade einmal, sozusagen in mathematische Laiensprache zu übersetzen. Das Ergebnis Ihrer Analyse der Parteiprogramme ist unter anderem ein Diagramm, ich habe es hier gerade noch einmal auf dem Bildschirm und die Zuhörer können es im YouTube-Kanal von Professor Rieck oder in Ihrem Post auf LinkedIn noch einmal aufrufen, und dort sehe ich für jede Partei einen Punkt in einem Koordinatensystem XY,  also einem Quadrat, und die Punkte sind unterschiedlich nah zueinander dargestellt.

Ich sehe zufälligerweise rechts unten die CDU/CSU, ich sehe eher Mitte links die SPD und die Linke und dann ganz links, da merkt man, dass es mit dem politischen Spektrum nichts zu tun hat, die AfD und ein bisschen daneben die Grünen. Die sind auch unterschiedlich hoch. Also ich habe praktisch in dieser Fläche die Punkte jetzt irgendwo auf den ersten Blick willkürlich verteilt. Man sieht das eine Lager, das schwarze Lager sozusagen, die Koalition CDU/CSU, recht nah daneben die FDP, dann haben wir das rote Lager sozusagen und dann sehe ich daneben noch Zahlen, das sind die Verdichtungen, von denen Sie gesprochen haben, aber können Sie noch einmal darstellen, was ist jetzt eigentlich die Aussage? Sind diese Achsen irgendwie beschriftbar, dass man sagen kann, was heißt, dass das weiter rechts, im x-Wert ist das, eine höhere Zahl hat? Ist das für einen Menschen irgendwie belegbar mit einem Wert?

 

Christoph Pfeiffer: Nein. Also diese Achsen sind aus menschlicher Sicht nicht beschreibbar. Man kann nicht sagen, Sustainability, Nachhaltigkeit, wer weiter rechts ist, hat einer höhere Nachhaltigkeit. Das ist erst einmal in dieser Form nicht möglich. Das ist einfach eine abstrakte Zusammenfassung der Ähnlichkeiten, eine abstrakte Darstellung der Ähnlichkeiten oder Unterschiedlichkeiten.

 

Ansgar Knipschild: Also es geht hauptsächlich um die Abstände, so könnte man es vielleicht formulieren. Je weiter die Punkte, in dem Fall die Parteien, voneinander weg sind, kann man interpretieren, umso weiter sind die Inhalte, die zugrundeliegenden Texte, nicht deckungsgleich.

 

Christoph Pfeiffer: So kann man das sagen, genau. Vielleicht noch zum Vorgehen: Wir haben die Parteiprogramme aufgesplittet. Das heißt, wir haben jeden Absatz genommen und jeden einzelnen Absatz ausgewertet. Das heißt, es waren vielleicht zweihundert verschiedene Absätze ungefähr pro Parteiprogramm und eigentlich ist jeder Absatz ein Punkt in dieser Fläche. Das wäre natürlich nur mit zweihundert Punkten pro Partei sehr schlecht darstellbar gewesen. Von daher haben wir gesagt, wir nehmen den Mittelwert dieser ganzen Punkte und dieser Mittelwert beschreibt das Parteiprogramm.

 

Ansgar Knipschild: Das ist noch einmal ein schönes Bild, kann ich mir auch gut vorstellen. Aus diesen vielen hunderten Absätzen, Punkten vereinfach Sie weiter, indem Sie einen großen, dicken Punkt daraus machen.

 

Christoph Pfeiffer: Genau.

 

Ansgar Knipschild: Okay. Wenn wir uns noch einmal überlegen, hier hat es also einen Transfer gegeben von der Strategie-Workshop-Management-Welt in die Parteiprogrammwelt, Sie haben erläutert, da gibt es ein paar Ähnlichkeiten mit inhaltlichen Bezügen, aber es sind trotzdem verschiedene Themen. Wie wäre das, wenn man mit dieser gleichen Technologie in ganz andere Wissensfelder gehen würde? Jetzt schließen wir einmal die Brücke zu unserem Thema hier im Podcast, Industrieversicherung. Wir haben es im Bereich der Industrieversicherungen mit sehr komplexen Vertragswerken zu tun und mit sogenannten Bedingungswerken, das ist das Kleingedruckte, was praktisch hinten an einem Vertrag dran ist, was häufig individuell ausgehandelt wird und ist aber, wenn man es wieder abstrakt betrachtet, auch nur zehn, zwanzig Seiten engbedrucktes Papier mit Abschnitten, die sich bestimmten Thematiken widmen, wie ist der Schadenfall definiert, was ist eingeschlossen, was ist ausgeschlossen, etc.

Kann man, wenn man eine KI nutzen möchte, um einen Überblick von solchen Bedingungswerken zu bekommen oder um sie zu vergleichen, ähnlich wie die Parteiprogramme, bleibt dann nur der Weg, weil es eine völlig fremde Domäne ist verglichen mit Ihrer ursprünglichen, komplett neu noch einmal zu trainieren, also wieder mit 15.000 Beispieltexten, einem Werkstudenten oder einer Werkstudentin zu trainieren, oder gibt es Möglichkeit, einer vortrainierten KI dieses neue Wissen sozusagen auf andere Weise beizubringen? Wie muss man sich das vorstellen?

 

Christoph Pfeiffer: Die Frage ist, was möchte man damit am Ende erreichen. Wenn ich sage, ich möchte einfach schnell einen Vergleich haben, wie ähnlich oder wie unterschiedlich sind bestimmte Bedingungswerke, könnte ich unser bestehendes Modell dafür verwenden durchaus. Wenn ich sage, ich möchte genau hineingucken, habe vielleicht auch vordefinierte Elemente, die in einem Vertragswerk vorhanden sind oder nicht, und möchte dementsprechend die gleichen Elemente in verschiedenen Werken miteinander vergleichen, macht das sehr wahrscheinlich Sinn, erst einmal einen Schritt zurück zu machen, zu gucken, was ist die Ontologie, wie wir das auch gemacht haben, was sind bestimmte Elemente, die in einem Vertrag vorkommen und wie unterscheiden sich wiederum diese einzelnen Elemente?

Also was sind bestimmte Unterelemente in diesen Bereichen? Damit habe ich die Voraussetzung geschaffen, um einen sinnvollen Vergleich herzustellen. Ich bin da jetzt nicht so sehr in dem Thema drinnen, aber da kommt es wirklich auf Formulierungen an, auf bestimmte Abdeckungen und da ist die Frage, sind die enthalten oder nicht und da müsste man auch wahrscheinlich nachgucken können, wie ist die genaue Formulierung, wie ist die andere Formulierung. Die müssten gegenübergestellt werden. Für einen schnellen Vergleich könnte man direkt auch unser Modell dafür anwenden. Wenn man es weiterdenkt und sagt, ich möchte jetzt vielleicht dem Makler helfen, um diesen Vergleich schneller durchführen zu können, dann muss man natürlich genau schauen, was sind die Elemente in diesem Bedingungswerk, wie unterscheiden die sich und welche Funktionalität muss am Ende bereitgestellt werden. 29:59

 

Ansgar Knipschild: Wo es bei mir beim Lesen Ihres Artikels klick gemacht hat, war die Grafik, die wir gerade versucht haben, hier einmal textlich herüberzubringen. Ich bin wieder bei den Punkten mit den Parteien, wie die in einem Koordinatensystem drin sind. Einen Anwendungsfall, den Sie gerade zurecht angefragt haben, wäre es Maklersicht, er erhält verschiedene Angebote von Versicherern für seinen Kunden mit verschiedenen Bedingungswerken und möchte jetzt für den Kunden einmal ganz plakativ eine Übersicht haben, wie unterschiedlich sind diese Bedingungswerke. Da hat es bei mir klick gemacht. Das ist eigentlich genau das Gleiche wie bei den Parteiprogrammen.

Ich möchte nachher sechs, sieben Punkte, es sind vielleicht sechs, sieben Versicherer, die man angefragt hat, auf meiner Matrix haben und möchte sehen, dass Versicherer A recht nah bei Versicherer B ist. Da ist jetzt erst einmal nur die Aussage drin, sind relativ ähnlich. Aber dann gibt es noch Versicherer C, der ist in einer ganz anderen Ecke. Der scheint, rein was das Bedingungswerk angeht, im wahrsten Sinne des Wortes aus einer ganz anderen Ecke zu kommen, also etwas ganz Anderes, für diesen schnellen Überblick. Das habe ich gerade von Ihnen gelernt, Herr Pfeiffer, das müsste sogar mit der aus einer ganz anderen Domäne trainierten KI möglich sein.

 

Christoph Pfeiffer: Ja. Also es müsste möglich sein. Jetzt sind natürlich juristische Texte noch einmal etwas ganz Anderes. Da ist der Unterschied noch größer als zwischen Management-Strategie und Parteiprogrammen als von Management-Papieren und rechtlichen unterlagen. Da ist der Unterschied wahrscheinlich am größten, aber man muss es einfach einmal ausprobieren und gucken, wie sich die Ergebnisse darstellen und letztendlich auch mit dem Anwender sprechen. Wer wäre der Bedarfsträger und was braucht der am Ende, um Nutzen aus der Anwendung zu ziehen? Das ist vielleicht der Scham, aber in gewisser Weise auch der Nachteil von dieser abstrakten Darstellung. Das heißt, ich sehe, die Vertragswerke sind sich ähnlich oder die sind sehr unterschiedlich, ich weiß aber erst einmal nicht, worin sie sich unterschieden. Die Info wäre vermutlich sehr wichtig für den Makler oder wer immer die Verträge vergleicht.

 

Ansgar Knipschild: Na klar. Das eine wäre der erste Schritt, einfach einmal die Übersicht, und dann will man vermutlich hereindrillen, also besser verstehen, was passiert, und dann kommen wir zu Ihrem zweiten Vorschlag, den Sie gemacht haben, Herr Pfeiffer, dann bräuchte aber wahrscheinlich eine besser trainierte KI oder eine mit Beispieldaten trainierte KI, wo man dann nach diesen Klassifizierungen, ich nehme noch einmal die Zahl 2030 zum Beispiel, sagt, wie ist die Ähnlichkeit in Bezug auf Ausschlüsse. So heißt es im Versicherungstext, weil man bestimmte Schadensfälle ausschließt. Ist da eine höhere Deckungsgleichheit bei dem einen zum anderen oder beim dritten Versicherer und dann könnte man das ein bisschen breiter ausspezifizieren.

 

Christoph Pfeiffer: Genau.

 

Ansgar Knipschild: Sehr spannend. Meiner Meinung nach geht es bei der Beschäftigung mit diesem Thema KI-Unterstützung von, ich nenne es noch einmal so abstrakt, längeren, unstrukturierten Texten darum, nicht die Arbeit in dem Fall von dem Makler komplett zu ersetzen, sondern ihm eine Hilfestellung zu geben. Wenn ich das wirklich im Arbeitsalltag sehe, ich bekomme zwanzig Seiten Papier mal sieben, für sieben Versicherer, und ich muss da komplett durch, dann werde ich als Mensch sehr wahrscheinlich einmal schnell darüber scrollen, vielleicht mit einem Textmarker, ob elektronisch oder im Papier mir meine Marker dransetzen, um irgendwie einen Überblick zu kriegen. Dann muss ich tiefer herein und wahrscheinlich auch im Kundengespräch verstehen, wo hat der Kunde für diesen Versicherungsfall vielleicht seinen Schwerpunkt. Durch dieses Dickicht, durch diese Vielzahl von Informationen geleitet zu werden und das vielleicht mit einer technischen Unterstützung kann sehr hilfreich sein. Also wirklich die KI als Unterstützer, nicht als die Magic, die einem die Arbeit hier komplett abnimmt. Das wäre wirklich recht utopisch, gerade in diesem juristischen Umfeld, was Sie gerade gesagt haben. Oder wie schätzen Sie das ein?

 

Christoph Pfeiffer: Sehe ich genauso. Gerade aktuell ist es eher eine Unterstützung. Das heißt, man kann dem Makler die Arbeit erleichtern. Die KI liest auch sehr genau. Als Mensch, wenn man sich fünfmal zwanzig Seiten angucken muss, man screent eher. Man schaut sich das auch. Gut, mit viel Erfahrung weiß man, wo die wichtigen Passagen stehen, aber es ist natürlich unglaublich schwierig, so viel Text genau zu lesen. Da hat natürlich die Maschine ihren Vorteil. Die wird nicht müde, die kann immer genau nachschauen. Es wäre nicht nur eine Arbeitserleichterung, es könnte auch durchaus noch einmal die Qualität des Vergleiches verbessern.

 

Ansgar Knipschild: Mir kam noch eine Detailfrage, die ich gerade noch einmal nachschieben wollte. Wenn ich mir einen Textabschnitt einmal anschaue, das wird bei den Parteiprogrammen wieder ähnlich sein wie bei den Bedingungswerken, und dort steht zum Beispiel bei dem einen der Satz, „Eingeschlossen sind Feuer- und Wasserschäden innerhalb des Produktionsbereichs“, ich habe gerade einmal einen erfundenen Satz genommen, bei dem anderen steht, „Nicht eingeschlossen sind folgende Schäden:“, und dann kommen die gleichen Substantive, ist eine KI so schlau, dass die merkt, dass das hier wirklich total unterschiedlich ist, also wirklich die konträre Aussage hat? Vielleicht wäre das bei den Parteiprogrammen, „Wir sind für die Stärkung die CO2-Reduktion“, und die anderen, „Wir sind die gegen die CO2-Reduktion“, aber das Thema CO2, Klima und so weiter steht als Wort überall fünfmal drinnen. Kann man das von einer KI verlangen oder ist das genau so ein Punkt oder ein Beispiel, wo man sagt, genau da muss man immer im Detail einmal nachschauen?

 

Christoph Pfeiffer: Das ist natürlich die große Schwierigkeit bei Sprache, dass man ein Wort ändert und sich der Sinn komplett ändert. Klar, das sind aber auch die Fortschritte, die es gab bei den KIs, dass wirklich mehr und mehr Sprache verstanden wird. Wir hängen bei der KI-Entwicklung im Bereich Sprache noch etwas hinterher, also man ist in anderen Bereichen, Audio oder bei Bildern so weit, dass die KIs mehr verstehen als der Mensch, aber bei der Sprache ist es noch so, dass wir noch nicht beim menschlichen Verständnis angekommen. Aber es passiert gerade sehr viel da. GPT-3 als Schlagwort. Ich weiß nicht, wem das ein Begriff ist, aber da wurde mit riesigem Aufwand ein Sprachmodell trainiert mit vielen, vielen Terabyte Daten und vielen hundert Millionen Dollar Kosten und es tut sich sehr viel da bei der Sprach-KI. Die Modelle, die wir verwenden im Bereich Transformer Learning, Deep Learning, da sind alles Modelle, die waren in der Form vor drei, vier Jahren noch nicht verfügbar. 37:05

 

Ansgar Knipschild: Okay. Wenn man das einmal so hört, den Aufwand, den zum Teil auch die amerikanischen Unternehmen, die Chinesen sind da auch sehr aktiv, betreiben, Datenmengen, Speichermengen, und das jetzt einmal zum Beispiel auf unser Segment, die Industrieversicherung, überträgt, dann drängt sich die Frage auf, ist eigentlich eine Aufgabe, wenn es um automatische Analyse oder Vergleichbarkeit von bestimmten Texten, Belegungswerken geht, die ein Marktteilnehmer alleine stemmen kann? Versicherer oder Makler? Wahrscheinlich nicht, würde ich einmal direkt als rhetorische Frage hinterherschieben. Vielleicht einmal eine Frage an Herrn Eckert, kennen Sie das aus anderen Bereichen? Macht es da vielleicht Sinn, dass sich hier Industrien zusammenschließen und sagen, lass uns eigene Datenmodelle hier generieren, über die wir auch die entsprechende Hoheit haben, dann gemeinsam davon partizipieren. Ist das die Richtung, in die wir da vielleicht gehen sollten?

 

Heiko Eckert: Die Frage ist ziemlich vielschichtet. Trauen sich Unternehmen über wirklich sensible Bereiche in der Zusammenarbeit zu gehen und dort gemeinsam etwas zu entwickeln, insbesondere wenn man jetzt immer mehr das Thema Datenschutz, Datensicherheit fokussiert? Erst am Wochenende ist wieder (unv.)-Protokoll eine Warnung herausgegangen, dass es Lücken gibt und man angreifbar ist. Die Firmen stehen noch sehr am Anfang, was das Thema AI und Machine Learning, insbesondere in Deutschland, anbelangt.

Da sind sie vielleicht in anderen Ländern schon deutlich weiter. Wichtig wäre, einmal mit dem Thema zu beginnen und vielleicht wäre es ein Ansatz, um die Investitionen geringer zu halten und auch vielleicht die relevanten Datenmengen zusammenzutragen, wenn sich ein, zwei Unternehmen zusammenschließen und schauen, ob sie da etwas entwickeln können. Man muss sich auch überlegen, bis wohin denn eigentlich. So ein Modell ist relativ schnell entwickelt und einmal getestet. Wenn man das vergleicht, wenn es darum geht, das Modell in ein fertiges Produkt zu integrieren, das ist noch einmal ein ganz anderer Schritt und vielleicht könnte man da eine Trennung erzielen und sagen, man versucht, es in einem Gemeinschaftsprojekt zu entwickeln, zu testen und überlegt sich dann, wie kann das zur Markt- oder Produktreife gebracht werden.

Ist das etwas, was jede Versicherung beispielsweise für sich macht oder gründet man ein Joint Venture und vertreibt das gemeinsam oder man schaut sich generell im Umfeld sozusagen der AI um. Es gibt viele spezialisierte Anbieter, das ist ein eigenes Geschäftsmodell, die eine hochspezialisierte KI entwickelt haben und Industrieversicherer oder andere werden dann Kunden dieses Unternehmens.

 

Ansgar Knipschild: Das finde ich eigentlich einen interessanten Vorschlag, den Sie da gerade andenken. Also die Trennung von Daten, Modell und Produkt, so habe ich es gerade verstanden. Das ist ein bisschen das, was beim GPT-3 von der Firma OpenAI in meiner Interpretation auch gemacht wird. Vielleicht noch einmal für die Zuhörer: Das GPT-3 ist eine künstliche Intelligenz, eine AI, die vor allen Dingen Texte generieren kann. Das kann auch durch die Presse, dass man mit relativ wenig Textinhalten, ein zwei Sätze Input, quasi beliebig lange Texte generieren lassen kann in einer bestimmten Tonalität.

Künstliche Redaktionstexte, bis hin sogar zu Kurzgeschichten, weil quasi das gesamte Internet an Text, ich vereinfach das einmal dramatisch, als Grundlage schon in dem System drin ist. Aber OpenAI stellt im Kern nur das Modell zur Verfügung. Produkte daraus, was mache ich damit, stelle ich das einer Redaktion zur Verfügung, die damit Texte generiert, stelle ich das jemand anderem zur Verfügung, um es als Service anzubieten, Microsoft ist ein Lizenznehmer, der das in seiner Produktpalette mit anbietet, da könnte man eine Trennung, um, übertragen auf Industrieversicherungen, das so zu denken, die Branche erstellt die Modelle und betreibt die Modelle gemeinsam, aber das, was man damit macht, bleibt den Partnern einzeln übertragen, wie es in die Software der jeweiligen Unternehmen eingebaut wird oder einen Dritten. Das könnte ein Modell sein.

 

Heiko Eckert: Richtig, das könnte ein Modell sein und es könnte es auch die Aufwände und die Investitionen sozusagen in Zaun halten, weil dieser erste Part natürlich sehr abgegrenzt ist und man mit überschaubaren Mitteln zu guten Ergebnissen kommen kann. Die Integration in die eigene Dienstleistung, in die Produktlandschaft, das ist noch einmal eine andere Herausforderung, die nicht zu unterschätzen ist.

 

Ansgar Knipschild: Mir kommt gerade noch eine fachliche Idee oder Interpretation von dem, was Sie sagten. Sie sagten, dass Sie bei der Analyse der Parteiprogramme die langen PDFs, die zwanzig, dreißig Seiten, erst einmal in Abschnitte zerlegt haben. Richtig, oder?

 

Christoph Pfeiffer: Genau, ja.

 

Ansgar Knipschild: Wenn ich das wiederum auf die Branche übertrage, könnte es bedeuten in so einem Konsortium, stellt bitte einmal Absatzweise die Abschnitte aus euren Bedingungswerken zur Verfügung. Denn, wenn ich die aus dem Kontext löse und wenn das nur die AI interessiert für das Learning, verschwindet sozusagen auch das Intellectual Property der einzelnen Firmen, wenn man so möchte, weil isoliert der eine Absatz, „Sind Brandschäden (unv.)“, ist eigentlich wertlos. Es ist eigentlich die Zusammensetzung von zwanzig, dreißig solcher Passagen, die das Produkt oder den Vertrag aus Versicherer-Sicht ausmacht und die Einzigartigkeit. Vielleicht könnte das ein eleganter Weg sein, zu sagen, auch zum Thema Datenschutz, Intellectual Property und ich möchte nicht mein Wissen mit dem Wettbewerb teilen, dass man es einfach atomisiert, kleinhackt und das hineingibt. Beim technischen Verständnis, wie ich es von Ihnen gelernt habe, müsste das gehen, oder?

 

Christoph Pfeiffer: Das müsste gehen, ja. Das ist wirklich eine interessante Fragestellung, auch spieltheoretisch: Wie kann ich verschiedene Akteure dazu bringen, zu kooperieren, wenn der Vorteil am Ende geteilt wird? Es muss klar sein für die Unternehmen, ich teile meine Daten, ich stelle meine Daten bereit und was habe ich dann am Ende für einen Vorteil? Das Problem gibt es immer wieder bei Machine Learning Fragestellungen, zum Beispiel bei Kartellen. Kartellanalysen sind ein spannendes Thema, wo man AI und statistische Verfahren anwenden kann und da ist es eine ähnliche Ausgangslage. Alle Unternehmen haben ihre Daten und es ist relativ schwierig, an gute annotierte Datensätze zu kommen, in denen Kartelle identifiziert sind. Da könnte man auch darüber nachdenken, gibt es eine Möglichkeit, einen Anreiz zu schaffen für die Unternehmen, dass sie bereit sind, ihre sehr sensiblen Einkaufsdaten zu teilen, damit ein gemeinsames Machine Learning Modell entstehen kann?

Diese Fragestellung taucht immer wieder auf. Ich würde in diesem konkreten Fall sagen, es könnte durchaus sinnvoll sein für einen einzelnen Makler, einmal anzufangen. Man muss sich auch nicht erst einmal ausschließlich auf Machine Learning versteifen. Man könnte sagen, ich fange erst einmal mit regelbasierten Verfahren an und gucke, was kriege ich da für Ergebnisse. Wenn ich mit dem regelbasierten Verfahren schon erste Ergebnisse habe, kann ich schneller die verschiedenen Inputdaten klassifizieren, kann schneller eine Trainingsdatenbank aufbauen und so weiter. Am Ende hängt es davon ab, ähnlich wie bei den Koalitionsverhandlungen auch. Jetzt haben wir die Ampelkoalition, das war ehrlicherweise nicht unsere Prognose ausgehend von der Einigungsschwierigkeit, die wir gesehen haben zwischen diesen drei recht unterschiedlichen Parteien. Was man gesehen hat, wenn der Wille zur Einigung da ist, gibt es am Ende auch eine Einigung.

Wahrscheinlich ist es in diesem Fall ähnlich. Wenn man jetzt mehrere Unternehmen finden würde und die wären wirklich gewillt und ausreichend motiviert, so ein Modell zu entwickeln, dann ist es durchaus möglich. Man muss sehen, es gibt relativ schwierige Abstimmungsherausforderungen, die noch gelöst werden müssten vorher. 46:38

 

Ansgar Knipschild: Da kommen wir ein bisschen in den Bereich, der im Kontext von GAIA-X auch diskutiert wird. Ich will das hier gar nicht groß vertiefen, aber es gibt dort einige Initiativen, wo versucht wird, ein europäisches Gegenwicht zu bieten, unter anderem auch im Verwalten, Speichern und Betreiben von Modellen. Das ist nur ein Aspekt, wo genau diese gleichen Themen, die wir gerade anfangen zu diskutieren, auch im Raum stehen, wie kann das Teilen von Daten in einem recht sicheren Raum nach europäischen Standards geliefert werden. Dieses Thema, wie geht man mit Daten um, Datenhoheit, wem gehören welche Daten, wie können Daten geshared werden, ist aus vielerlei Perspektiven sicherlich ein Thema, was uns auch in den nächsten Jahren noch begleiten wird, wie man das handelt. Gibt es nicht auch schon Techniken, bei denen man mit anonymisierten Daten AI trainieren kann? Ich meine, das einmal irgendwo wahrgenommen zu haben. Gibt es da nicht so etwas? Wissen Sie das? Frage an Herrn Pfeiffer.

 

Christoph Pfeiffer: Das ist natürlich möglich. Die Elemente, die herausgefiltert werden müssten für eine Anonymisierung, sind meistens nicht relevant für das Machine Learning Modell. Von daher kann man durchaus auch mit anonymisierten Daten arbeiten. Eine Fragestellung, die öfter einmal auftaucht, ist: Wie kann ich Namen herausfiltern? Wenn ich zum Beispiel Umfragen mache in Unternehmen und da tauchen häufiger, auch wenn vorher gesagt wird, bitte keine Namen hineinschreiben, tauchen immer wieder bestimmte Namen auf und die Namen will man natürlich nicht in den Auswertungen drin haben. Die kann man vorher aber weitgehend automatisiert herausfiltern.

 

Ansgar Knipschild: Okay, spannend. Wir haben jetzt einen sehr tiefen Einblick einmal in die Welt der AI und künstlichen Intelligenz bekommen, an einigen Stellen auch schon etwas technischer oder mathematischer. Ich fand es sehr interessant, habe eine Menge gelernt, wie eine solche KI funktioniert. Vielleicht an der Stelle auch an die Zuhörer der Aufruf: Wenn das für Sie ein spannendes Thema ist, wenn es hier vielleicht wirklich die Gelegenheit gäbe, dass sich einmal ein paar interessierte Makler oder Versicherer zusammentun, um einmal, vielleicht am Anfang auch experimentell, dieses Thema einmal zu starten, würden wir uns über Rückmeldungen freuen. Vielleicht kann man hier, wie die Kollegen vorgeschlagen haben, einmal im ganz Kleinen beginnen, um hier einmal solche Modelle gemeinsam zu bauen, um daran gemeinsam zu lernen. Herr Pfeiffer, Herr Eckert, vielen, vielen Dank, dass Sie sich die Zeit genommen haben und uns das hier auch für die technischen Laien so geduldig erklärt. Es war wirklich sehr erhellend. Vielen Dank und ich hoffe, wir sprechen uns demnächst hier noch einmal wieder.

 

Christoph Pfeiffer: Sehr gerne. Ganz vielen Dank.

 

Heiko Eckert: Sehr gerne.

 

Ansgar Knipschild: Tschüss.

 

Christoph Pfeiffer: Tschüss.