KI kann besser lesen als Menschen?!?

[Olaf]

Wir hatten vor wenigen Wochen die Diskussion, ob Programme mit künstlicher Intelligenz (KI) eines Tages lesbare Bücher schreiben könnten (http://montsegur.de/ipb-forum/index.php/topic/21526-harry-potter-ex-machina-herrlich-grandioser-mist/).

 

Hier kommt nun eine Meldung, bei der es in die andere Richtung läuft: Wenn eine KI 500 Artikel aus der Wikipedia liest, kann sie anschließend inhaltliche Fragen dazu besser beantworten als jeder Mensch (

 

Hmm, da stellen sich natürlich für die skeptische Kohlenstoff-basierte Lesensform einige Fragen: 

- Wie sehr darf man bei dieser Aufgabe von einem echten Textverständnis sprechen? 

- Welchen Anteil am Erfolg hat anstelle von Textverständnis die einfachere Fähigkeit, sich Unmengen von Einzelinfos schlicht zu merken? 

- Und wann hat mein blöder Computer endlich das Buch ausgelesen, sodass ich es haben kann?

 

Ich frage gleich mal bei meinem Verlag nach, ob er Interesse an einem Buch hat, das speziell für die Zielgruppe Computer geschrieben ist. Dann stürze ich mich sofort auf den neuen Markt! Oder lasse ich mein Notebook die Texte schreiben?     

[Christa]

Mir fehlte dazu noch ein Link - von den drei gefundenen von gestern nehme ich mal den von Heise online.

https://www.heise.de/newsticker/meldung/KI-kann-besser-lesen-als-Menschen-3942209.html

 

Man könnte jetzt schnell zu den gleichen Schlüssen kommen wie in der Diskussion über schreibende Roboter: 

Der lesende Computer kann die Informationen aus Wikipedia und anderem viel schneller verarbeiten und Antworten geben als

ein Wesen mit grauen Zellen. Aber er kann keine feineren Nuancen erkennen. Dahinter steckt offensichtlich eine riesige gesellschaftliche Entwicklung (es ist sogar von quantenmäßig die Rede!) mit allen ihren Konsequenzen. Roboter könnten als Bankberater und Museumsführer eingesetzt werden (dagegen spricht sich schon ein Bischof aus, der meint, die Menschen würden versklaven, die Herrschaft der Algorithmen wäre "eine Entmenschlichung unserer Kultur".)

 

Auf Autoren und Verlage bezogen könnte man das so durchspielen: Schreibende Roboter können beiden lästige Arbeiten abnehmen.

Zum Beispiel Informationen zusammentragen und Antworten dazu entwickeln. Alles darüber hinaus wäre Quatsch. Denn wenn man Maschinen zum Schreiben von Texten, für Übersetzungen, Lektorate, Korrektorate und anderes einsetzt, hätte man zwar Geld gespart und es würde sich niemand über mangelnde Wertschätzung beklagen  , aber es wäre auch niemand da, der diese Produkte schätzen würde. Im Umkehrschluss braucht man nicht mal anzudenken, dass Computer als Leser je irgendeine Bedeutung haben könnten. Denn was sie sich einverleiben, kommt ja niemandem zugute. Und zahlen würden sie für die Bücher, die sie lesen, schon mal gar nicht.

Bearbeitet 17. Januar 2018 von Christa

[DirkH]

Interessant wäre die Frage nach der Möglichkeit von KI quellenkritisch zu arbeiten. Informationen aufnehmen, daraus etwas auswählen und wiedergeben .... ja, gut, das wundert mich jetzt nicht, dass KI das kann. Aber gerade im Hinblick auf eine redaktionsfreie Quelle wie "Wikipedia" wäre es doch spannend zu erfahren, ob KI die Informationen daraus auch bewerten und an Schwachstellen überprüfen kann. 

[Christa]

Da hätten wir wieder eine Mangelerscheinung der KI, Dirk: Kann sie überhaupt ​kritisch sein?

 

Die 101 Kommentare, die seit gestern zu dem Artikel eingegangen sind, konnte ich überhaupt noch nicht lesen. Nur die Überschriften sind schon lustig: "Die sollten dem mal ein Buch von Karl Marx geben", oder "Verblödung zum Quadrat".

[Ramona]

Hier kommt nun eine Meldung, bei der es in die andere Richtung läuft: Wenn eine KI 500 Artikel aus der Wikipedia liest, kann sie anschließend inhaltliche Fragen dazu besser beantworten als jeder Mensch (

 

Hmm, da stellen sich natürlich für die skeptische Kohlenstoff-basierte Lesensform einige Fragen: 

- Wie sehr darf man bei dieser Aufgabe von einem echten Textverständnis sprechen? 

- Welchen Anteil am Erfolg hat anstelle von Textverständnis die einfachere Fähigkeit, sich Unmengen von Einzelinfos schlicht zu merken? 

- Und wann hat mein blöder Computer endlich das Buch ausgelesen, sodass ich es haben kann?

 

Ich frage gleich mal bei meinem Verlag nach, ob er Interesse an einem Buch hat, das speziell für die Zielgruppe Computer geschrieben ist. Dann stürze ich mich sofort auf den neuen Markt! Oder lasse ich mein Notebook die Texte schreiben?   :   

 

Interessant wird es künftig dann wohl auch dort, wo es beim Textverständnis um Moral und Ethik im Sinne von "Menschlichkeit" geht, und das wiederum beim Erfassen von echten "Kontexten", also keine reine Prinzipienreiterei nach Paragraphen & Co. Da wäre dann neben menschlicher Weisheit so etwas wie KI-Weisheit gefragt.  

[Olaf]

Mir fehlte dazu noch ein Link - von den drei gefundenen von gestern nehme ich mal den von Heise online.

https://www.heise.de/newsticker/meldung/KI-kann-besser-lesen-als-Menschen-3942209.html

 

 

Danke, Christa! Genau den Link hatte ich eigentlich einbauen wollen, dann aber vergessen.    

[Ulf Schiewe]

Hier ist eine einfache Erklärung, wie Quantum-Computing funktioniert:

 

https://www.youtube.com/watch?v=S52rxZG-zi0

 

Verstanden?

 

Ich bin leider zu blöd. Ich kapier's nicht. Aber vielleicht sonst einer hier? 

[Christa]

Hier ist eine einfache Erklärung, wie Quantum-Computing funktioniert:

 

https://www.youtube.com/watch?v=S52rxZG-zi0

 

Verstanden?

 

Ich bin leider zu blöd. Ich kapier's nicht. Aber vielleicht sonst einer hier? 

 

Nö, das ist ja Hirnfolter für die grauen Zellen. Aber vielleicht versuchst du es mal mit der "Explanation for Dummies"?

 

Alles, was mein armes, dummes Hirn verstanden hat, war: Normale Computer funktionieren nach dem Prinzip "Trial and Error", Quantum-Computer machen alles auf einmal und können dadurch Passwörter knacken. Eine Münzvorderseite sei dasselbe wie ein Münzrückseite. Trial and Error ist ja eigentlich etwas typisch Menschliches, der Quantum-Computer soll dann da wohl drüberstehen.

Bearbeitet 17. Januar 2018 von Christa

[Ulf Schiewe]

Irgendwie angsteinflößend. 

[AndreasE]

Das kombiniert man einfach. Software, die Romane schreibt, die wiederum von der KI gelesen werden. Die kann man direkt zusammenstöpseln, dann sind die beschäftigt und wir können derweil in Ruhe was anderes machen.

 

Ich weiß echt nicht, wo das Problem sein soll.   

[Ramona]

[Christa]

AndreasE: 

 

Irgendwie angsteinflößend. 

 

Angsteinflößend finde ich es nicht, eher krass. Wahrscheinlich bauen die da einen Popanz auf, der die Welt beeindrucken soll.

Aber die Welt dreht sich weiter, und irgendwann kann man es unter peinliche Verluste abhaken.

Bearbeitet 18. Januar 2018 von Christa

[Ulf Schiewe]

Na stell dir vor, die könnten mit einem Quanten-Computer in Sekunden jedes Passwort knacken. Das finde ich schon beunruhigend.

[Manfred]

Schaut euch mal diese Schlagzeilen an:

 

(1) KI kann besser lesen als Menschen

https://www.heise.de/newsticker/meldung/KI-kann-besser-lesen-als-Menschen-3942209.html

 

(2) Microsoft creates AI that can read a document and answer questions about it as well as a person

https://blogs.microsoft.com/ai/microsoft-creates-ai-can-read-document-answer-questions-well-person/

 

 

Seltsam. Dabei zitiert Artikel (1) aus „heise“ den Artikel in (2), also dieselbe Studie.

 

(1) ist also eine Übertreibung der zitierten Quelle (2).

 

Und hier ist die Publikation, auf der alles basiert:

 

(3) SQuAD: 100,000+ Questions for Machine Comprehension of Text

Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, Percy Liang

 

http://arxiv.org/abs/1606.05250

 

Wenn ihr (3) lest, werdet ihr feststellen, dass beide Überschriften übertrieben sind.

 

Worum geht es? Die Autoren von (3) haben eine  Datenbank mit gut 100.000 Fragen zu gut 500 Textstücken (aus Wikipedia) und den richtigen Antworten erstellt.

 

Beispiel:

Text.    The main forms of precipitation include drizzle, rain, sleet, snow, graupel and hail.

Frage: What is another main form of precipitation besides drizzle, rain, snow, sleet and hail?
Antwort: graupel

 

 

Diese Datenbank kann verwendet werden, um Textverständnis zu testen – bezogen auf diese Wikipediatexte.

 

Dieser Testaufbau sieht auf den ersten Blick aus wie einer von vielen üblichen Tests von Sprachverständnis. Wenn also ein Computerprogramm etwa so gut abschneidet wie menschliche Probanden, fühlt man sich versucht zu folgern, dass das Programm so gut lesen kann wie Menschen (also wie in Schlagzeile (2)).

 

Diese Schlussfolgerung ist aber nicht zulässig.

 

Abgesehen davon, dass Menschen prinzipiell unendlich viele Texte und nicht nur eine bestimmte Auswahl verstehen können, liegt das Hauptproblem in der mangelhaften Validität des Tests.  (https://de.wikipedia.org/wiki/Validität)

In einem validen Test ist sicher gestellt, dass das Verfahren Zugriff auf genau die geistigen Vorgänge hat, die getestet werden sollen. Das ist hier aber nicht sicher gestellt. Es wird nur das Verstehen von sehr eingeschränkten Aspekten der Texte geprüft.  Menschliches Sprachverstehen umfasst weitaus mehr. Daher kann man aus dem numerischen Testresultat keine Gleichheit/ Überlegenheit des Systems gegenüber dem Menschen schließen. In den Schlagzeilen geht es daher wieder einmal um Marktgeschrei.

 

Das heißt aber nicht, dass die getesteten Systeme nichts verstehen. Das Internet ist ja voll von Informationen, und viele KI-Forscher sind bemüht, durch Sprachverstehen „intelligente“ Suchvorgänge zu ermöglichen. Zum Beispiele hier:

 

https://blogs.bing.com/search/2017-12/search-2017-12-December-AI-Update

 

Es geht hier aber um reine Informationsverarbeitung. Von da zur Literatur ist ein gigantischer Schritt. 

[Olaf]

Es geht hier aber um reine Informationsverarbeitung. Von da zur Literatur ist ein gigantischer Schritt. 

 

Will überhaupt eines der Forscherteams zur Literatur? Wer hätte denn etwas davon, wenn Computer Literatur verstehen? 

 

Ich kann mir gut vorstellen, dass die Sache mit dem Textverständnis vor allem ein Übungsfeld für KI ist. Wenn dabei noch sowas wie Informationsverarbeitung abfällt, ist das gut, aber letztlich kein großes Ziel. 

[Ulf Schiewe]

 

Beispiel:

Text.    The main forms of precipitation include drizzle, rain, sleet, snow, graupel and hail. 

Frage: What is another main form of precipitation besides drizzle, rain, snow, sleet and hail?

Antwort: graupel

 

Ich weiß nicht, ob das für diese Studie repräsentativ ist. Wenn ja, handelt es sich im Grunde um einen einfachen Listenabgleich. Dazu braucht man nicht einmal KI.

[AndreasE]

Wieder mal ein Beispiel, wie uns hysterische Journalisten mit alternativen Fakten versorgen … 

[Sandra_Ge]

Das kombiniert man einfach. Software, die Romane schreibt, die wiederum von der KI gelesen werden. Die kann man direkt zusammenstöpseln, dann sind die beschäftigt und wir können derweil in Ruhe was anderes machen.

 

Ich weiß echt nicht, wo das Problem sein soll.   

Genau das habe ich auch direkt gedacht! Perfekte Lösung - alle glücklich!

[Christa]

Ja, irgendwie scheint es um Marktschreierei zu gehen. Dabei geht mir auch Olafs Frage im Kopf herum : Wer hätte denn etwas davon, wenn Computer "besser" lesen können als Menschen? Und abgesehen davon, dass der Test nicht valide war, Manfred: Ich habe mal gehört, dass Forscher gerne Thesen so aufstellen, dass die gewünschten Ergebnisse darin schon enthalten sind, also bewiesen werden müssen. Es geht also um den internationalen Wettbewerb in der Weiterentwicklung von KI, und dabei fallen dann diese Blüten ab, die jeder versteht, also "Huch, jetzt können die schon besser lesen als wir."

 

@Ulf: Der Quantencomputer könnte Passwörter noch effektiver knacken als bisherige Hacker, die Spammails verschicken und auf sensible Systeme zugreifen. Ja, diese Vorstellung ist nicht so prickelnd.

[DirkH]

Wenn Computer lesen und das Gelesene verstehen könnten, könnten sie recherchieren. Das hätte gewiss seinen Reiz. 

[Manfred]

 

Es geht hier aber um reine Informationsverarbeitung. Von da zur Literatur ist ein gigantischer Schritt. 

 

Will überhaupt eines der Forscherteams zur Literatur? Wer hätte denn etwas davon, wenn Computer Literatur verstehen? 

 

Ich kann mir gut vorstellen, dass die Sache mit dem Textverständnis vor allem ein Übungsfeld für KI ist. Wenn dabei noch sowas wie Informationsverarbeitung abfällt, ist das gut, aber letztlich kein großes Ziel. 

 

 

Mir ist keine ernsthafte KI-Forschung bekannt, die versucht Literatur angemessen zu verstehen.

 

Wie der Link zu Bing zeigt, geht es vor allem um „intelligente Textsuche“ und darum, Wissen in großem Umfang aufzunehmen. Wer das kann, hat Zugriff auf extrem viel Information. Und diese Fähigkeit könnte man vielfach nutzen. Zum Beispiel finanziell, in der Forschung, polizeilich, geheimdienstlich, für geistigen Diebstahl ............

 

Dabei sind die KI-Forscher meist nicht diejenigen, die diese Motivationsmuster DIREKT vor Augen haben. Sie sind oft vorwiegend von ihren Entdeckungen und Entwicklungen begeistert – wie die meisten Forscher und Entwickler. Wie diese Instrumente eingesetzt werden, ist –wie bei allen Instrumenten - eine gesellschaftliche Frage. Offenbar besteht aber ein Problem darin, dass sehr viel Forschung, die entscheidende Auswirkungen auf die Gesellschaft haben kann (nicht nur in diesem Bereich, sondern auch z.B. in der Gentechnologie), für die Gesellschaft nicht in allgemein verständlicher Weise zugänglich ist, und Falschmeldungen wie die, über die wir hier sprechen, tragen zur Verwirrung und Verunsicherung bei. Guter Journalismus sollte hier das Gegenteil tun, nämlich komplexe Zusammenhänge verständlich und vorurteilsfrei präsentieren. Derartige Artikel könnte man schon zur Verleihung einen journalistischen Zitrone vorschlagen.

 

Inzwischen gibt es auf Heise online 107 Kommentare. Ich zitiere mal den von einem gewissen Starfisher:

starfisher

16.01.2018 22:42

Besser, als ein Mensch?

Wenn ein Mensch sich ernsthaft mit diesem Test unter dem Gesichtspunkt des Leseverständnisses befasst, dann ist alles andere als 100% ein trauriges Ergebnis. Da sind die Leseverständnistests im TOEFL deutlich anspruchsvoller, weil sie tatsächliches Verständnis und Folgern aus Zusammenhängen testen. Dieser Test hier fragt doch im wesentlichen einfache Fakten aus den Texten ab, meist solche, die sich aus einem einzigen Satz erschließen. Davon abgesehen ist allein das Frageset teilweise inhaltlich falsch. "Who was the leader of Russia in the 1960's?". Stupid Question! So Sad!

 

 

Das ist eben die Sache mit der mangelnden Validität des angeblichen Testverfahrens. Dazu äußeren sich auch andere Kommentare. Testpsychologie ist auch eine hoch komplexe Sache, und darin haben die Entwickler dieses Testverfahrens einfach verhoben.

 

Damit kann man aber die Arbeit der Entwickler nicht einfach auf den Müllhaufen werfen. Und das ist das fachjournalistische Problem hier. Denn: die Programme müssen tatsächlich Informationen aus Texten extrahieren. Und auch das ist komplex und interessant, und hier werden tatsächlich Fortschritte gemacht. Die Wege dahin sind so vielfältig, dass man sie nicht in ein paar Zeilen zusammenfassen kann. Es geht um Satzsemantik, lexikalische Semantik, Syntax, Weltwissen, Pragmatik, Textstrukturen und vieles mehr. Fast alle Teams arbeiten zunächst mit einer kleinen Teilmenge der anstehenden Fragestellungen und machen dabei auch Fortschritte, wie der Blog von Bing zeigt.

 

Der Weg von diesem Punkt zur Literatur ist sehr, sehr weit. Ich denke aber, dass wir gut beraten sind, besser zu verstehen, was genau in der KI da quasi nebenan passiert. Allerdings ohne Marktgeschrei.

[Christa]

Manfred: Danke für die Ausführungen - die werde ich erstmal sacken lassen.

 

Wenn Computer lesen und das Gelesene verstehen könnten, könnten sie recherchieren. Das hätte gewiss seinen Reiz. 

 

Wenn du aber eingibst: Wie fühlte sich Hannibal, als er mit den Elefanten die Alpen überquerte?, wird der Computer dir sagen:

Es war im Jahr 218 v. Chr., das Wetter war schlecht, und alle Elefanten haben überlebt. Das kann Google doch auch, und sowohl du als auch der Computer sind auf Mutmaßungen angewiesen.

Bearbeitet 18. Januar 2018 von Christa

[Ulf Schiewe]

Ich krieg aber was anderes, wenn ich " Wie fühlte sich Hannibal, als er mit den Elefanten die Alpen überquerte?" eingebe. Nur Links auf Webseiten, in denen das Wort Hannibal vorkommt.  Nicht so intelligent. 

[Ulf Schiewe]

Das ist genauso mit der "intelligenten" Werbung im Internet. Man kriegt nur das vorgesetzt, was man sich eh schon kürzlich angeschaut oder bereits online gekauft hat. 

[Ramona]

Wieder mal ein Beispiel, wie uns hysterische Journalisten mit alternativen Fakten versorgen … 

 

Das trifft es auf den Punkt.