Unter dem Titel “Wie sich künstliche Intelligenz übertölpeln lässt” firmiert eine grundsätzliche Kritik an neuronalen Netzwerken:

aus https://www.nzz.ch/meinung/wie-sich-kuenstliche-intelligenz-uebertoelpeln-laesst-ld.132...
- Laut Ronen ist die vorherrschende Einschätzung die, dass diese Technik «im Grossen und Ganzen ‹schwarze Magie›» ist. «Wir wissen, dass es funktioniert, aber wir verstehen nicht, warum.»
… Warum ist es überhaupt wichtig, in die Blackbox hineinzuschauen?
… Zunehmend wird KI in Bereichen eingesetzt, in denen Fehler unverzeihlich sind.

Nicht nur sondern auch im Zshg. mit dem Strassenverkehr und Deinem Scheiben-Gegenlicht-Beispiel ist zu berücksichtigen:

- Es hat sich nun aber gezeigt, dass sich neuronale Netzwerke leicht übertölpeln lassen.
… Die künstlich intelligente Software ist wie ein Idiot savant manchmal zu Spitzenleistungen fähig, manchmal abgrundtief dumm.

Die beispielhaft erwähnten KI-Tests sind aus menschlicher Sicht mehr als beunruhigend, aus Herstellersicht müssten sie aber auf Jahre hinaus ein juristisches NoGo bleiben.
Nun kann man einwenden, man werde das im Laufe der Entwicklung in den Griff kriegen, lässt dabei aber unberücksichtigt, dass nebst “unmotivierten” natürlichen Problemen eben jene dazu kommen, mit denen die PC-Welt fast von Beginn weg konfrontiert ist: absichtliche Manipulationen durch Menschen, denen ein Virus, Trojaner und wie die Dinger alle heissen ein Anliegen sind, insbesondere wenn Firmware-Updates über plusminus offene Netzwerke erwünscht sind.

Die unheimliche Leichtigkeit des Seins der Computerwelt, in der Kunden zu Dummies erzogen wurden, lässt sich aus Gründen der Haftpflicht nicht einfach auf verantwortliche Systeme übertragen. Selbst wenn Exekutiven und Legislativen grosszügig walten, werden sich am Ende Judikativen mit dem Ruin ganzer Unternehmen zu befassen haben und die überleben, sich mit einem angepassten Konsumentenverhalten. So wie im von @mg-ing verlinkten Artikel über die Evolution von Verbrennern und Atomautos im Kampf gegen Wirbelstürme und Blizzards.

Die Amis auf Kurs
Grüsse
kosh

--
PS: Man tut was man kann und man kann was man tut.