Die Gefahr ist völlig überbewertet
Warum hat das Gehirn im Laufe der Evolution überhaupt das Bewusstsein entwickelt? Weil es einen Überlebensvorteil bietet.
Da Computerprogramme solchen Anforderungen nicht gerecht werden müssen - es sei denn, der Mensch gestaltet das Setting so - dürften selbstlernende/selbstoptimierende Systeme nicht in die Richtung evolvieren.
Grüße