Fehlgeneralisierung von Zielen

Intelligente System können unbemerkt die falschen Ziele lernen, und sich so außerhalb ihrer Trainings-Umgebung unvorhergesehen verhalten.

Instrumentelle Konvergenz

Intelligente Individuen haben einen Anreiz instrumentelle Ziele zu verfolgen, die für eine breite Palette an Endzielen nützlich sind.