AI가 스스로를 더 똑똑하게 만들고, 그렇게 똑똑해진 AI가 다시 자신을 개선하는 과정이 반복되는 것을 말합니다. 마치 공부를 잘하는 학생이 더 좋은 공부법을 스스로 만들어내고, 그 공부법으로 더 빨리 성장하는 것과 비슷합니다. 이 과정이 계속되면 발전 속도가 걷잡을 수 없이 빨라질 수 있어 우려의 대상입니다.

비상 상황이 발생했을 때 AI 시스템을 즉시 멈출 수 있는 안전장치를 의미합니다. 공장에서 위험할 때 누르는 비상 정지 버튼과 같은 개념입니다. AI가 예상치 못한 위험한 행동을 할 경우 사람이 강제로 작동을 중단시킬 수 있도록 하는 것입니다.

특정 작업만 잘하는 현재의 AI와 달리, 사람처럼 다양한 분야의 문제를 스스로 이해하고 해결할 수 있는 수준의 AI를 말합니다. 지금의 AI가 한 과목만 잘하는 학생이라면, AGI는 모든 과목을 사람 수준으로 잘하는 학생에 비유할 수 있습니다.

회사 내부에서 위험하거나 불법적인 일을 외부에 알린 직원이 해고나 불이익을 당하지 않도록 법으로 보호하는 제도입니다. AI 개발 회사에서 안전 문제를 발견한 직원이 두려움 없이 이를 사회에 알릴 수 있도록 하는 것이 목적입니다.