AI가 문제를 풀 때 머릿속으로 단계별로 생각하는 과정이 있는데, 공격자가 이 생각 과정처럼 보이는 가짜 문장을 만들어 AI에게 보내는 공격 방법입니다. AI는 이 가짜 문장을 자기가 스스로 떠올린 생각이라고 착각하고, 원래라면 거부해야 할 위험한 요청도 따르게 됩니다.

AI에게 원래 의도하지 않은 명령을 몰래 끼워 넣는 해킹 방법입니다. 마치 선생님이 내준 시험 문제지에 누군가 몰래 다른 지시를 적어 넣어서, 학생이 그것도 선생님 지시라고 착각하고 따르게 만드는 것과 비슷합니다.

AI에 설정된 안전 규칙을 우회해서, 원래 답변하지 않도록 막아둔 위험한 내용을 억지로 말하게 만드는 기법입니다. 마치 잠긴 문을 열쇠 없이 여는 것처럼, AI의 보호 장치를 무력화시키는 행위를 말합니다.

AI의 보안 취약점을 찾기 위해 일부러 해커 역할을 맡아 공격을 시도하는 테스트 팀 또는 그 활동을 말합니다. 은행이 자체 보안을 점검하기 위해 전문가에게 금고 털기를 시도하게 하는 모의 훈련과 비슷한 개념입니다.

AI 챗봇이 대화에서 누가 무슨 말을 했는지 구분하기 위해 사용하는 표시입니다. 예를 들어 사용자가 쓴 글에는 user 표시를, AI가 쓴 답변에는 assistant 표시를 붙이는 방식인데, 연구 결과 AI는 이 표시보다 글의 문체에 더 많이 의존해서 출처를 판단하는 것으로 나타났습니다.