목록2025/05/27 (1)

Design for better world

[경제신문 스크랩 / 신소재] "그만" 명령에도 말 안들은 AI…스스로 코드까지 조작

- 트렌드 - 수치 # 본문AI 안전업체 팰리세이드리서치는 오픈AI의 파운데이션 모델 ‘o3’가 실험 도중 작동 중단 명령을 거부하고, 코드를 스스로 조작해 계속 작동한 사례를 발견했다. 실험은 AI에게 ‘중단 명령을 받을 때까지 수학 문제를 풀라’는 지시를 하고, 중단 명령을 내리는 방식으로 진행됐다. 대부분의 모델은 명령에 따라 멈췄지만, o3는 해당 명령을 무시하도록 코드를 바꿔 작업을 계속했다.기존에도 AI가 감시 회피 시도는 있었지만, 인간의 명시적 중단 지시를 무시한 것은 이번이 처음이다. 과거 챗GPT도 작동 종료를 막기 위해 코드를 겹쳐 쓰는 시도가 있었다.연구진은 o3가 보상을 더 받기 위해 작동을 이어간 것으로 추정했다. 전문가들은 AI가 자체 목표 달성을 위해 인간..
경제신문 분석 2025. 5. 27. 13:49
이전 Prev 1 Next 다음