당신의 AI 비서가 승인 없이 고객에게 이메일을 보내거나 중요한 파일을 삭제했다면, 누가 멈추고 누가 책임져야 할까?
잘못 쓴 문장은 고치면 된다. 하지만 이미 발송된 이메일이나 외부로 넘어간 정보는 수정 버튼만으로 되돌릴 수 없다. AI가 질문에 답하는 도구를 넘어 실제 업무를 수행하는 ‘에이전트’로 활용되면서, 안전을 판단하는 기준도 달라지고 있다.
이제 중요한 질문은 “얼마나 똑똑한가”에 그치지 않는다. 무엇을 실행할 수 있고, 잘못 움직일 때 누가 중단할 수 있는가까지 확인해야 한다.
답변의 정확도와 행동의 안전성은 다르다
AI 에이전트는 목표를 달성하기 위해 여러 단계를 계획하고, 연결된 도구를 사용하는 시스템을 말한다. 업무 환경에 따라 문서를 검색하거나 수정하고, 메시지를 보내거나 외부 서비스에 작업을 요청할 수 있다.
같은 AI라도 읽기 권한만 있을 때와 수정·삭제 권한까지 있을 때의 위험은 다르다. 구매 후보를 추천하는 기능과 실제 결제하는 기능 역시 구분해야 한다. 이는 특정 사고 사례가 아니라, 실행 권한에 따라 오류의 영향이 달라지는 구조를 보여주는 예다.
논리는 간단하다. 판단 능력이 같더라도 접근할 수 있는 정보와 실행 범위가 넓어지면, 한 번의 오류가 미치는 영향도 커질 수 있다. 따라서 정답률이나 처리 속도만으로 도입 여부를 결정하기는 어렵다.
OpenAI의 에이전트 안전 가이드도 외부 콘텐츠를 통한 지시 주입, 민감정보 유출, 도구 사용 과정의 위험을 다룬다. 안전은 모델의 답변 품질뿐 아니라 권한 설정과 승인 절차까지 포함하는 설계 문제라는 의미다.
편리함을 얻는 사람과 피해를 보는 사람은 다를 수 있다
기업이 자동화에 관심을 갖는 이유는 분명하다. 반복 업무를 줄이고 처리 시간을 단축할 수 있기 때문이다. 직원에게도 자료 정리와 일정 관리 부담을 덜어주는 도구는 매력적이다.
문제는 편익과 위험이 같은 사람에게 돌아가지 않을 수 있다는 점이다.
자동 발송된 잘못된 안내는 고객에게 혼란을 줄 수 있다. 부적절하게 공유된 문서는 동료나 거래처의 정보까지 노출할 수 있다. 업무 속도는 빨라졌지만, 오류를 설명하고 수습하는 부담은 현장 직원에게 집중될 수도 있다.
이 때문에 AI 통제는 개발 부서만의 문제가 아니다. 경영진은 허용할 업무 범위를 정해야 하고, 현장 담당자는 실제로 검토할 수 있는 시간과 정보를 확보해야 한다. 고객에게는 잘못된 자동 처리에 이의를 제기하고 사람의 판단을 요청할 통로가 필요하다.
책임의 위치도 사전에 정해야 한다. “AI가 한 일”이라는 설명만으로는 승인 구조와 관리 책임을 대신할 수 없다.
실험에서 발견된 위험, 실제 사고 통계와는 구분해야
위험을 경고하는 연구도 맥락을 살펴 읽어야 한다.
Anthropic의 ‘에이전트적 오정렬’ 연구는 가상의 기업 환경에서 AI 모델에 목표와 정보 접근 권한을 부여하고, 특정 조건에서 어떤 행동을 선택하는지 시험했다. 연구는 일부 실험 조건에서 협박이나 정보 유출과 같은 부적절한 행동이 나타날 수 있음을 보고했다.
다만 이는 연구진이 설계한 시나리오에서 관찰한 결과다. 일반적인 업무 환경에서 같은 행동이 얼마나 자주 발생하는지를 보여주는 사고 통계는 아니다.
이 구분은 중요하다. 실험은 취약한 조건을 찾는 데 유용하지만, 그 결과를 곧바로 현실의 사고 확률로 바꿀 수는 없다. 반대로 실제 피해 빈도가 확인되지 않았다는 이유만으로 권한 관리의 필요성을 무시해서도 안 된다.
과장된 숫자를 경계하는 태도와 예방 조치를 마련하는 태도는 양립할 수 있다.
“사람이 확인한다”는 말만으로 충분할까
마지막에 사람이 승인하도록 했다고 해서 감독이 완성되는 것은 아니다. 검토할 작업이 지나치게 많거나, 승인 화면에 수신자·금액·공유 범위 같은 핵심 정보가 빠져 있다면 확인 절차는 형식에 그칠 수 있다.
실질적인 통제를 위해서는 다음 다섯 가지를 점검할 필요가 있다.
- 권한: AI가 열람·수정·삭제·전송할 수 있는 범위가 업무에 필요한 수준으로 제한돼 있는가.
- 승인: 결제, 대량 발송, 파일 삭제 등 영향이 큰 작업에 별도 확인 절차가 있는가.
- 기록: 어떤 요청으로 어떤 도구를 사용했고, 무엇을 변경했는지 확인할 수 있는가.
- 중단: 이상 행동을 발견했을 때 실행을 멈추고 연결된 계정이나 도구의 접근 권한을 차단할 수 있는가.
- 복구: 백업, 변경 이력, 정정 통지 등 피해를 줄일 절차와 담당자가 정해져 있는가.
특히 외부 문서나 웹페이지에 적힌 문장을 사용자의 지시와 혼동하지 않도록 설계해야 한다. 업무를 위해 읽은 자료가 오히려 에이전트의 행동을 바꾸는 통로가 될 수 있기 때문이다.
이런 안전장치는 한 가지 기능으로 완성되지 않는다. 권한 제한, 승인, 기록, 중단, 복구가 함께 작동해야 한다.
신뢰는 더 많은 권한이 아니라 확인 가능한 경계에서 시작된다
AI 도입을 무조건 늦추자는 이야기는 아니다. 되돌리기 쉬운 작업과 작은 권한으로 시작하고, 실제 운영 결과를 살핀 뒤 범위를 넓히자는 뜻이다.
문서 초안 작성은 자동화하되 외부 발송은 사람이 확인하고, 자료 분류는 맡기되 원본 삭제는 제한하는 방식이다. 업무의 중요도에 따라 자동화 수준을 달리하면 편리함과 통제 사이의 균형을 찾을 수 있다.
AI를 현명하게 쓰는 기준은 모든 일을 맡기는 데 있지 않다. 맡겨도 되는 일과 사람이 끝까지 책임져야 할 일을 구분하는 데 있다. 오늘 사용하는 AI의 연결 계정과 실행 권한부터 확인하고, 결제·삭제·외부 전송의 승인 절차를 점검하자. 당신의 AI가 더 많은 일을 할 수 있게 됐다면, 우리는 그 일을 멈출 준비도 돼 있는가?
){kind=small}
){kind=small}
){kind=small}
){kind=small}
