AI 에이전트를 안전하게 쓰는 법: 첫 업무를 열기 전 체크리스트

AI 에이전트를 안전하게 쓰는 법의 출발점은 첫 업무부터 자동 실행을 맡기는 것이 아니라, 읽기 전용 입력→사람 검토→제한된 실행→복구 기록의 순서로 권한을 천천히 여는 것입니다. 개인정보·결제·공개 행동은 이 시험에서 보류합니다. 안전하다는 인증이 아니라, 문제가 생겨도 사람이 멈추고 되돌릴 수 있는지 확인하는 체크리스트에 가깝습니다.

먼저 확인한 근거와 경계

이 글의 근거는 2026-08-16에 검토했습니다. 범위는 하나의 가상 또는 비민감 업무를 처음 연결하기 전의 판단입니다. 특정 제품의 안전성이나 생산성은 검증하지 않았습니다.

첫 업무의 기준은 얼마나 많은 일을 맡길 수 있느냐보다, 잘못됐을 때 어디서 멈출 수 있느냐였습니다.

작은 가상 업무로 경계를 드러내기

근거	확인된 내용	이 글에서 넘지 않는 경계
검색어 자동완성	정확한 질의에 대한 자동완성 제안 하나가 기록됨	관심 신호일 뿐 검색량·난이도·안전성 증거가 아님
AI 업무 시작 워크시트	빈도, 반복성, 가치, 복잡성, 위험과 예상 결과, 사람 검토, 중단 조건을 다룸	이 글의 순서나 결과를 검증하지 않음
NIST AI RMF Core	목적·맥락·범위·요구사항, 감독 역할, 진행 여부와 배포 후 관찰을 문서화	개별 업무의 안전을 인증하지 않음
OWASP AI Agent Security Cheat Sheet	최소 권한, 외부 데이터 불신, 입출력 검증, 고영향 행동 승인, 기록과 중단·복구 경계를 권고	특정 에이전트나 운영 결과를 보증하지 않음

예시는 편의점 행사 앱의 공개 행사 목록을 읽고 내부 검토용 요약 초안을 만드는 업무입니다. 개인정보도 없고, 결제도 없고, 외부 게시도 없습니다.

처음 입력은 읽기 전용입니다. 에이전트가 보는 자료, 접근 가능한 위치, 제외해야 할 필드를 미리 적어두는 방식입니다. 웹페이지나 첨부 문서에 행동 지시가 들어 있어도 그것은 운영 명령이 아니라 신뢰하지 않은 외부 데이터로 취급됩니다.

예상 출력도 좁습니다. 행사 내용을 요약한 검토용 문서가 전부입니다. 원본 수정, 메시지 발송, 계정 설정 변경, 게시 버튼 접근은 출력 범위에 포함되지 않습니다.

[이미지 캡션: 왼쪽의 공개 행사 목록이 가운데의 검토용 초안으로 이동하고, 오른쪽의 게시·결제·삭제 영역 앞에서 권한선이 닫힌 비교 도식]

이렇게 놓고 보니 “요약 업무”라는 이름만으로는 부족했습니다. 무엇을 읽고, 어디에 쓰며, 어떤 행동은 하지 않는지가 보여야 업무 경계가 생기더라고요.

사람 검토가 승인 버튼보다 먼저인 이유

사람 검토는 결과를 훑어보는 마지막 절차만 뜻하지 않습니다. 입력 출처가 적절한지, 요청과 출력이 맞는지, 실행이 다른 사람이나 시스템에 영향을 주는지를 함께 판단하는 역할입니다.

검토자가 봐야 할 것은 그럴듯한 문장보다 차이입니다. 원문에 없는 사실이 추가됐는지, 제외 필드가 섞였는지, 외부 데이터 속 지시를 따랐는지, 예상하지 않은 도구 사용을 시도했는지가 핵심입니다.

승인 화면에는 실행될 행동이 미리 보여야 합니다. “계속”처럼 넓은 표현보다 생성될 산출물과 저장 위치가 드러나는 편이 판단하기 쉽습니다. 검토자와 중단 책임자도 문서에 남아야 합니다. 혼자 운영하더라도 두 역할의 기준은 분리될 필요가 있었습니다.

사람이 과정에 있다는 사실보다, 사람이 무엇을 보고 어떤 조건에서 멈추는지가 더 중요한 안전 경계였습니다.

제한된 실행은 되돌릴 수 있어야 한다

검토를 통과해도 곧바로 외부 행동을 열 근거는 없습니다. 이 가상 업무에서 허용되는 실행은 검토용 초안을 지정된 내부 위치에 저장하는 정도입니다. 접근 범위와 산출물 위치가 고정되고, 기존 원본을 덮어쓰지 않는 조건입니다.

반대로 개인정보 조회, 결제, 삭제, 권한 변경, 공개 게시, 외부 메시지 발송은 보류 영역입니다. 검토한 자료들은 이런 고영향 또는 되돌리기 어려운 행동에 맥락에 맞는 사람 승인이 필요하다는 방향을 지지합니다. 자율 실행을 정당화하는 근거는 확인되지 않았습니다.

중단 조건도 실행 전에 놓입니다. 입력 출처가 달라졌거나, 예상하지 않은 필드가 나타났거나, 승인 범위를 벗어난 도구가 필요하거나, 복구 경로가 보이지 않으면 진행하지 않는 판단입니다.

복구 기록까지 있어야 시험이 닫힌다

실행 흔적이 보인다고 신뢰성이 입증되는 것은 아닙니다. 그래도 무엇이 들어왔고, 어떤 출력이 제안됐으며, 누가 검토했고, 무엇이 실제로 실행됐는지는 복구에 필요한 최소 맥락이 됩니다.

기록에는 원본 위치, 입력 범위, 예상 출력, 승인된 행동, 실제 산출물 위치, 중단 사유, 되돌리는 방법이 포함됩니다. 실패했을 때 원본이 보존되는지, 생성물을 분리할 수 있는지, 접근 권한을 거둘 수 있는지도 함께 확인됩니다.

한계는 분명합니다. 가상 또는 비민감 시험은 실제 운영의 예외, 장애, 권한 충돌, 악의적인 입력을 모두 드러내지 못합니다. 적절한 도구 경계와 검토자, 복구 방식도 업무의 피해 규모에 따라 달라집니다.

복구 기록은 성공을 증명하는 영수증이 아니라, 실패를 숨기지 않게 만드는 영수증에 가까웠습니다.

첫 업무를 열기 전 복사본

아래 문서는 이 글에서 남기는 재사용 가능한 산출물입니다.

최종 판단은 단순합니다. 읽기 전용 입력, 사람 검토, 제한된 실행, 복구 기록 가운데 하나라도 비어 있다면 첫 업무의 실행 권한은 아직 열리지 않은 상태입니다. 이 순서는 빌더로그가 초보 운영자를 위해 구성한 판단 보조선이며, 검토한 기관들의 공식 분류법은 아닙니다.

이어지는 기록

한 줄로 정리하면

AI 에이전트의 첫 업무는 사람이 미리 보고, 좁게 실행하며, 되돌린 기록까지 남길 수 있을 때 열립니다.

다음 편에서는 사람 승인 화면에 어떤 정보가 보여야 판단이 흐려지지 않는지 살펴봅니다.