8 에이전트의 제어실

관측과 피드백, 정지 레버가 있는 제어실

8.1 자동화는 왜 갑자기 위험해질까요

한 사람이 AI에게 이메일 초안을 부탁하는 상황과, AI 에이전트가 고객에게 메일을 보내고 주문을 변경하며 비용을 결제하는 상황은 다릅니다. 첫 번째 시스템은 제안합니다. 두 번째 시스템은 세계를 바꿉니다.

위험은 자율성이라는 단어 자체보다 행동 속도와 관측 속도의 차이에서 커집니다. 에이전트가 수백 번 행동하는 동안 조직이 결과를 한 번만 확인한다면, 작은 오류는 발견되기 전에 정책이 되고 기록이 되고 다른 시스템의 입력이 됩니다.

경계의 질문
인간이 승인 버튼을 누르고 있다는 사실만으로 통제되고 있다고 말할 수 있을까요?

제어공학에서 열린 루프는 결과를 다시 측정하지 않고 입력을 실행합니다. 토스터는 정해진 시간 동안 열을 가합니다. 빵의 실제 색을 보지 않습니다. 닫힌 루프는 결과를 측정해 다음 행동을 조정합니다. 온도조절기는 현재 온도와 목표 온도의 차이를 계속 확인합니다.

AI 시스템도 마찬가지입니다. “사람이 검토합니다”라는 문구가 있어도 검토자가 원자료를 보지 못하고, 에이전트의 요약만 읽고, 너무 많은 결정을 한꺼번에 승인한다면 사실상 열린 루프입니다.

좋은 통제는 사람의 존재가 아니라 피드백의 품질로 결정됩니다.

에이전트가 만든 결과를 같은 모델에게 다시 검토시키면 오류가 줄어들 수 있습니다. 그러나 두 과정이 같은 데이터와 같은 가정에 의존하면 같은 맹점을 공유할 수 있습니다. 중요한 결정에는 독립적인 관측 경로가 필요합니다.

NIST의 AI 위험관리 프레임워크가 측정, 관리, 거버넌스를 분리해 강조하는 이유도 여기에 있습니다 (National Institute of Standards and Technology 2023년).

제어계는 반응이 너무 느리면 목표를 놓치고, 너무 강하면 흔들립니다. 조직도 같습니다. 오류를 늦게 발견하면 이미 많은 결과가 퍼집니다. 반대로 작은 편차마다 전체 시스템을 멈추면 누구도 자동화를 사용하지 않게 됩니다.

따라서 위험 수준에 따라 반응을 나누어야 합니다.

통제는 모든 일을 사람이 다시 하는 것이 아닙니다. 사람이 개입해야 할 순간을 명확히 설계하는 일입니다.

많은 조직이 자동화를 도입한 뒤 대시보드를 만듭니다. 순서가 반대입니다. 관측할 수 없는 시스템은 통제할 수 없습니다.

최소한 다음 기록이 필요합니다.

로그는 책임을 떠넘기기 위한 감시 장치가 아닙니다. 시스템이 왜 그런 행동을 했는지 함께 배우기 위한 기억입니다.

기계 제어에서는 목표값이 비교적 분명합니다. 조직의 목표는 그렇지 않습니다. 처리량을 높이면 품질이 떨어질 수 있고, 비용을 줄이면 취약한 고객이 배제될 수 있습니다. 무엇을 오차로 볼지 자체가 정치적이고 윤리적인 결정입니다.

그래서 제어공학은 자동화의 구조를 설명할 수 있지만 목표의 정당성을 정하지 못합니다. 좋은 제어실에는 엔지니어뿐 아니라 현장 사용자, 법률가, 고객, 피해 가능성이 큰 집단의 목소리가 필요합니다.

사람을 루프에 넣었다고 쓰는 것은 쉽습니다. 실제 통제는 사람이 상황을 이해하고, 반대할 수 있으며, 시스템을 멈춘 뒤 복구할 수 있을 때 생깁니다.

자동화가 강해질수록 인간의 역할은 버튼을 누르는 노동에서 기준을 세우고 예외를 발견하는 책임으로 이동해야 합니다.