부록 1. AI와 함께 결정하기 전 열두 가지 질문

AI를 잘 쓰는 능력은 더 많은 기능을 기억하는 데 있지 않습니다. 중요한 결정을 맡기기 전에 무엇을 확인하고, 어디에서 멈추며, 결과를 누구와 나눌지 정하는 능력에 가깝습니다. 아래 질문은 업무 도구, 교육 서비스, 공공 시스템, 개인 상담처럼 서로 다른 상황에서도 사용할 수 있는 최소한의 점검표입니다.

목표를 확인하는 질문

1. 지금 최적화하려는 것은 무엇입니까?
속도, 비용, 정확도, 만족도는 서로 같은 목표가 아닙니다. 하나를 높이면 다른 하나가 낮아질 수 있습니다. 목표를 한 문장으로 쓰지 못한다면 자동화를 시작하기에는 아직 이릅니다.

2. 이 목표를 누가 정했습니까?
시스템을 구매한 사람과 영향을 받는 사람이 다를 수 있습니다. 의사결정권자의 편의가 사용자나 시민의 손실로 바뀌지 않는지 살펴야 합니다.

3. 성공을 무엇으로 측정합니까?
측정하기 쉬운 숫자가 중요한 결과를 대신하기 쉽습니다. 처리 건수만 세면 설명의 품질과 이의 제기 가능성은 사라집니다.

근거를 확인하는 질문

4. 답의 근거를 다시 찾을 수 있습니까?
출처, 데이터 시점, 적용 범위를 확인할 수 없는 답은 아이디어로는 쓸 수 있어도 최종 판단의 근거로 사용하기 어렵습니다.

5. 사실, 추론, 제안을 구분했습니까?
AI는 세 종류의 문장을 자연스럽게 이어 씁니다. 읽는 사람이 구분하지 않으면 가능성이 사실처럼 굳어집니다.

6. 반대되는 자료를 일부러 찾아보았습니까?
좋은 검증은 같은 결론을 반복해서 듣는 일이 아닙니다. 결론이 틀렸을 때 가장 먼저 나타날 증거를 찾는 일입니다.

사람을 확인하는 질문

7. 오류 비용은 누가 부담합니까?
추천을 만든 조직이 아니라 학생, 환자, 구직자, 소비자가 손실을 떠안을 수 있습니다. 비용이 비대칭이면 검토 강도도 높아져야 합니다.

8. 당사자는 결과에 이의를 제기할 수 있습니까?
설명만 제공하고 수정 통로가 없다면 통제라고 보기 어렵습니다. 이의 제기, 재검토, 사람과의 대화가 하나의 절차로 이어져야 합니다.

9. 자동화하지 말아야 할 부분은 무엇입니까?
위로의 문장, 해고 통지, 위험을 승인하는 일처럼 관계와 책임이 핵심인 순간은 효율만으로 맡길 범위를 정할 수 없습니다.

실패를 확인하는 질문

10. 멈춤 조건이 적혀 있습니까?
오류율, 비용, 지연, 피해 신고가 어느 수준에 이르면 시스템을 멈출지 미리 정해야 합니다. 문제가 생긴 뒤의 용기는 통제 장치를 대신하지 못합니다.

11. 사람이 직접 수행하는 대안이 남아 있습니까?
수동 절차가 완전히 사라지면 자동화의 실패가 곧 조직 전체의 정지가 됩니다. 느리더라도 돌아갈 수 있는 길을 유지해야 합니다.

12. 결정 과정이 기록됩니까?
어떤 모델과 자료를 사용했고, 누가 검토했으며, 무엇을 수정했는지 남겨야 실패를 학습으로 바꿀 수 있습니다.

이 질문에 모두 완벽한 답을 내놓을 필요는 없습니다. 다만 어떤 질문에 답하지 못했는지는 알아야 합니다. 인간이 루프 안에 있다는 말은 화면 앞에 사람이 앉아 있다는 뜻이 아니라, 질문하고 멈추고 고칠 권한이 실제로 남아 있다는 뜻입니다.