요즘 조직 단위 에이전트 이야기가 부쩍 늘었습니다. 대체로 이런 흐름입니다.

채팅창만 주지 말고 사내 웹을 줘라. 직원이 직접 하지 말고 에이전트가 하고 사람은 검수하게 해라. 그러면 반복 사원이 검수 팀장이 되고, 검수한 데이터가 회사 자산으로 쌓인다. 데이터 구조를 잘 나누면 그 형상이 곧 온톨로지가 된다.

전부 맞는 말입니다. 저희도 그렇게 지었습니다.

문제는 그 설계가 작동하는 것처럼 보이면서 무너진다는 겁니다.

저희가 실제로 지은 모양

에이전트를 조직 단위로 굴린다는 건 이런 화면입니다. 27개가 한 조직에 붙어 있고, 각각 어디에 배포됐는지·게시됐는지가 상태로 관리됩니다.

업무는 워크플로우로 짭니다. 중요한 건 순서가 아니라 「승인 요청」이 별도 단계로 존재한다는 점입니다.

그리고 사람이 매번 트리거하지 않도록 일정을 겁니다.

여기까지는 제안문과 다르지 않습니다. 차이는 이걸 굴린 다음에 나옵니다.

하루에 찾은 세 가지 조용한 실패

1. “초안만 만든다”고 적힌 도구가 실제로는 메일을 보낼 수 있었다

문서에는 초안 생성 도구라고 적혀 있었습니다. 화면에도 그렇게 보였습니다. 그런데 도구의 실제 권한에는 발송 경로가 열려 있었습니다.

검수 흐름을 UI로 만들어도, 뒤에 있는 도구가 발송할 수 있으면 검수는 장식입니다. 사람이 승인 버튼을 누르기 전에 이미 나갈 수 있으니까요. 이건 화면을 아무리 잘 만들어도 안 잡힙니다 — 도구의 계약을 코드가 강제해야 잡힙니다.

2. 승인이 미리보기를 안 거치고 있었다

승인 단계는 분명히 있었습니다. 누르면 승인이 됐습니다. 그런데 승인 대상을 실제로 렌더링해서 보여주는 경로를 거치지 않고 승인이 통과했습니다.

승인 화면이 있다는 것과, 승인자가 나갈 물건을 실제로 봤다는 것은 다른 이야기입니다. 전자는 UI고 후자는 계약입니다.

3. 누락과 잘림을 성공으로 흡수하고 있었다

가장 나빴던 건 이겁니다. 처리 중 일부가 누락되거나 잘려도 결과는 성공으로 보고됐습니다. 에러 로그도 안 남았습니다.

조직 단위로 굴리면 이게 왜 치명적인지 분명해집니다. 한 사람이 쓸 때는 결과가 이상하면 사람이 알아챕니다. 백 명이 하루 수백 건을 돌리면 아무도 안 알아챕니다. 성공률 그래프는 100%로 예쁘게 나옵니다.

같은 날 발견한 네 번째

내부 통합 두 개가 두 달 가까이 죽어 있었습니다. 외부로 나가는 요청이 허용 목록에 없어서 매번 차단되고 있었는데, 그 실패가 조용히 삼켜져서 아무도 몰랐습니다.

찾은 방법이 재미있습니다. 서버에 들어가지 않고, 배포도 하지 않고, 외부 API를 한 번도 부르지 않고 알아냈습니다. 게이트가 실제 연결보다 먼저 판정한다는 성질을 이용해서, 절대 열리지 않는 포트로 요청을 던졌습니다. 차단이면 즉시 거절 메시지가 오고, 허용이면 연결에서 멈춥니다. 그 차이 하나로 살아 있는 허용 목록을 읽어냈습니다.

두 통합 모두 그날 안에 복구했고, 같은 회귀를 배포 직전에 잡는 검사를 붙였습니다.

그래서 무엇이 다른가

제안문들이 말하는 건 대체로 어떻게 만들 것인가입니다. 사내 포털, 검수 중심 UI, 데이터 구조, 팀원 기여.

저희가 지난 몇 달간 배운 건 무엇이 조용히 무너지는가입니다.

설계에 있는 것	실제로 필요한 것
검수 화면	도구가 승인 없이 나갈 수 없다는 코드 강제
승인 버튼	승인자가 나갈 물건을 실제로 본다는 보장
성공/실패 로그	누락·잘림을 성공으로 흡수하지 않는다는 검사
권한 설정 화면	죽은 경로가 조용히 실패하지 않는다는 게이트

왼쪽은 하루면 만듭니다. 오른쪽은 사고를 겪어야 압니다.

조직 단위 에이전트의 진짜 위험

틀린 답이 아닙니다. 틀린 답은 사람이 알아챕니다.

에러가 안 나는 실패입니다. 승인이 형식만 통과하고, 누락이 성공으로 집계되고, 죽은 통합이 조용히 0건을 돌려주는 것. 이건 대시보드에 안 나타납니다. 오히려 지표가 좋아 보입니다.

에이전트를 조직에 넣으려는 분들께 드리고 싶은 말은 하나입니다. 검수 흐름을 설계하는 데 쓰는 시간만큼, 검수가 우회될 수 있는 경로를 찾는 데 쓰시길 바랍니다. 저희는 그 비율을 반반으로 잡고 있고, 그래도 아직 부족합니다.

Schift는 조직 내부 문서와 업무에 붙는 에이전트를 만듭니다. 위 화면은 전부 실제 제품이고, 위 사고는 전부 실제로 저희가 낸 것입니다. 도입 상담은 여기로 문의해주세요.