규칙은 완성됐는데, 결과는 여전히 달랐습니다.

제조 현장에는 작업표준서가 있습니다. 검사 기준도, 품질관리 매뉴얼도 있습니다. 그런데 그 문서를 다 만들어 배포한 뒤에도, 현장에서는 여전히 사람마다 다르게 처리하는 경우가 남습니다. 우리는 콘텐츠를 만드는 과정에서 같은 문제를 만났습니다.

이 글은 그 문제를 어떻게 만났고, 무엇을 발견했는지를 기록한 것입니다. 완성된 결과를 보여주기 위한 것이 아니라 판단이 바뀐 과정을 남기려고 씁니다. 이 규칙은 계속 갱신되는 목록이라, 아래 내용도 상황에 따라 바뀝니다.

문제

콘텐츠를 만들 때마다 품질을 사람이 매번 다 확인할 수는 없었습니다. 그래서 규칙을 문서로 만들어뒀습니다. 어떤 표현을 쓰면 안 되는지, 어떤 형식을 골라야 하는지, 길이는 어디까지 괜찮은지까지 정리했습니다. 규칙을 다 만든 뒤, 우리는 이걸로 충분하다고 믿었습니다.

우리가 처음 세웠던 가설

규칙을 충분히 구체적으로 써두면, 그대로 지키기만 해도 품질이 보장된다고 생각했습니다. 규칙표 하나만 있으면 매번 새로 판단할 필요가 없다고 봤습니다.

왜 그 가설이 틀렸는지

그런데 실제로 규칙을 시험해본 적은 없었습니다. 실전에 가까운 상황 20가지를 직접 만들어 규칙에 대입해보니, 규칙이 못 잡아내는 지점이 다섯 곳 나왔습니다. 제목을 줄이다 원래 의미가 반대로 읽히는 경우, 비교 항목의 무게가 한쪽으로 쏠리는 경우, 단계가 너무 많거나 임의로 빠지는 경우, 같은 주제로만 쏠리는 경우, 같은 톤만 반복되는 경우였습니다. 전부 규칙표를 쓸 때는 떠올리지 못했던 상황이었습니다.

새롭게 발견한 원인

규칙을 만들 때, 우리는 우리가 예상한 상황만 떠올리고 있었습니다. 정상적으로 진행되는 경우, 흔히 나올 법한 제목, 자주 다루는 주제를 기준으로 규칙을 썼습니다. 예외는 애초에 그 목록에 없었기 때문에, 규칙을 쓰는 우리 눈에는 보이지 않았습니다. 규칙은 현실 자체가 아니라, 우리가 상상한 현실을 기준으로 만들어진다는 것을 이때 알았습니다. 규칙은 정상적인 경우를 기준으로 쓰이고, 현장은 예외로 가득합니다.

실행

이 발견은 실행 방식을 세 가지 방향으로 바꿨습니다.

감을 질문으로 바꿨습니다. 어떤 형식을 고를지 그때그때 느낌으로 정하는 대신, 순서가 정해진 질문 몇 개에 차례로 답하면 답이 나오도록 했습니다.

기억을 체크리스트로 바꿨습니다. "이거 전에 다뤘던 것 같은데"라는 감각에 의존하는 대신, 최근 발행한 것들과 겹치는지 매번 목록으로 확인하도록 했습니다.

판단을 점수로 바꿨습니다. "이 정도면 됐다"는 주관적인 느낌 대신, 발행 전 항목별로 점수를 매기고 기준을 못 넘으면 발행을 보류하도록 했습니다.

결과

지금까지 실제로 남은 것은 다음과 같습니다.

• 질문 순서로 판단하는 기준이 문서로 남았습니다.
• 최근 발행분과 겹치지 않는지 확인하는 체크리스트가 남았습니다.
• 발행 전 점수를 매기는 기준표가 남아, 일정 점수를 못 넘으면 발행을 보류합니다.
• 이후 실제로 발행된 글들은 전부 이 기준을 통과한 것들입니다.

여기까지는 세운 기준이 실제로 남았는가를 확인한 단계이지, 완성이라고 보지는 않습니다.

배운 점

규칙을 만들면 충분하다고 믿었던 건 우리였습니다. 그 믿음이 틀렸다는 걸 알아차리는 데는 시간이 걸렸습니다. 규칙표를 보면 다 갖춰진 것처럼 보였기 때문입니다.

이제는 규칙을 만든 순간을 완성으로 보지 않습니다. 실제 상황으로 시험해보기 전까지는, 그 규칙이 무엇을 놓치고 있는지 우리도 알 수 없다고 봅니다.

다음 단계

이 규칙은 계속 갱신되는 목록입니다. 다음에 새로운 상황을 만나면 다시 시험하고, 그 결과에 따라 또 고칠 것입니다.

우리는 규칙을 먼저 믿지 않습니다. 먼저 시험합니다. 그리고 살아남은 규칙만 남깁니다.