병원 AI 검색 대행 보고서, 잘된 질문만 실리지 않게 막는 원칙

보고서 밖에 두는 기준 질문 목록

이 일을 막는 방법은 보고서를 읽는 기준을 보고서 밖에 두는 것입니다. 대행을 시작할 때 병원과 대행사가 어떤 질문을 정기적으로 조사할지 기준 질문 목록으로 합의하고, 보고서를 받을 때마다 이 목록과 대조합니다. 목록에 있는 질문이 보고서에 모두 있는지, 없다면 왜 없는지를 따지는 것입니다.

대조를 가능하게 하려면 대행사가 수행 장부를 함께 넘겨야 합니다. 수행 장부는 목록의 질문마다 실제로 언제 어느 서비스에서 확인했고 결과가 어땠는지를 남긴 기록입니다. 병원이 나오지 않은 결과, 틀린 정보가 나온 결과도 그대로 남깁니다. 수행하지 못한 질문이나 이번에 뺀 질문은 그 이유를 남깁니다.

보고서의 요약과 해석은 대행사가 쓰더라도, 대조는 병원이 합니다. 요약에서 좋은 결과가 강조되는 것은 자연스러운 일이지만, 장부까지 좋은 결과만 담고 있다면 그것은 보고가 아니라 선별입니다.

좋은 결과만 실린 보고서가 꼭 대행사의 나쁜 의도에서 나오는 것은 아닙니다. 보고서의 분량을 줄이려다, 또는 눈에 띄는 결과를 앞세우려다 나쁜 결과가 뒤로 밀리고 빠지기도 합니다. 그래서 병원이 할 일은 의도를 따지기보다, 무엇이 빠졌는지 드러나게 하는 구조를 처음부터 만드는 것입니다.

목록과 보고서를 대조한 세 가지 상태

세 상태 가운데 둘째가 좋은 결과만 보고하는 모습에 가장 가깝습니다. 셋째는 서비스 접속 문제처럼 타당한 이유가 있을 수 있으므로, 이유를 먼저 받고 판단합니다.

대조는 질문의 수를 세는 것으로 시작합니다. 목록의 질문 수와 장부의 수행 기록 수, 보고서에 실린 질문 수가 서로 같은지 먼저 세어 두면, 어느 단계에서 질문이 빠졌는지 곧바로 좁힐 수 있습니다. 수가 맞지 않는 곳에서만 질문을 하나씩 대조하면 됩니다.

기준 질문 목록을 정하고 대조하는 여섯 단계

1. 원무 실장이 환자가 상담에서 병원을 찾을 때 쓴 표현을 모아 홍보 담당에게 건넵니다.
2. 홍보 담당이 그 표현과 대행사의 제안을 합쳐 기준 질문 목록 초안을 만들고, 원장의 승인을 받아 대행사와 합의합니다.
3. 대행사가 정기 조사를 할 때마다 목록의 질문 전체를 수행하고, 결과를 수행 장부에 남깁니다.
4. 대행사가 보고서와 수행 장부를 함께 병원에 보냅니다.
5. 홍보 담당이 목록과 장부와 보고서를 대조해, 질문마다 앞의 표 세 상태 가운데 하나로 표시합니다.
6. 둘째와 셋째 상태의 질문이 있으면 홍보 담당이 대행사에 요청하고, 원장에게 대조 결과를 알립니다.

둘째 단계에서 목록을 합의할 때는 병원 이름이 들어간 질문과 들어가지 않은 질문을 함께 넣습니다. 병원 이름이 든 질문은 결과가 좋게 나올 가능성이 높은 반면, 지역과 진료만 넣은 질문은 결과가 나쁠 수도 있습니다. 두 종류가 모두 있어야 목록이 병원의 실제 모습을 담습니다.

목록은 한 번 합의하면 대행사가 혼자 바꾸지 않습니다. 질문을 더하거나 빼야 할 사정이 생기면 대행사가 이유와 함께 제안하고, 원장의 승인을 받아 고칩니다. 바꾼 날은 목록에 남깁니다.

다섯째 단계의 대조는 보고서를 받은 주 안에 합니다. 대조가 늦어지면 다음 정기 조사가 시작돼, 빠진 결과를 더해 달라는 요청이 지난 조사와 새 조사 사이에서 섞입니다. 대조한 결과는 목록 옆에 날짜와 함께 남기고, 다음 보고서를 받을 때 지난 요청이 반영됐는지부터 점검합니다.

수행 장부의 세 칸

세 칸 가운데 결과 칸의 정보가 맞는지는 원무 실장이 확인합니다. 대행사는 병원이 답에 나왔다는 것만 남기고 그 정보가 맞는지는 모를 수 있기 때문입니다. 빠진 이유 칸이 비어 있는 줄은 대조 때 그대로 셋째 상태로 표시합니다.

장부는 정기 조사마다 새로 만들지 않고, 같은 장부에 조사 날짜별로 이어서 남깁니다. 한 장부에 여러 번의 결과가 쌓여 있어야 같은 질문의 결과가 어떻게 이어져 왔는지 한눈에 읽을 수 있고, 어느 조사에서 수행이 빠졌는지도 곧바로 찾을 수 있습니다.

좋은 결과만 가득한 보고서를 받은 척추병원 사례

나쁜 결과를 받았을 때 병원이 할 일

목록 전체의 결과를 받으면 병원이 나오지 않거나 틀린 정보가 나온 질문이 드러납니다. 이 결과를 대행사의 실패로만 읽지 않습니다. 병원이 무엇을 고쳐야 하는지 알려 주는 자료이기 때문입니다.

틀린 정보가 나온 질문은 원무 실장이 무엇이 틀렸는지 확인하고, 대행사와 함께 그 정보가 어디서 왔는지 조사를 요청합니다. 병원이 나오지 않은 질문은 병원 홈페이지에 그 질문에 답하는 내용이 있는지부터 확인합니다. 두 경우 모두 다음 정기 조사에서 같은 질문의 결과를 다시 받아 견줍니다.

나쁜 결과를 받았다고 목록에서 그 질문을 빼 달라고 하지 않습니다. 결과가 나쁜 질문이야말로 병원이 계속 지켜볼 질문이고, 목록에서 빼면 다음 보고서는 다시 좋은 결과만 담게 됩니다.

나쁜 결과를 고치려고 병원이 한 일은 날짜와 함께 목록 옆에 남깁니다. 다음 조사에서 결과가 달라졌을 때 무엇을 한 뒤의 결과인지 함께 읽을 수 있어야 합니다.

계약 갱신 때 목록과 장부를 쓰는 법

계약을 갱신할 때는 그동안의 수행 장부를 모아, 목록의 질문마다 결과가 어떻게 이어졌는지 원장이 검토합니다. 병원이 나오지 않던 질문에서 나오기 시작했는지, 틀린 정보가 계속 나오는 질문이 있는지를 가려냅니다. 결과가 달라졌다면 그 사이 병원과 대행사가 한 일과 함께 놓고 읽되, 달라진 것을 대행사 덕분으로 곧바로 돌리지 않습니다.

이 검토를 거쳐 목록을 다시 합의합니다. 결과가 안정된 질문은 확인 간격을 넓히고, 여전히 문제가 있는 질문은 남겨 계속 확인합니다. 새로 생긴 진료나 바뀐 운영에 맞는 질문도 이때 더합니다.

갱신 때 새 대행사로 바꾸기로 했다면, 지금까지의 목록과 수행 장부를 새 대행사에 건넵니다. 새 대행사가 같은 목록으로 조사를 시작하면, 대행사가 바뀐 뒤의 결과를 바뀌기 전과 같은 기준으로 견줄 수 있습니다.