문제군 하나에 문서와 재질문을 짝짓는 시험
병원 GEO 대행을 맡은 대행사는 과제를 문제군 하나씩의 작은 시험으로 나누고, 시험마다 바꿀 문서와 다시 물을 질문을 짝지어 진행할 수 있습니다. AI 답변 서비스에서 병원 정보가 틀리게 나오는 문제를 발견하면 홈페이지와 지도 정보, 블로그를 한꺼번에 고치고 싶어집니다. 하지만 여러 문서를 동시에 바꾸면 나중에 답변이 달라졌을 때 어느 변경이 영향을 줬는지 가리기 어렵습니다.
나누는 기준은 문제군입니다. 병원을 다른 기관과 헷갈리는 기관 식별 문제, 진료 항목을 잘못 설명하는 서비스 이해 문제, 진료 시간과 위치, 예약 방법이 틀리는 방문 안내 문제로 나눕니다. 한 번의 시험에서는 이 가운데 하나만 정해, 그 문제군에 해당하는 문서만 바꾸고 그 문제군에 해당하는 질문만 다시 물어 비교합니다. 바꾼 문서와 다시 묻는 질문이 서로 짝을 이뤄야 시험의 결과를 읽을 수 있습니다.
세 문제군의 오류와 짝을 이루는 문서·질문
아래 표는 세 문제군마다 처음 관측에서 나올 수 있는 오류와, 시험에서 바꿀 문서, 다시 물을 질문의 예를 정리한 것입니다.
| 문제군 | 처음 관측의 오류 예 | 바꿀 문서의 예 | 다시 물을 질문의 예 |
|---|---|---|---|
| 기관 식별 | 이름이 비슷한 다른 기관의 주소나 전화번호가 섞임 | 홈페이지 소개 첫 문단의 정식 명칭과 주소 | 이 병원의 정확한 주소와 대표 전화는? |
| 서비스 이해 | 하지 않는 진료를 한다고 설명함 | 진료 항목 안내 페이지 | 이 병원에서 어떤 진료를 받을 수 있나? |
| 방문 안내 | 옛 진료 시간이나 주차 정보가 나옴 | 진료 시간과 오시는 길 페이지 | 토요일에 몇 시까지 진료하나? |
넷째 칸의 질문은 처음 관측 때 오류가 나왔던 질문과 같은 문장이어야 합니다. 질문을 바꾸면 답이 달라진 이유가 문서 때문인지 질문 때문인지 알 수 없습니다.
작은 시험이 알려 주는 것과 그 한계
작은 시험의 결과는 정해진 날짜에 정해진 서비스에서 본 표본입니다. 문서를 바꾼 뒤 오류가 줄었다면 바꾼 문서가 영향을 줬을 가능성을 보여 주지만, 그것만으로 원인이라고 단정할 수는 없습니다. 같은 기간에 서비스 쪽 사정이 바뀌었을 수도 있기 때문입니다. 그래서 결과를 보고할 때는 같은 질문을 같은 서비스에 물은 결과끼리 견주었다는 점, 그 사이 병원이 바꾼 다른 것은 없었다는 점을 함께 기록합니다. 오류가 남았다면 남은 오류의 출처가 무엇인지도 기록해, 다음 시험의 출발점으로 씁니다.
처음 오류를 문제군으로 가르는 방법
처음 관측에서 나온 오류는 답변 하나를 한 건으로 세되, 그 답변이 틀린 내용이 어느 문제군에 속하는지로 나눕니다. 한 답변에 두 문제군의 오류가 함께 있다면, 예를 들어 다른 기관의 주소를 대면서 진료 항목까지 잘못 설명했다면 두 문제군에 한 건씩 표시하고 그 사실을 따로 메모합니다. 이렇게 하면 문제군별 건수의 합이 오류 답변 수보다 커질 수 있으므로, 보고할 때 두 숫자를 함께 밝힙니다. 분류할 때는 답변이 댄 출처도 함께 기록해, 오류가 병원 문서에서 왔는지 바깥 글에서 왔는지 구분합니다. 병원 문서에서 온 오류가 많은 문제군일수록 문서를 바꾸는 시험으로 다룰 수 있습니다.
병원 GEO 작은 시험의 다섯 단계
GEO 과제를 작은 시험으로 나눌 때는 아래 순서로 진행합니다. 각 단계는 앞 단계에서 나온 자료만 가지고 합니다.
- 대행사는 질문 목록으로 처음 관측을 하고, 오류가 나온 답변을 세 문제군으로 분류해 문제군별 건수를 병원에 보냅니다.
- 병원과 대행사는 분류 결과를 보고 이번에 시험할 문제군 하나를 정합니다. 환자 불편이 크고 병원 문서로 고칠 수 있는 문제군을 먼저 정합니다.
- 대행사는 그 문제군에 해당하는 문서만 추린 변경 문서 목록을 만들고, 나머지 문서는 시험 기간 동안 바꾸지 않을 목록으로 따로 기록합니다.
- 병원이 변경 문서를 확인하고 반영한 뒤, 반영한 날짜를 시험 설계서에 기록합니다.
- 정한 기간이 지나면 대행사는 그 문제군의 질문만 처음과 같은 서비스에 같은 문장으로 다시 묻고, 처음 결과와 나란히 기록합니다.
시험 설계서를 이루는 다섯 칸
셋째 단계부터 채우는 시험 설계서는 아래 칸으로 만듭니다.
| 칸 | 채우는 내용 |
|---|---|
| 문제군 | 이번 시험에서 고른 문제군 하나 |
| 변경 문서와 반영 날짜 | 바꾼 문서의 주소와 바꾼 날짜 |
| 재관측 질문 | 처음 관측과 같은 문장의 질문 목록 |
| 재관측 날짜와 서비스 | 다시 물은 날짜와 처음과 같은 서비스 이름 |
| 바꾸지 않은 문서 | 시험 기간 동안 손대지 않기로 한 문서 목록 |
다섯째 칸은 시험이 흐트러지지 않게 하는 약속입니다. 시험 기간에 급히 고쳐야 할 정보가 생기면 고치되, 고친 날짜와 문서를 이 칸에 적어 결과를 해석할 때 함께 고려합니다.
변경 문서 목록에 넣을 문서와 뺄 문서
셋째 단계의 변경 문서 목록에는 문서마다 어느 재관측 질문과 짝을 이루는지를 함께 씁니다. 짝이 되는 질문이 없는 문서는 이번 시험의 목록에 넣지 않습니다. 그 문서를 바꾸더라도 시험에서 확인할 방법이 없기 때문입니다. 반대로 짝이 되는 문서가 없는 질문이 있다면, 그 질문의 오류는 병원 문서가 아닌 다른 곳에서 왔을 수 있으므로 처음 관측의 출처 기록을 다시 확인합니다. 병원은 목록을 받으면 바꿀 문장이 최신 공식 자료와 맞는지 확인하고, 의료 정보가 들어간 문장은 의료진의 확인을 거친 뒤 반영합니다.
다른 지점으로 찾아간 수검자 가상 사례
아래는 설명을 위해 만든 가상의 사례입니다. 한 검진센터의 운영팀장은 예약한 수검자가 이름이 비슷한 다른 검진기관 주소로 찾아갔다가 늦게 도착했다는 보고를 받았습니다. 수검자는 AI 답변 서비스에 주소를 물어 찾아왔다고 했습니다. 운영팀장은 GEO를 맡은 대행사에 이 문제를 알렸습니다.
첫째 단계의 처음 관측에서 대행사는 질문 18개를 두 서비스에 물었고, 오류가 나온 답변 11건을 문제군으로 나눴습니다. 기관 식별이 5건, 서비스 이해가 2건, 방문 안내가 4건이었고, 두 문제군에 걸친 답변은 없었습니다. 둘째 단계에서 운영팀장과 대행사는 수검자가 실제로 잘못 찾아간 일이 있었던 기관 식별을 먼저 시험하기로 했습니다.
셋째와 넷째 단계에서 변경 문서는 세 가지로 정해졌습니다. 홈페이지 소개 첫 문단에 정식 명칭과 도로명 주소를 넣고, 지도 서비스의 기관 이름 표기를 정식 명칭과 맞추고, 공지 페이지에 다른 기관과 헷갈리지 않도록 주소 안내를 올렸습니다. 진료 항목과 진료 시간 페이지는 바꾸지 않을 문서로 적었습니다. 다섯째 단계에서 4주 뒤 기관 식별 질문 6개를 같은 두 서비스에 다시 물었습니다. 처음 관측에서 같은 질문과 서비스로 받은 답변 12건 가운데 오류는 5건이었고, 재관측 12건 가운데 오류는 2건이었습니다.
결과 보고에 함께 밝힌 점과 남은 오류
운영팀장은 이 결과를 원장에게 보고하면서 세 가지를 함께 밝혔습니다. 비교는 같은 질문 6개와 같은 서비스 두 곳의 답변 12건끼리 한 것이라는 점, 시험 기간에 바꾸지 않기로 한 문서는 실제로 바꾸지 않았다는 점, 줄어든 오류가 바꾼 문서 때문이라고 단정할 수는 없다는 점입니다. 남은 오류 2건은 모두 다른 기관을 다룬 외부 블로그 글을 출처로 대고 있어, 병원 문서를 고쳐서는 해결되지 않는 오류로 따로 표시했습니다. 다음 시험은 방문 안내 문제군으로 하기로 했고, 외부 글은 정정 요청을 별도로 진행하기로 했습니다. 운영팀장은 시험 설계서와 두 번의 관측 기록을 한 폴더에 묶어, 다음 시험도 같은 형식으로 이어 가게 했습니다.
여러 문제군이 모두 급할 때
세 문제군 모두에서 환자 불편이 생기고 있다면 하나씩 기다리기 어려울 수 있습니다. 이때는 문제군마다 바꿀 문서가 서로 겹치지 않는지 먼저 확인합니다. 겹치지 않는다면 두 시험을 함께 진행하되, 시험 설계서를 문제군별로 따로 만들고 재관측 질문도 따로 묻습니다. 한 문서가 두 문제군에 걸쳐 있다면 그 문서를 바꾸는 시험은 하나로 합치고, 결과를 문제군별로 나눠 읽을 수 없다는 점을 설계서에 기록합니다.
시험을 몇 번 마친 뒤의 전체 재관측
문제군별 시험을 두세 번 마쳤다면, 처음 관측에 쓴 질문 전체를 같은 서비스에 다시 물어 전체 모습을 한 번 확인합니다. 시험마다 한 문제군만 봤기 때문에, 한 시험에서 바꾼 문서가 다른 문제군의 답변에 영향을 줬는지는 이때 드러날 수 있습니다. 전체 재관측 결과는 처음 관측과 같은 표에 나란히 두고, 문제군별 건수와 남은 오류의 출처를 함께 정리합니다. 그 결과를 보고 다음 시험의 문제군을 다시 정합니다.
병원 GEO 작은 시험 자주 묻는 질문
Q1. 재관측은 문서를 바꾸고 얼마 뒤에 하는 것이 좋습니까?
A1. 정해진 답은 없으므로 대행사와 기간을 정하고, 같은 기간을 다음 시험에도 씁니다. 너무 짧으면 변화가 나타나지 않았을 수 있다는 점을 결과에 기록합니다.
Q2. 질문 수가 적은 문제군도 시험할 가치가 있습니까?
A2. 환자 불편이 크다면 질문이 적어도 시험할 수 있습니다. 다만 표본이 작다는 점을 결과와 함께 기록합니다.
Q3. 시험 결과 오류가 늘었다면 어떻게 합니까?
A3. 바꾼 문서의 내용이 정확한지 다시 확인하고, 늘어난 오류의 출처가 바꾼 문서인지부터 확인합니다.
Q4. 병원 직원이 재관측을 직접 해도 됩니까?
A4. 시험 설계서의 질문과 서비스를 그대로 쓰면 가능합니다.
Q5. 시험이 끝난 문서는 다시 바꿔도 됩니까?
A5. 시험이 끝난 뒤에는 필요에 따라 바꾸되, 바꾼 날짜를 설계서 뒤에 이어서 적어 다음 관측 때 참고합니다.