배포 이력과 관측 시각, 두 가지 기록
병원 GEO 대행에서 문서 개편과 응답 관측을 동시에 진행한다면, 배포 이력과 관측 시각 두 가지 기록을 남겨야 결과를 개편 전후로 나눠 읽을 수 있습니다. 병원 홈페이지 문서를 개편하는 기간에도 AI 답변 관측은 멈추지 않는 경우가 있습니다. 개편이 몇 주에 걸쳐 페이지별로 차례차례 배포되면, 같은 달의 관측 결과 안에 개편 전 문서가 공개되어 있던 때의 결과와 개편 후 문서가 공개된 때의 결과가 섞입니다. 이 둘을 구분하지 못하면 보고서의 숫자를 읽을 수는 있어도, 그 숫자가 어떤 원문 상태에서 나왔는지는 알 수 없습니다.
하나는 어느 페이지를 언제 어떤 판으로 배포했는지 적은 배포 이력이고, 다른 하나는 질문마다 언제 관측했는지 적은 관측 시각입니다. 두 기록을 맞대면 관측 결과마다 그때 공개되어 있던 판을 알 수 있고, 결과마다 세 가지 표시 가운데 하나를 지정할 수 있습니다. 여기서 알 수 있는 것은 관측 당시 어떤 판이 공개되어 있었는가이며, AI 서비스가 실제로 어느 판을 읽었는지까지 알 수 있는 것은 아닙니다.
관측 결과에 다는 세 가지 표시
관측 결과 하나하나에 아래 세 가지 표시 가운데 하나를 표시합니다.
| 표시 | 기준 | 보고서에서의 쓰임 |
|---|---|---|
| 개편 전 공개 중 | 관측을 마친 시각이 관련 페이지의 배포 시각보다 앞섬 | 개편 전 상태의 결과로 모아 읽음 |
| 개편 후 공개 중 | 관측을 시작한 시각이 관련 페이지의 배포 시각보다 뒤임 | 개편 후 상태의 결과로 모아 읽음 |
| 구분 불가 | 관측 도중에 배포가 있었거나, 두 시각 가운데 하나라도 기록이 없음 | 어느 쪽에도 넣지 않고 따로 표시 |
관련 페이지란 그 질문의 답변이 인용했거나, 인용할 만한 내용이 들어 있는 개편 대상 페이지를 말합니다. 개편 대상이 아닌 페이지만 관련된 질문은 표시를 붙이지 않고 평소대로 기록합니다.
구분 불가 표시를 따로 두는 이유
배포 시각과 관측 시각이 가까우면 관측 결과를 개편 전이나 후 어느 쪽으로든 넣고 싶어집니다. 하지만 애매한 결과를 한쪽에 넣으면 개편 전후를 나란히 놓고 비교할 때 해석이 기울어질 수 있습니다. 구분 불가 표시가 붙은 결과는 버리지 않고 건수와 사유를 보고서에 함께 싣고, 다음 회차 관측에서 같은 질문을 다시 확인합니다. 병원은 보고서를 받을 때 구분 불가 건수가 따로 나와 있는지 확인하고, 그 칸이 없다면 모든 결과가 어떻게 한쪽으로 나뉘었는지 대행사에 묻습니다.
개편 기간에 기록하는 다섯 단계
개편과 관측이 겹치는 기간에는 아래 순서로 기록합니다. 각 단계는 앞 단계까지 남은 기록만 씁니다.
- 문서를 배포하는 쪽은 배포할 때마다 배포 이력에 페이지, 판 번호, 배포 시각, 바뀐 내용을 한 줄로 기록합니다.
- 대행사는 관측할 때 질문마다 관측을 시작한 시각과 마친 시각을 기록합니다.
- 대행사는 관측 결과마다 관련 페이지를 정하고, 배포 이력과 관측 시각을 맞대어 세 가지 표시 가운데 하나를 지정합니다.
- 대행사는 표시별로 결과를 나눈 보고서를 병원에 보내고, 구분 불가 결과는 건수와 사유를 함께 싣습니다.
- 병원과 대행사는 보고서에 나온 구분 불가 사유를 검토해 남은 배포 일정과 다음 관측 일정이 겹치지 않도록 조정합니다.
첫째 단계의 배포하는 쪽은 병원 홈페이지 담당자일 수도 있고 제작사일 수도 있습니다. 누가 배포하든 배포 이력은 한 곳에 모으고, 대행사가 읽을 수 있게 공유합니다.
질문마다 관측 시각을 남기는 방식
둘째 단계의 관측 시각은 질문 하나마다 기록합니다. 한 회차에 여러 질문을 여러 서비스에 묻는 경우, 회차 시작 시각 하나만 적어 두면 회차 도중에 있었던 배포를 알아챌 수 없습니다. 질문을 서비스별로 나눠 묻는다면 서비스별로도 시각을 따로 기록합니다. 시각은 관측하는 사람이 쓰는 기기의 시계가 아니라 병원과 대행사가 함께 쓰는 기준 시간대로 맞추고, 배포 이력의 시각과 같은 형식으로 씁니다. 형식이 다르면 셋째 단계에서 두 기록을 맞댈 때 오전과 오후를 바꿔 읽는 식의 착오가 생길 수 있습니다.
배포 이력에 채우는 다섯 칸
첫째 단계의 배포 이력은 아래 칸으로 만듭니다.
| 칸 | 채우는 내용 |
|---|---|
| 페이지 | 배포한 페이지 이름과 주소 경로 |
| 판 번호 | 같은 페이지 안에서 배포할 때마다 하나씩 올리는 번호 |
| 배포 시각 | 공개 화면에 반영된 날짜와 시각 |
| 바뀐 내용 | 문단 추가, 문장 수정, 표 교체 등 바뀐 부분 요약 |
| 배포한 사람 | 배포를 실행한 담당자 또는 제작사 |
셋째 칸은 작업을 올린 시각이 아니라 공개 화면에서 바뀐 것을 확인한 시각으로 씁니다. 캐시 때문에 올린 뒤 한동안 이전 화면이 보이는 경우가 있어, 두 시각이 다를 수 있습니다.
같은 결과를 두고 말이 엇갈린 산부인과 가상 사례
아래는 설명을 위해 만든 가상의 사례입니다. 한 산부인과 의원은 임신 초기 검사 안내 페이지 다섯 개를 두 주에 걸쳐 개편하고 있었습니다. 월간 회의에서 행정부장은 관측 보고서에 개편 전 문장이 아직 답변에 나온다고 걱정했고, 제작사 담당자는 그 페이지는 이미 바꿨다고 했습니다. 두 사람 모두 틀린 말을 하지 않았지만, 보고서만으로는 그 결과가 배포 전에 관측된 것인지 알 수 없었습니다.
행정부장은 다음 날부터 기록 방식을 바꾸기로 했습니다. 첫째 단계로 제작사 담당자는 그때까지 한 배포 두 건을 작업 기록에서 찾아 배포 이력에 옮겼고, 이후 둘째 회차 관측 도중에 한 배포 한 건도 배포 직후 기록했습니다. 다섯 페이지 가운데 네 페이지가 이 세 번의 배포에 들어 있었고, 나머지 한 페이지는 아직 배포 전이었습니다. 둘째 단계로 대행사는 12개 질문을 두 회차로 관측하며 질문마다 시작과 마친 시각을 기록했습니다. 셋째 단계에서 관련 페이지를 정해 보니, 12개 질문은 모두 개편 대상 다섯 페이지 가운데 적어도 하나와 관련되어 있었습니다.
셋째 단계에서 대행사가 결과 24건에 표시를 지정한 결과, 개편 전 공개 중 9건, 개편 후 공개 중 11건, 구분 불가 4건이었습니다. 구분 불가 가운데 3건은 둘째 회차 관측 도중에 있었던 셋째 배포와 겹친 경우였고, 1건은 시각 기록이 빠진 경우였습니다. 넷째 단계에서 대행사는 이 표시별로 결과를 나눈 보고서를 행정부장에게 보냈습니다. 회의에서 문제가 된 결과는 개편 전 공개 중 표시가 붙은 결과로 확인되었습니다.
보고서를 받은 뒤 정한 일정과 한계
다섯째 단계에서 행정부장과 대행사는 아직 배포 전인 나머지 한 페이지의 배포를 관측 일정과 겹치지 않는 날로 옮겼습니다. 보고서에는 몇 가지 한계도 함께 실렸습니다. 개편 후 공개 중 결과 11건은 개편 후 문서가 공개되어 있던 동안의 결과일 뿐, AI 서비스가 개편 후 문서를 읽고 답했다는 뜻은 아니라는 점, 개편 전과 후의 결과는 서로 다른 날의 결과라 답변 차이를 개편 때문이라고 단정할 수 없다는 점입니다. 구분 불가 4건의 질문은 다음 회차에서 다시 관측하기로 했고, 시각 기록이 빠진 1건에 대해서는 대행사가 관측 기록 양식에 시각 칸을 필수로 바꾸었습니다.
기록 없이 배포된 페이지의 처리
급한 오타 수정처럼 배포 이력에 남기지 않고 페이지가 바뀌는 일도 생깁니다. 이런 배포가 뒤늦게 발견되면, 홈페이지 관리 화면의 수정 기록이나 제작사의 작업 기록에서 배포 시각을 찾아 배포 이력에 추가합니다. 찾은 시각이 공개 화면 반영 시각인지 확실하지 않다면 비고에 그렇게 기록하고, 그 시각 전후로 관측된 결과는 구분 불가로 표시합니다. 시각을 끝내 찾을 수 없다면 그 페이지와 관련된 결과는 해당 기간 전체를 구분 불가로 처리합니다. 결과의 해석이 틀리는 것보다는 해석을 보류하는 편이 병원의 판단에 덜 해롭기 때문입니다.
개편 전후 결과를 나란히 놓는 비교
표시별로 나눈 결과를 개편 전후로 나란히 놓을 때는 같은 질문, 같은 서비스의 결과끼리만 비교합니다. 개편 전 공개 중 결과가 있는 질문이 개편 후 공개 중 결과에는 없다면 그 질문은 비교에서 빼고 따로 기록합니다. 비교 결과에 차이가 보이더라도 관측 날짜가 다르고 AI 서비스의 답변은 날짜에 따라서도 달라질 수 있으므로, 보고서에는 차이를 사실로만 기록하고 개편의 공으로 돌리지 않습니다. 차이가 보이지 않을 때도 개편이 쓸모없었다고 결론 내리지 않고, 다음 회차 결과를 함께 확인합니다.
개편 중 응답 관측 자주 묻는 질문
Q1. 개편 기간에는 관측을 멈추는 편이 낫지 않습니까?
A1. 멈출 수도 있지만 개편이 길어지면 그만큼 공백이 생깁니다. 관측을 이어 가려면 이 글의 기록 방식이 필요하고, 짧은 개편이라면 끝난 뒤로 관측을 미루는 것도 방법입니다.
Q2. 하루 단위로만 기록해도 괜찮습니까?
A2. 배포가 하루에 한 번 이하라면 날짜와 오전·오후 구분으로도 대부분 판별할 수 있습니다. 같은 날 여러 번 배포한다면 시각까지 기록합니다.
Q3. 홈페이지 수정 권한이 대행사에 있다면 달라지는 점이 있습니까?
A3. 수정 권한을 가진 쪽이 기록 책임도 집니다. 권한이 대행사에 있다면 병원은 그 기록을 열람할 수 있는지를 계약에서 확인합니다.
Q4. 외부 블로그나 지도 정보가 바뀐 것도 기록해야 합니까?
A4. 병원이 관리하는 외부 정보를 개편 대상에 넣었다면 같은 방식으로 기록합니다. 병원이 관리하지 않는 글은 기록 대상이 아닙니다.
Q5. 구분 불가 건수가 많아지면 보고서의 의미가 없어지지 않습니까?
A5. 구분 불가가 특정 페이지 하나에 몰려 있는지 먼저 확인합니다. 한 페이지에 몰렸다면 그 페이지를 배포하는 방식, 예를 들어 예약 배포 기능이 공개 시각을 기록하지 않는지 제작사에 확인하는 것이 다음 할 일입니다. 여러 페이지에 고르게 퍼져 있다면 그 회차는 개편 전후 비교에서 통째로 제외하는 것도 방법입니다.