운영 변화 표시와 비교 구간 나누기
문의 개선 실험 중에 휴진이나 인력 변화가 생기면, 병원 마케팅 대행사는 그 기간의 결과를 실험의 효과와 섞지 않도록 운영 변화를 날짜와 함께 표시합니다. 이틀 휴진하면 그 앞뒤로 문의가 몰리거나 끊기고, 상담 직원이 한 명 줄면 답이 늦어져 예약으로 이어지는 문의가 줄어듭니다. 이런 움직임은 실험에서 바꾼 것과 관계없이 생기므로, 실험 기간 전체를 한데 묶어 계산하면 효과가 부풀거나 가려집니다. 실험은 바꾼 것 하나의 효과를 보려는 것이라, 그 밖의 것이 함께 바뀐 날은 실험의 조건이 깨진 날입니다. 상담 인력이 늘어나는 변화도 답이 빨라져 효과를 부풀릴 수 있어 같은 방식으로 표시합니다.
그래서 실험 기간을 구간으로 나눕니다. 운영 변화가 없는 날은 비교할 수 있는 구간으로 정하고, 변화의 여파가 처음 나타난 날부터 그 여파가 끝났다고 볼 수 있는 날까지는 판단을 미룰 구간으로 정합니다. 실험의 결과는 비교할 수 있는 구간만으로 계산하고, 판단을 미룬 구간의 값은 지우지 않고 별도로 실어 무슨 일이 있었는지 알 수 있게 합니다. 비교할 수 있는 구간이 실험 전에 정한 기간에 못 미치면, 결론을 내리지 않고 실험을 늘리거나 다시 시작합니다. 구간을 나누면 결과에서 빠진 날이 드러나, 결과를 읽는 사람이 무엇을 믿어도 되는지 알 수 있습니다. 판단을 미룰 구간은 대행사 혼자 정하지 않고, 운영 변화를 잘 아는 병원 담당자와 함께 정합니다.
운영 변화의 종류와 문의 지표가 달라지는 방향은 아래 표와 같습니다. 실험을 맡은 대행사라면, 병원은 보고서의 결과가 어느 날짜들로 계산되었는지와 빠진 날짜의 까닭을 받을 수 있는지 확인할 수 있습니다. 운영 변화를 기록하는 칸을 실험 기록 첫 장에 두면, 실험 중 누구든 바로 적어 넣을 수 있습니다.
네 가지 운영 변화와 문의 지표의 방향
| 운영 변화 | 문의 지표가 달라지는 방향 | 기록에 남길 것 |
|---|---|---|
| 휴진 | 휴진 전날과 끝난 뒤에 문의가 몰리고, 휴진 중에는 끊긴다. | 휴진한 날과 공지한 날 |
| 상담 인력이 줄어듦 | 답이 늦어져 예약으로 이어지는 문의가 줄어든다. | 줄어든 날과 남은 인원 |
| 새 직원이 들어옴 | 응대 방식이 익숙해질 때까지 답의 내용과 시간이 흔들린다. | 들어온 날과 혼자 응대를 시작한 날 |
| 진료 시간이 바뀜 | 문의가 들어오는 시간대와 예약할 수 있는 날이 달라진다. | 바뀐 날과 바뀐 내용 |
표에 없는 변화라도 문의가 들어오는 길이나 답하는 사람을 바꾸는 일이면 같은 방식으로 기록하고, 여러 변화가 겹친 날은 변화마다 한 줄씩 기록합니다.
운영 변화를 표시하고 구간을 나누는 다섯 단계
첫째로 실험을 시작하기 전에 병원과 알림을 약속합니다. 휴진, 상담 인력의 변화, 진료 시간의 변경이 정해지면 정해진 날 대행사 담당자 한 사람에게 알리기로 하고, 실험 결과를 판단할 최소한의 비교 기간도 함께 정합니다. 비교 기간은 결과가 우연한 흔들림에 좌우되지 않을 만큼으로 병원과 정하고, 늘린다면 늘린 기간에도 같은 알림 약속을 이어 갑니다.
둘째로 변화가 생기면 앞의 표에 따라 날짜와 내용을 실험 기록에 남깁니다. 알림을 늦게 받았다면 근무표나 공지 기록으로 실제 날짜를 확인해 적어 넣고, 변화의 여파가 처음 나타난 날도 함께 남깁니다.
셋째로 아래 표에 따라 실험 기간을 구간으로 나눕니다. 판단을 미룰 구간이 언제 끝나는지는 변화 전의 같은 요일 값과 견주어, 문의의 흐름이 변화 전과 비슷해진 날로 정합니다. 휴진처럼 날짜가 미리 정해진 변화는 여파가 전날부터 나타날 수 있어 전날부터 확인합니다.
넷째로 비교할 수 있는 구간만으로 실험 결과를 계산하며, 비교할 수 있는 구간이 여러 조각이어도 날수를 더해 셉니다. 비교할 수 있는 구간의 날수가 첫째 단계에서 정한 기간에 못 미치면, 실험을 늘릴지 다시 시작할지를 병원과 정합니다.
다섯째로 보고서에 구간 표를 싣고, 결과 계산에 쓴 날짜와 뺀 날짜와 그 까닭을 밝히고, 결론 문장에는 계산에 쓴 날수를 함께 씁니다. 병원 담당자는 운영 변화의 날짜가 실제와 맞는지 확인하고, 확인한 날도 보고서에 남깁니다.
실험 기간을 나누는 세 구간
| 구간 | 정하는 방법 | 결과 계산에 쓰는가 |
|---|---|---|
| 비교할 수 있는 구간 | 운영 변화가 없고 여파도 끝난 날 | 쓴다. |
| 판단을 미룰 구간 | 변화의 여파가 처음 나타난 날부터 문의의 흐름이 변화 전과 비슷해진 날의 전날까지 | 쓰지 않고 값만 별도로 싣는다. |
| 늘린 구간 | 비교할 수 있는 날이 모자라 실험을 늘린 날 | 변화가 없다면 비교할 수 있는 구간으로 쓴다. |
구간을 나눈 뒤에는 구간마다 날수를 세어 표 아래에 밝힙니다.
가상 사례: 양식 실험 중 휴진과 퇴사가 겹친 이비인후과
구간을 나누는 흐름을 보여 주려고 꾸민 가상 사례이며, 날짜와 수는 설명을 위해 정한 값입니다. 한 이비인후과 의원은 문의 양식의 항목을 여덟 개에서 네 개로 줄이는 실험을 4주, 곧 28일 동안 하기로 했고, 결과를 판단할 비교 기간은 최소 14일로 정했습니다. 원장과 원무 실장은 운영 변화가 정해지면 그날 대행사 담당자 한 사람에게 알리기로 했습니다.
실험 여드레째와 아흐레째에 원장의 학회로 이틀 휴진했습니다. 학회 일정은 실험이 시작된 뒤에 정해져, 원장은 정해진 날 바로 알렸습니다. 휴진 전날인 이레째에는 문의가 변화 전 같은 요일의 두 배 가까이 몰렸고, 휴진이 끝난 뒤에도 이틀 동안 문의가 변화 전의 같은 요일보다 많았다가 열이틀째부터 비슷해졌습니다. 열이레째에는 상담 직원 두 명 가운데 한 명이 그만두었고, 새 직원은 스무사흘째에 들어와 스무이레째부터 혼자 응대를 시작했으며, 그날부터 답하는 시간이 변화 전의 같은 요일과 비슷해졌습니다. 원무 실장은 퇴사 소식을 이틀 늦게 알렸고, 대행사는 근무표로 실제 날짜를 확인했습니다. 원무 실장이 늦게 알린 까닭은 후임을 먼저 구하려 했기 때문이었습니다.
대행사는 이레째부터 열하루째까지 5일을 휴진에 따른 판단 보류 구간으로, 열이레째부터 스무엿새째까지 10일을 인력 변화에 따른 판단 보류 구간으로 나누었습니다. 28일 가운데 15일을 빼니 비교할 수 있는 날은 13일로, 정한 14일에 하루가 모자랐습니다. 비교할 수 있는 날은 첫 엿새, 열이틀째부터 열엿새째까지 닷새, 스무이레째와 스무여드레째 이틀이었습니다. 두 보류 구간은 원무 실장과 함께 정했습니다.
실험을 늘린 결과와 보고서의 구간 표
원장과 원무 실장은 실험을 2주 늘리기로 했고, 늘린 14일 동안에는 운영 변화가 없었고, 알림 약속은 늘린 기간에도 그대로 유지했습니다. 늘린 14일의 문의 흐름은 첫 엿새와 견주어 운영 변화가 없었다는 것을 확인했습니다. 비교할 수 있는 날은 처음 13일과 늘린 14일을 더해 27일이 되었고, 대행사는 이 27일만으로 양식을 끝까지 작성한 비율을 계산했습니다. 판단을 미룬 15일의 값은 지우지 않고 구간 표 아래에 별도로 실었고, 휴진 구간 5일과 인력 구간 10일의 날짜별 문의 수는 다음 실험에서 여파의 길이를 짐작하는 자료로 남겼습니다.
보고서에는 날짜마다 비교할 수 있는 구간인지, 판단을 미룬 구간인지, 늘린 구간인지를 표시한 구간 표와 뺀 날짜의 까닭을 실었습니다. 원무 실장은 휴진과 퇴사, 새 직원의 날짜가 근무표와 맞는지 확인했고, 보고서의 결론 문장에는 27일로 계산했다는 것을 함께 썼습니다. 원장은 다음 실험부터 학회 일정을 실험 계획에 먼저 넣기로 했습니다.
문의 개선 실험 운영 변화 자주 묻는 질문
Q1. 휴진이 실험을 시작하기 전부터 정해져 있었다면 어떻게 합니까?
A1. 실험 일정을 휴진과 그 앞뒤 며칠을 피해 정하는 것이 먼저입니다. 피할 수 없다면 그 날짜들을 실험 계획서에 판단 보류 구간으로 미리 적고, 그만큼 실험 기간을 처음부터 길게 정합니다.
Q2. 문의 개선 실험을 아예 멈추는 편이 나은 때도 있습니까?
A2. 휴진이 길어지거나 병원을 옮기는 것처럼 운영이 언제 안정될지 정할 수 없을 때는, 실험을 늘려도 비교할 날을 채울 수 없으므로 멈추고 운영이 안정된 뒤 처음부터 다시 시작합니다.
Q3. 병원 밖의 변화, 예를 들어 근처 병원의 휴진도 표시합니까?
A3. 알 수 있는 범위에서 기록에 남기되, 판단 보류 구간으로 나누는 것은 병원 안의 운영 변화로 한정합니다. 병원 밖의 변화는 확인하기 어렵고, 구간을 나누는 근거로 삼으면 기준이 흔들립니다. 기록에는 날짜와 알게 된 경로만 남깁니다.
Q4. 계절에 따라 문의가 달라지는 것은 어떻게 다룹니까?
A4. 계절의 변화는 실험 전의 비교 값을 정할 때 같은 계절의 기간으로 맞추어 다룹니다. 실험 중에 계절이 바뀌면 그 사실을 보고서에 밝힙니다. 같은 계절의 비교 값이 없다면 실험 기간을 한 계절 안에 끝나도록 정합니다.
Q5. 운영 변화를 알리는 일이 병원에 번거롭지 않습니까?
A5. 알릴 것을 휴진, 인력, 진료 시간의 세 가지로 좁히고, 짧은 문자 한 줄로 알리게 하면 부담이 적습니다. 알림이 늦더라도 근무표로 날짜를 맞출 수 있어, 알리는 일 자체를 빠뜨리지 않는 것이 중요합니다. 알림 문자에는 무엇이 언제부터 바뀌는지만 쓰면 되고, 받은 문자는 실험 기록에 옮겨 남깁니다.
응대 방식 실험과 광고 시작의 예외
실험에서 바꾼 것이 상담 인력의 응대 방식 자체라면, 인력 변화는 실험과 떼어 낼 수 없습니다. 이때는 인력이 바뀐 날을 기준으로 실험을 나누어 두 실험으로 보고합니다. 실험 중 병원이 광고를 새로 시작한 것처럼 다른 일이 실험에 끼어들면, 그것도 운영 변화와 같은 방식으로 표시합니다.
실험을 마친 뒤에도 바꾼 양식을 계속 쓴다면, 한 달 뒤 같은 지표를 다시 계산하고 그 사이의 운영 변화도 같은 방식으로 표시합니다.