A/B 테스트를 "제목 두 개를 넣고 반씩 보내는 기능"으로 이해하면 결과를 잘못 읽습니다. 같은 기능을 써도 무엇을 비교할지, 몇 명에게 보낼지, 언제 승자를 정할지를 정하지 않으면 우연한 차이를 성과로 착각합니다. 이 글은 이지센더의 비교 발송 설정 화면과 A/B 리포트를 기준으로, 테스트를 설계하고 판정하는 순서를 정리합니다.
제목과 CTA 문구를 어떻게 쓰는지는 제목·미리보기 문구·CTA 작성법에서 이미 다뤘습니다. 여기서는 그 문장 중 무엇이 실제로 나은지 가려내는 절차에 집중합니다.

이지센더 제공 이미지. 비교는 조건을 하나만 바꿀 때 의미가 생깁니다.
1. 비교 발송은 '판정 설계'입니다
이지센더의 비교 발송은 같은 이메일을 두 버전으로 일부 수신자에게 먼저 보내고, 설정한 시간 뒤 성과가 좋은 버전을 나머지 수신자에게 보내는 기능입니다. 여기서 결과를 결정하는 것은 세 가지입니다.
비교 항목 — 제목·발신자, 본문·CTA, 발송 시각 중 하나
테스트 그룹 비율 — 전체 명단 중 A와 B에 나눠 줄 인원
판정 기준과 대기 시간 — 무엇을 보고, 언제 승자를 정하는지
이 세 가지를 정하지 않고 "일단 반씩 보내 보자"로 시작하면, 결과가 나와도 다음 캠페인에 쓸 결론이 남지 않습니다. 테스트는 기능이 아니라 실험 설계입니다.
시작 전에 질문을 한 문장으로 적어 두십시오. "받은편지함 목록에서 질문형 제목이 선언형 제목보다 더 열리는가"처럼 쓸 수 있어야 합니다. 이 문장이 흔들리면 비교 항목도, 판정 지표도, 표본 크기도 정할 수 없습니다. 반대로 문장이 정해지면 나머지는 계산과 설정의 문제가 됩니다.
2. 무엇을 비교할지 먼저 고릅니다
오픈 — 발신자 이름과 제목
받은편지함 목록에서 더 많이 열리게 만드는 것이 목적입니다. 바꾸는 것은 발신자명 또는 메일 제목이고, 비교 지표는 오픈율입니다. 제목의 형태(질문형, 숫자, 혜택 강조)나 발신자명(브랜드명 대 사람 이름)처럼 목록에서 보이는 한 가지만 바꿉니다. 본문까지 같이 바꾸면 무엇이 효과를 냈는지 알 수 없습니다.
클릭 — 본문과 CTA
읽은 뒤 누구를 클릭하게 만드는지가 목적입니다. 바꾸는 것은 본문 구성, CTA 버튼 문구나 위치, 이미지 유무이고, 비교 지표는 발송 대비 클릭률입니다. 링크가 연결되는 페이지는 같게 두고 본문 구성만 다르게 설계해야 합니다. 이 유형은 프로 이상 요금제에서 쓸 수 있습니다.
본문 비교에서 자주 쓰는 조합은 버튼 문구, 버튼 위치, 첫 문단 길이입니다. 예를 들어 A는 본문 위에 버튼을 두고 B는 글 끝에 두면, 위치가 결과를 바꾸는지 볼 수 있습니다. 다만 모바일과 PC에서 버튼이 보이는 위치가 다르므로, 미리보기에서 두 기기를 모두 확인한 뒤 테스트를 걸어야 합니다.
보내는 시간 — 발송 시각
언제 보내야 더 잘 열리는지 확인하는 테스트입니다. A와 B의 발송 시각을 다르게 잡고, 승자 결정 기준은 오픈율 또는 발송 대비 클릭률 중에서 고릅니다. 같은 요일, 같은 대상 구성에서 두 시각만 바꾸는 것이 원칙입니다. 오전 9시와 오후 8시처럼 생활 리듬이 다른 시각을 비교하면 차이가 크게 나타나기 쉽고, 30분 차이처럼 작은 차이는 표본이 부족하면 드러나지 않습니다.
3. 이지센더에서 비교 발송을 켜는 순서
비교 발송을 열고 유형을 고릅니다
이메일 작성 화면 위쪽의 '비교 발송'을 열고 사용을 켭니다. 무엇을 비교할지 세 가지 중 하나를 고르면, 필요한 수신자 수와 현재 요금제에서의 이용 가능 여부가 함께 표시됩니다. 화면에 적힌 기본 권장값은 A 10%, B 10%, 나머지 80%이고, 최소 표본 권장은 버전별 500명 이상입니다.
테스트 그룹 비율을 정합니다
비율 슬라이더를 움직이면 A·B와 나머지 발송 그룹의 예상 인원이 바로 바뀝니다. 예를 들어 슬라이더를 23%로 두면 A 11.5%, B 11.5%, 나머지 77%가 됩니다. 테스트 그룹을 키우면 판정의 신뢰도는 올라가지만, 좋지 않은 버전을 받는 사람이 늘어납니다. 반대로 줄이면 대부분이 승자 버전을 받지만, 판정이 흔들립니다.
결과 대기 시간을 정합니다
테스트 그룹에 발송한 뒤 몇 시간 동안 성과를 집계할지 정합니다. 대기 시간이 짧으면 아직 열지 않은 사람이 반영되지 않고, 길면 나머지 발송이 늦어집니다. 업무일 기준으로 하루 안에 대부분의 열람이 일어나는 명단이라면 12시간 전후가 무난합니다. 주말을 끼거나 해외 수신자가 섞여 있으면 더 길게 잡습니다.
발송 시각을 비교하는 유형은 구조가 다릅니다. A와 B를 각각 다른 시각에 보내고, 두 시각의 테스트 결과를 비교한 뒤 우세한 시각이 다시 돌아올 때 나머지 수신자에게 보냅니다. 그래서 검토 화면에는 A와 B의 예약 시각뿐 아니라 나머지 그룹의 발송 예정 시각도 함께 표시됩니다. 세 시각을 모두 읽고, 나머지 발송이 업무 시간 밖으로 밀리지 않는지 확인하십시오.
승자 선정과 나머지 발송은 별개입니다
대기 시간이 끝나면 성과가 좋은 버전이 선정되고, 나머지 그룹에 그 버전이 발송됩니다. 여기서 확인할 것은 두 가지입니다. 선정이 실제로 일어났는지, 나머지 발송이 예정대로 나갔는지입니다. 리포트에서 선정 표시만 보고 "테스트가 끝났다"고 판단하면 나머지 발송의 실패를 놓칩니다.

실제 화면. 비교 발송을 켜면 오픈·클릭·보내는 시간 세 가지 유형과 요금제별 이용 가능 여부가 함께 표시됩니다.
4. 표본 크기 — 500명은 최소선입니다
화면이 권장하는 버전별 500명은 최소선이지 충분한 양이 아닙니다. 오픈율 25%인 명단에서 500명씩 비교하면, 우연히 생길 수 있는 변동 폭이 4%p 안팎입니다. 다시 말해 실제 차이가 3%p여도 드러나지 않거나 반대로 보일 수 있습니다.
같은 조건(양측 검정, 유의수준 5%, 검정력 80%)에서 버전 하나에 필요한 인원을 계산하면 다음과 같습니다. 표의 값은 기준 오픈율과 검출하려는 상대 차이에 따라 달라집니다.
기준 오픈율 | 5% 차이 | 10% 차이 | 20% 차이 | 30% 차이 |
|---|---|---|---|---|
15% | 36,310명 | 9,257명 | 2,402명 | 1,106명 |
20% | 25,583명 | 6,510명 | 1,683명 | 772명 |
25% | 19,147명 | 4,862명 | 1,251명 | 571명 |
30% | 14,856명 | 3,763명 | 963명 | 437명 |
40% | 9,493명 | 2,389명 | 604명 | 270명 |
숫자가 커 보이는 이유는 비교 대상이 비율이기 때문입니다. 열람률 25%와 30%는 5%p 차이지만 상대적으로는 20% 차이이고, 이 정도를 우연과 구분하려면 표본이 꽤 필요합니다. 반대로 10명 중 3명과 10명 중 5명처럼 작은 숫자에서 벌어진 차이는 표본이 작아서 생긴 변동일 가능성이 큽니다. 명단이 작을 때 비교 발송을 피하라는 이유가 여기에 있습니다.
읽는 방법은 이렇습니다. 오픈율이 25%인 명단에서 10% 정도의 차이(25% 대 27.5%)를 가려내려면 버전마다 약 4,860명, 양쪽 합쳐 9,700명이 필요합니다. 명단이 그보다 작다면 그 차이는 이번 테스트로 판정할 수 없습니다. 반대로 20% 차이(25% 대 30%)를 노린다면 1,250명씩으로 충분합니다.
그래서 명단 규모에 따라 실험의 목표를 바꿔야 합니다.
버전당 500명 미만 — 비교 발송 대신 순차 비교로 바꿉니다. 이번 발송과 다음 발송에서 한 항목만 바꾸고, 여러 회차의 방향이 같은지 봅니다.
버전당 500~2,000명 — 20~30% 수준의 큰 차이만 검출할 수 있습니다. 제목 형태를 완전히 다르게 바꾸는 굵은 실험이 맞습니다.
버전당 2,000명 이상 — 10%대 차이까지 볼 수 있습니다. 발신자명, CTA 문구처럼 미세한 조정을 다룹니다.
버전당 5,000명 이상 — 2~3%p 차이도 판정할 수 있습니다. 요일·시간대 실험을 반복해 경향을 확인할 때 씁니다.
명단 규모가 애매하면 세그먼트로 대상을 좁혀 조건을 균일하게 만드는 편이 낫습니다. 이질적인 명단을 섞으면 분산이 커져 같은 인원으로도 차이를 못 잡습니다.
5. 승자 판정에서 자주 틀리는 것
선정과 현재 우세는 다릅니다
A/B 리포트에는 두 가지 표시가 있습니다. 선정은 테스트가 끝난 시점에 저장된 판정 결과이고, 현재 우세는 저장된 선정 없이 지금 지표로 비교한 표시입니다. 테스트가 끝난 뒤에도 열람과 클릭은 계속 쌓이므로, 시간이 지나면 현재 비율과 선정 당시 결과가 달라질 수 있습니다. 현재 우세가 좋다고 해서 그 버전이 나머지 발송에 쓰였다는 뜻은 아닙니다.
두 그룹의 반응률이 같다고 표시되는 경우도 있습니다. 이때는 차이가 없다는 뜻이지, 한쪽이 확실히 우세하다는 뜻이 아닙니다. 작은 차이를 근거로 다음 캠페인까지 같은 결론을 끌고 가면 안 됩니다.
분모를 맞춰야 합니다
A/B 판정 지표는 그룹별 발송 건수를 분모로 씁니다. 예를 들어 A가 100건 중 20건 클릭, B가 50건 중 15건 클릭이면 클릭 건수는 A가 많지만 발송 대비 클릭률은 A 20%, B 30%로 B가 높습니다. 그룹 크기가 다르면 건수 비교는 의미가 없습니다.
일반 리포트의 숫자와 섞지 않는 것도 중요합니다. 일반 리포트의 열람은 고유 인원 기준이고, A/B 리포트는 반응이 있는 발송 기록 건수 기준입니다. 상단 성과 요약은 A·B·나머지 발송을 합친 값이라 분모가 또 다릅니다. 리포트 화면을 오갈 때 어느 숫자가 어느 분모인지 확인하십시오.
자동 클릭을 사람의 반응으로 읽지 않습니다
메일 보안 프로그램이 링크를 먼저 열면 수신자가 누르지 않아도 클릭 요청이 생깁니다. 이지센더는 자동 접근으로 판정한 클릭을 통계에서 제외하고, 판정 이유를 기록에 남깁니다. 자동 클릭 의심으로 분류된 기록은 통계에 포함됩니다. 클릭률을 비교할 때는 상세 기록에서 일반 클릭과 자동 클릭을 구분해 확인하는 편이 안전합니다.

이지센더 제공 이미지. 지표는 화면에 뜬 숫자가 아니라 분모까지 확인해야 합니다.

실제 화면. 테스트 그룹 비율 슬라이더와 결과 대기 시간, 성과 판단 기준을 정하는 부분입니다.
6. 발송 시각 테스트는 이렇게 설계합니다
두 시각은 조건을 맞춰 고릅니다
발송 시각 테스트에서 가장 흔한 오류는 요일을 섞는 것입니다. 월요일 오전과 금요일 오후를 비교하면 시각의 효과인지 요일의 효과인지 구분할 수 없습니다. 같은 요일에 두 시각을 나눠 보내거나, 두 시각을 며칠씩 반복해 요일 효과를 상쇄합니다. 대상도 같은 세그먼트에서 무작위로 나눠야 합니다.
발송 시각과 반응 시각은 다릅니다
리포트의 '언제 반응했나요?'는 보낸 시각이 아니라 열람·클릭이 기록된 시각을 기준으로 합니다. 오전 9시에 보낸 메일을 점심에 읽으면 반응은 점심에 잡힙니다. 그래서 시간대 그래프를 볼 때는 "이 시간에 보냈더니 반응이 좋았다"가 아니라 "이 시간대에 반응이 몰렸다"로 읽어야 합니다. 다음 테스트의 후보 시각은 이 그래프에서 고르되, 발송 시각은 그보다 앞선 시간으로 잡습니다.
한 번의 결과를 규칙으로 만들지 않습니다
한 번의 테스트에서 이긴 시각이 다음 달에도 이긴다는 보장은 없습니다. 명단 구성이 바뀌고, 계절과 업무 리듬도 바뀝니다. 같은 조건의 캠페인에서 두세 번 반복해 방향이 유지되는지 확인한 뒤 기본 발송 시각으로 굳히십시오.
접속 환경도 같은 실험의 단서가 됩니다. 리포트의 접속 환경에서 모바일 비중이 높다면, 시각 테스트와 별개로 모바일 첫 화면에서 제목과 본문이 어떻게 잘리는지 먼저 점검해야 합니다. 기기별 비율은 열람 기록을 기준으로 계산되며, 메일 앱이 이미지를 대신 불러오는 경우도 있어 실제 기기를 확정하는 값은 아닙니다. 경향으로만 읽으십시오.
7. 결과를 다음 캠페인으로 넘기는 기록
"B가 이겼다"만 남기면 다음에 쓸 수 없습니다. 아래 항목을 캠페인 메모에 남겨 두면 석 달 뒤에도 같은 판단을 반복하지 않습니다.
바꾼 조건 하나와 그대로 둔 조건
판정 지표와 그 분모(발송 건수 기준인지 고유 인원 기준인지)
전체 대상, 테스트 대상 A·B, 나머지 발송 인원
선정된 버전과 두 그룹의 비율 차이(%p)
나머지 발송에서 같은 방향이 이어졌는지
자동 클릭 제외 여부와 반송·실패 건수
발송 실패도 함께 봐야 합니다. A와 B의 발송 성공 건수가 크게 다르면 비율 비교 자체가 어긋납니다. 반송이 한쪽에 몰렸다면 그룹 배정이 아니라 주소 품질의 문제이므로, 반송 주소를 정리한 뒤 다시 테스트하는 편이 빠릅니다.
이 기록이 쌓이면 "우리 명단에서는 질문형 제목이 열람률을 3%p 올린다" 같은 문장이 남습니다. 그때부터 제목 회의는 취향 다툼이 아니라 근거 비교가 됩니다. 발송 전 확인 항목은 발송 전 최종 점검 10가지를 함께 쓰십시오. 테스트 발송에서 링크나 개인화 변수가 깨지면 A/B 결과 자체가 무의미해집니다. 지표를 읽는 기본 순서는 열람·클릭 통계 보는 법에 정리되어 있습니다.
8. 자주 묻는 질문
비교 발송은 어느 요금제부터 쓸 수 있나요?
제목·발신자 비교와 보내는 시간 비교는 스타터부터, 본문·메일 내용 비교는 프로 이상에서 쓸 수 있습니다. 화면에서 유형을 고르면 현재 계정의 이용 가능 여부가 함께 표시되므로, 설정 전에 그 표시를 확인하는 것이 가장 정확합니다. 요금 구간은 요금제 안내에 있습니다.
테스트 그룹은 몇 퍼센트가 적당한가요?
화면의 기본 권장값은 A 10%, B 10%, 나머지 80%입니다. 판정이 흔들린다면 테스트 그룹을 키우고, 대부분에게 좋은 버전을 보내고 싶다면 줄입니다. 다만 버전당 인원이 500명 아래로 내려가면 결과를 믿기 어려우므로, 비율보다 인원을 먼저 확인하십시오.
결과 대기 시간은 얼마로 잡아야 하나요?
명단이 하루 안에 대부분 반응하는 구조라면 12시간 전후가 무난합니다. 주말이나 야간 근무자가 섞여 있으면 12~24시간 범위에서 늘립니다. 짧게 잡으면 늦게 읽는 사람이 반영되지 않아 판정이 앞당겨질 뿐 정확해지지 않습니다.
우세 그룹이 나왔는데 나머지 발송이 안 됐습니다.
선정과 나머지 발송은 별개 단계입니다. 리포트의 발송 단계와 나머지 발송 예정 시각을 확인하고, 실패했다면 사유를 먼저 보십시오. 같은 캠페인을 다시 만들어 전체 발송하면 테스트 그룹이 중복 수신할 수 있으므로, 재발송 전에 대상과 제외 조건을 확인해야 합니다.
같은 테스트를 다시 하면 결과가 달라지나요?
달라질 수 있습니다. 명단 구성, 계절, 직전 캠페인의 피로도가 모두 변합니다. 그래서 한 번의 결과를 규칙으로 삼지 않고, 같은 조건에서 반복해 방향이 유지되는지 확인합니다. 반복해서 같은 방향이 나오면 그때 기본값으로 정하십시오.
9. 정리합니다
비교 발송의 값은 기능 자체가 아니라 설계에서 나옵니다. 비교 항목을 하나로 좁히고, 명단 규모에 맞춰 검출 가능한 차이를 정하고, 대기 시간을 업무 리듬에 맞춥니다. 그리고 결과는 선정과 현재 우세를 구분해 읽고, 분모가 무엇인지 확인한 뒤, 나머지 발송까지 끝났는지 봅니다.
이 순서를 지키면 명단이 작아도 얻을 것이 남습니다. 차이를 판정할 수 없는 규모라면 순차 비교로 바꿔 방향만 확인하고, 판정할 수 있는 규모라면 그 차이를 다음 캠페인의 기본값으로 굳힙니다. 감으로 고른 제목과 근거로 고른 제목의 차이는 한두 번의 캠페인이 아니라 1년치 기록에서 벌어집니다. 한 달에 한 번만 테스트해도 1년이면 열두 번의 판정이 쌓이고, 그 열두 번이 발송 기본값을 바꿉니다.
