콘텐츠로 건너뛰기

컨트롤 그룹

컨트롤 그룹은 Push, Email, In-App, SMS, WhatsApp에서 마케팅 메시지로부터 고정된 비율의 사용자를 제외합니다. Pushwoosh는 캠페인을 계속 수신하는 앱의 다른 모든 사용자와 이 사용자들을 비교하여 메시징이 결과를 이끌어내는지 측정할 수 있도록 합니다.

컨트롤 그룹 사용자는 메시지 유형을 적절하게 설정하면 해당 채널에서 거래 메시지를 계속 받습니다.

컨트롤 그룹 구성원 작동 방식

Anchor link to

Pushwoosh는 누가 컨트롤 그룹에 속해 있는지에 대한 목록을 유지하지 않습니다. 대신, 모든 확인 시 앱, 현재 그룹 버전 번호 및 사용자 ID를 결합하여 해시 공식을 통해 숫자를 생성하고, 그 숫자가 설정한 백분율(예: 5%) 내에 속하는지 확인합니다. ‘예’이면 사용자는 컨트롤 그룹에 속합니다. ‘아니요’이면 속하지 않습니다. 저장된 목록이 아닌 공식이기 때문에, 그룹을 켜면 이후에 가입하는 사람들뿐만 아니라 기존의 전체 사용자 기반에 즉시 적용됩니다.

각 사용자의 결과는 시간이 지나도 동일하게 유지됩니다. 일단 할당되면, 사용자는 그룹을 재구성하거나 크기를 변경하거나 사용자 ID가 변경될 때까지 컨트롤 그룹에 속하거나 속하지 않은 상태를 유지합니다. 따라서 그룹을 비활성화했다가 나중에 재구성하지 않고 다시 활성화하면, 공식 자체가 변경되지 않았기 때문에 이전과 정확히 동일한 그룹으로 돌아갑니다.

컨트롤 그룹이 메시지 전달에 미치는 영향

Anchor link to

컨트롤 그룹 구성원 자격은 각 발송에 대해 설정한 메시지 유형에 따라 메시지를 차단하거나 허용합니다.

  • 마케팅 메시지: Push, Email, In-App, SMS, WhatsApp에서 컨트롤 그룹 사용자에 대해 차단됩니다.

  • 거래 메시지: 해당 채널에서 계속 전달됩니다. 고객 여정을 생성하거나 일회성 메시지를 보낼 때 거래 메시지를 선택하세요.

해당 채널의 모든 발송에 대해 마케팅 메시지 또는 거래 메시지를 선택하세요. 메시지 유형 설정 위치 보기.

마케팅 및 거래 메시지에 대해 자세히 알아보기.

컨트롤 그룹 생성하기

Anchor link to

컨트롤 그룹을 생성하여 마케팅 메시지에서 사용자 일부를 제외하기 시작하세요. 애플리케이션은 하나만 가질 수 있습니다. 그룹이 생기면 새 그룹은 더 이상 나타나지 않습니다.

  1. 설정 > 컨트롤 그룹으로 이동합니다.
  2. 새 그룹을 클릭합니다.

그룹이 아직 없는 컨트롤 그룹 목록과 새 그룹 버튼을 가리키는 화살표

  1. 컨트롤 그룹 크기를 설정합니다: 마케팅 메시지에서 제외되는 사용자 비율로, 1%에서 20%까지 설정할 수 있습니다.

컨트롤 그룹 크기 필드가 있는 새 컨트롤 그룹 대화상자

  1. 생성을 클릭합니다. 그룹은 즉시 구성원을 마케팅 메시지에서 제외하기 시작합니다.

컨트롤 그룹 관리하기

Anchor link to

설정 > 컨트롤 그룹을 열고 그룹의 행을 클릭하여 해당 페이지로 이동하면 아래 섹션이 적용됩니다.

컨트롤 그룹 크기 편집하기

Anchor link to

언제든지 해당 페이지에서 컨트롤 그룹의 크기를 조정할 수 있습니다.

  1. 오른쪽 상단의 컨트롤 그룹 설정을 클릭합니다. 버튼에는 그룹의 현재 백분율도 표시됩니다(예: 컨트롤 그룹 설정: 10%).
  2. 새 백분율을 선택합니다:
  • 3% (최대 도달률): 민감하거나 가치가 높은 잠재고객을 위한 가장 작은 제외 그룹입니다.
  • 5% (대부분의 앱에 권장): 측정 신뢰도와 사용자 도달률 사이의 최적화된 조합입니다.
  • 10% (더 높은 신뢰도): 더 명확하고 신뢰할 수 있는 ROI 검증을 위한 더 큰 컨트롤 그룹입니다.
  • 사용자 지정 (1%–20%): 유연한 측정을 위해 사용자 지정 컨트롤 그룹 크기를 설정합니다.
  1. 적용을 클릭하여 변경 사항을 확인합니다.

컨트롤 그룹 설정 버튼과 컨트롤 그룹에 사용할 수 있는 백분율 옵션

그룹 크기 재계산하기

Anchor link to

컨트롤 그룹 크기는 Pushwoosh가 약 하루에 한 번 업데이트하는 저장된 숫자를 보여줍니다. 그룹 크기를 변경한 직후나 많은 신규 사용자가 앱에 가입했을 때 이 숫자는 오래된 정보일 수 있습니다.

즉시 업데이트하려면 그룹 크기 옆의 재계산을 클릭하세요.

컨트롤 그룹 재구성하기

Anchor link to

컨트롤 그룹 재구성은 동일한 백분율을 유지하면서 새로운 무작위 사용자 집합을 선택합니다. 현재 그룹에 있는 모든 사람이 그룹을 떠나고 다른 사용자 집합이 그 자리를 대신합니다. 동일한 사람들이 오랫동안 마케팅 메시지에서 제외되었을 때 사용하세요.

  1. 오른쪽 상단의 점 3개 메뉴를 클릭합니다.
  2. 컨트롤 그룹 재구성을 선택합니다.

컨트롤 그룹 페이지의 점 3개 메뉴에 있는 컨트롤 그룹 재구성 옵션

  1. 나타나는 대화상자에서 확인합니다.

컨트롤 그룹 사용자 내보내기

Anchor link to

Pushwoosh는 컨트롤 그룹 사용자를 태그하지 않으므로, 이 페이지에서 내보내는 것이 현재 구성원 목록을 얻는 유일한 방법입니다.

  1. 오른쪽 상단의 점 3개 메뉴를 클릭합니다.
  2. 사용자 내보내기를 선택합니다.
  3. 내보내기가 완료되면 CSV 다운로드를 클릭하여 파일을 저장합니다.

컨트롤 그룹 페이지의 CSV 다운로드 버튼이 있는 내보내기 완료 알림

컨트롤 그룹 비활성화하기

Anchor link to
  1. 오른쪽 상단의 점 3개 메뉴를 클릭합니다.
  2. 컨트롤 그룹 비활성화를 선택합니다.

컨트롤 그룹 페이지의 점 3개 메뉴에 있는 컨트롤 그룹 비활성화 옵션

비활성화하면 해당 그룹이 즉시 사용자 제외를 중단하고, 사용자들은 다시 마케팅 메시지를 받기 시작합니다. 나중에 재구성하지 않고 다시 활성화하면, 구성원 자격이 동일한 공식으로 계산되므로 Pushwoosh는 정확히 동일한 그룹을 재생성합니다. 다시 활성화한 후 다른 그룹을 얻으려면 재구성하세요.

컨트롤 그룹 삭제하기

Anchor link to

컨트롤 그룹을 삭제하면 해당 그룹과 구성이 영구적으로 제거됩니다.

  1. 오른쪽 상단의 점 3개 메뉴를 클릭합니다.
  2. 그룹 삭제를 선택합니다.
  3. 나타나는 대화상자에서 확인합니다. 이 작업은 되돌릴 수 없습니다.

컨트롤 그룹 영향 분석하기

Anchor link to

각 컨트롤 그룹의 페이지는 해당 그룹에 대한 메시징 성과를 보여줍니다. 페이지에는 두 개의 블록이 있습니다. 상단에는 이벤트 비교 표가 있고, 그 아래에는 영향 보고서가 있습니다. 두 블록 모두 선택한 이벤트에 대해 두 사용자 그룹을 비교합니다.

  • 처리 그룹: 컨트롤 그룹에 속하지 않은 모든 사용자입니다. 이들은 평소와 같이 마케팅 메시지(Push, Email, In-App, SMS, WhatsApp)를 계속 받습니다.
  • 컨트롤 그룹: 위에서 구성한 홀드아웃 그룹입니다. 이 사용자들은 마케팅 메시지에서 제외되므로, 그들의 행동 변화는 캠페인의 영향을 받지 않습니다.

이벤트 비교하기

Anchor link to
  1. 시간 창을 선택합니다: 지난 3일, 지난 7일 또는 지난 30일.
  2. 이벤트 비교 표를 검토합니다. 고객 여정에서 전환 목표를 설정한 경우에만 이벤트가 자동으로 표시됩니다. 그렇지 않으면 표는 비어 있습니다.
  3. 비교할 이벤트 추가를 클릭하여 측정하려는 이벤트를 추가합니다. 총 10개의 이벤트를 추가할 수 있습니다.

처리 그룹과 컨트롤 그룹 간의 이벤트를 비교하는 표가 있는 컨트롤 그룹 페이지

표는 각 이벤트에 대해 다음 지표를 보여줍니다.

  • 처리 그룹 전환율: 처리 그룹의 전환율입니다. 이는 마케팅 메시지(Push, Email, In-App, SMS, WhatsApp)를 받고 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다.
  • 컨트롤 그룹 전환율: 컨트롤 그룹의 전환율입니다. 이는 마케팅 메시지에서 제외되었지만 메시징 영향 없이 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다.
  • 상승률: 처리 그룹과 컨트롤 그룹 전환율 간의 백분율 차이를 컨트롤 그룹 전환율에 대한 상대적인 값으로 나타냅니다. 양수 값은 처리 그룹이 더 잘 전환되었음을 의미합니다. (처리 그룹 전환율 - 컨트롤 그룹 전환율) / 컨트롤 그룹 전환율 × 100%로 계산됩니다.
  • 유의성: 차이가 통계적으로 신뢰할 수 있는지 여부:
    • 유의미함: 상승률이 우연에 의한 것일 가능성이 낮습니다.
    • 유의미하지 않음: 차이가 아직 통계적으로 신뢰할 수 없습니다.
    • 데이터 부족: 어느 한 그룹이 이 이벤트에 대해 10회 미만의 전환 또는 10회 미만의 비전환을 기록하여 유의성을 계산할 수 없습니다.

영향 보고서 보기

Anchor link to

이벤트 보기 드롭다운을 사용하여 표에서 이벤트를 선택합니다. 아래의 영향 보고서는 해당 이벤트에 대한 더 깊은 분석을 보여줍니다.

상승률, 메시징에 의한 전환, 그룹 분석 표를 보여주는 영향 보고서

  • 상승률 (컨트롤 그룹 대비 변화): 처리 그룹 전환율이 컨트롤 그룹 전환율과 얼마나 다른지를 나타냅니다. 이는 이벤트 표에 표시된 값과 동일합니다.
  • 메시징에 의한 전환: 메시징 없이 예상되는 수를 초과하여 메시지에 의해 생성된 추가 이벤트의 추정 수입니다. (처리 그룹의 사용자당 이벤트 수 - 컨트롤 그룹의 사용자당 이벤트 수) × 처리 그룹 크기로 계산됩니다. 백분율은 모든 처리 그룹 이벤트 중 이러한 추가 이벤트의 비율을 보여줍니다.
  • 유의성: 측정된 차이가 통계적으로 신뢰할 수 있는지 여부를 나타냅니다. 보고서는 다음에 따라 유의미함, 유의미하지 않음 또는 데이터 부족을 표시합니다.
    • 신뢰도: Pushwoosh가 상승률이 무작위적인 우연이 아닌 처리 그룹과 컨트롤 그룹 간의 실제 차이를 반영한다고 얼마나 확신하는지를 백분율로 보여줍니다. 신뢰도가 높을수록 증거가 더 강력합니다.
    • P-값: 메시징이 실제 효과가 없을 경우 이 차이를 우연히 관찰할 가능성을 보여줍니다. P-값이 낮을수록 차이가 무작위가 아니라는 더 강력한 증거를 제공합니다.
  • Z-점수: 두 그룹의 성과가 얼마나 떨어져 있는지를 보여줍니다. 0에 가까운 점수는 차이가 무작위일 수 있음을 의미합니다. 0에서 멀어질수록 한 그룹이 다른 그룹보다 진정으로 더 낫다고 더 확신할 수 있습니다.
  • 그룹 분석: 추정 사용자 수, 총 이벤트 수, 사용자당 이벤트 수, **전환율(순 사용자)**별로 처리 그룹과 컨트롤 그룹을 비교합니다.

자주 묻는 질문

Anchor link to

애플리케이션에 둘 이상의 컨트롤 그룹을 가질 수 있나요?

Anchor link to

아니요. 애플리케이션은 모든 마케팅 발송에 자동으로 적용되는 하나의 컨트롤 그룹만 가질 수 있습니다. 특정 메시지를 다른 그룹으로 지정할 방법은 없습니다.

컨트롤 그룹을 삭제할 수 있나요?

Anchor link to

네, 그룹 페이지의 점 3개 메뉴에서 삭제할 수 있습니다. 이 작업은 되돌릴 수 없으며, 애플리케이션에 대체 그룹이 없게 됩니다. 새 컨트롤 그룹을 생성할 때까지 마케팅 메시지는 모든 사람에게 전송됩니다. 그룹을 잃지 않고 일시 중지하려면, 삭제하는 대신 비활성화하세요.

어떤 사용자가 컨트롤 그룹에 속하나요?

Anchor link to

Pushwoosh는 컨트롤 그룹 구성원의 저장된 목록을 유지하지 않습니다. 앱, 사용자 ID 및 그룹의 현재 설정을 기반으로 동일한 입력에 대해 항상 동일한 답변을 제공하는 계산인 공식을 사용합니다. 이는 그룹을 활성화하는 순간 신규 가입자뿐만 아니라 전체 기존 사용자 기반에 적용되며, 그룹을 재구성하거나 크기를 변경하지 않는 한 특정 사용자에 대한 결과는 매번 동일하게 유지됩니다.

컨트롤 그룹 사용자가 거래 메시지를 받나요?

Anchor link to

네. 거래 메시지(예: 비밀번호 재설정, 주문 확인)는 컨트롤 그룹을 포함한 모든 사용자에게 전달됩니다. 컨트롤 그룹 사용자에게는 마케팅 메시지만 차단됩니다.

마케팅 또는 거래 메시지 유형은 어디서 설정하나요?

Anchor link to

메시지를 보낼 때마다 선택합니다. 각 채널에 대해 메시지 유형 설정 위치를 참조하세요.

컨트롤 그룹을 활성화하기 전에 생성된 캠페인은 어떻게 되나요?

Anchor link to

컨트롤 그룹을 활성화하기 전에 생성된 캠페인은 새 캠페인과 똑같이 작동합니다. Pushwoosh는 캠페인 생성 시점이 아닌 발송 시점에 캠페인의 메시지 유형을 확인합니다.

  • 마케팅 메시지 (또는 API를 통해 생성된 캠페인에서 발생할 수 있는 메시지 유형 없음): 컨트롤 그룹은 즉시 해당 사용자를 제외합니다.
  • 거래 메시지: 컨트롤 그룹 사용자는 이전과 같이 계속 수신합니다.

컨트롤 그룹을 포함한 모든 사람에게 도달하게 하려면 캠페인을 편집하고 메시지 유형을 거래 메시지로 설정하세요.

컨트롤 그룹을 활성화한 후 크기를 변경할 수 있나요?

Anchor link to

네. 설정 > 컨트롤 그룹에서 그룹 페이지를 열고 컨트롤 그룹 설정을 클릭한 다음 새 백분율(1%~20%)을 선택하고 적용을 클릭하세요. Pushwoosh는 전체 사용자 기반에 대해 새 백분율에 따라 구성원 자격을 다시 계산합니다. 그룹을 늘리면 이미 그룹에 있는 사람을 제거하지 않고 사용자가 추가되며, 그룹을 줄이면 일부 기존 구성원이 해제됩니다. 이는 이전 캠페인과의 비교에 영향을 미칠 수 있으므로 필요할 때만 크기를 변경하세요.

컨트롤 그룹을 비활성화하면 어떻게 되나요?

Anchor link to

Pushwoosh는 사용자 제외를 중단하고 모든 사람이 다시 마케팅 메시지를 받기 시작합니다. 나중에 재구성하지 않고 컨트롤 그룹을 다시 활성화하면, 구성원 자격이 동일한 공식으로 계산되므로 정확히 동일한 그룹으로 돌아갑니다. 다시 활성화한 후 다른 그룹을 얻으려면 재구성하세요.

재구성은 무엇을 하나요?

Anchor link to

컨트롤 그룹 재구성은 동일한 백분율로 새로운 무작위 샘플을 추출하여 현재 컨트롤 그룹을 다른 사용자 집합으로 대체합니다. 그룹 페이지의 점 3개 메뉴에서 사용할 수 있습니다. 동일한 사용자가 오랫동안 마케팅에서 제외되어 새로운 홀드아웃 커버리지를 원할 때 사용하세요. 재구성은 또한 컨트롤 그룹 분석을 위한 측정 기간을 다시 시작합니다.

컨트롤 그룹에 어떤 사용자가 있는지 어떻게 확인하나요?

Anchor link to

Pushwoosh는 컨트롤 그룹 사용자를 태그하지 않습니다. 설정 > 컨트롤 그룹에서 그룹 페이지를 열고 점 3개 메뉴를 클릭한 다음 사용자 내보내기를 선택하여 현재 구성원의 CSV를 다운로드하세요.

컨트롤 그룹의 사용자가 여전히 마케팅 메시지를 받는 이유는 무엇인가요?

Anchor link to

Pushwoosh는 User ID로 컨트롤 그룹 구성원 자격을 계산합니다. 동일한 사람이 하나의 User ID로 연결되지 않은 여러 연락 방법(예: 이메일, 푸시 기기)을 가지고 있는 경우, Pushwoosh는 이를 다른 사용자로 취급하고 각각에 대해 별도로 구성원 자격을 계산합니다. 하나는 컨트롤 그룹에 속할 수 있지만 다른 하나는 그렇지 않을 수 있습니다. User ID가 전혀 없는 연락 방법은 Pushwoosh가 구성원 자격을 계산하는 데 User ID가 필요하므로 절대 제외되지 않습니다. 이를 방지하려면 모든 연락 방법을 동일한 User ID로 등록하세요.

어떤 컨트롤 그룹 백분율을 선택해야 하나요?

Anchor link to

적절한 백분율은 목표, 앱 크기 및 결과를 어떻게 사용할 계획인지에 따라 다릅니다. 더 작은 백분율(예: 3%)은 더 많은 사용자를 잠재고객으로 유지하며 도달 범위를 우선시하는 팀에 적합할 수 있습니다. 더 큰 백분율(예: 10%)은 그룹을 비교할 때 더 강력한 통계적 신뢰도를 제공할 수 있습니다. 필요에 맞게 1%에서 20% 사이의 사용자 지정 값을 설정할 수 있습니다.

내 컨트롤 그룹이 내가 설정한 백분율과 정확히 일치하지 않는 이유는 무엇인가요?

Anchor link to

페이지에 표시된 그룹 크기는 해시 공식이 그룹에 할당한 실제 사용자 수이며, 사용자 수에 백분율을 곱한 값이 아닙니다. 작은 앱에서는 이 수가 백분율과 눈에 띄게 다를 수 있는데, 이는 공식이 정확한 비율을 샘플링하는 대신 개별적으로 사용자를 분배하기 때문입니다. 이 수는 캐시되어 약 하루에 한 번 새로 고쳐집니다. 페이지에서 즉시 재계산을 트리거할 수 있으며, 실행되는 동안 로딩 표시기와 함께 이전 수가 표시됩니다.

이벤트 표에서 데이터 부족은 무엇을 의미하나요?

Anchor link to

데이터 부족은 선택한 기간 동안 해당 이벤트에 대해 처리 그룹 또는 컨트롤 그룹 중 하나가 10회 미만의 전환 또는 10회 미만의 비전환을 기록했음을 의미합니다. 더 많은 데이터가 수집될 때까지 Pushwoosh는 그룹 간의 차이가 통계적으로 유의미한지 판단할 수 없습니다.

상승률은 어떻게 계산되나요?

Anchor link to

상승률은 처리 그룹과 컨트롤 그룹 전환율 간의 백분율 차이를 컨트롤 그룹 전환율에 대한 상대적인 값으로 나타냅니다. 양수 값은 처리 그룹이 더 잘 전환되었음을 의미합니다. Pushwoosh는 이를 (처리 그룹 전환율 - 컨트롤 그룹 전환율) / 컨트롤 그룹 전환율 × 100%로 계산합니다.

메시징에 의한 전환은 무엇을 의미하나요?

Anchor link to

메시징에 의한 전환은 메시징 없이 예상되는 수를 초과하여 메시지에 의해 생성된 추가 이벤트의 추정 수입니다. Pushwoosh는 이를 (처리 그룹의 사용자당 이벤트 수 - 컨트롤 그룹의 사용자당 이벤트 수) × 처리 그룹 크기로 계산합니다. 백분율은 모든 처리 그룹 이벤트 중 이러한 추가 이벤트의 비율을 보여줍니다.

어떤 이벤트를 비교할 수 있으며 몇 개까지 가능한가요?

Anchor link to

고객 여정의 전환 목표로 구성된 이벤트를 비교할 수 있습니다. 비교 표에 최대 10개의 이벤트를 추가할 수 있습니다. 메시지 참여 이벤트(예: 열람, 클릭, 발송, 반송)는 목표로 설정되었더라도 제외됩니다. 컨트롤 그룹 사용자는 반응할 마케팅 메시지를 받지 않기 때문입니다.