Skip to content

BrazeAITMバリアント選択

BrazeAITMバリアント選択は、単一送信または繰り返しのA/Bテストで自動的に実験を実行し、最適なエンゲージメント結果に向けて最適化する機能です。

前提条件

BrazeAITMバリアント選択を使用するには、CampaignまたはCanvasで以下が必要です。

  • 少なくとも2つのメッセージバリアントを追加します。
  • 単一送信を使用しない場合は、少なくとも1つのコンバージョンイベントを定義し、再適格性の時間枠を24時間以上に設定します。短い時間枠はサポートされていません。コントロールバリアントの整合性に影響を与える可能性があるためです。
  • メッセージステップに少なくとも2つのメッセージバリアントを含めます。
  • 単一送信を使用しない場合は、少なくとも1つのコンバージョンイベントが必要です。

単一送信

2つ目のバリアントを追加すると、BrazeAITMバリアント選択が自動的にオンになり、実験に最適なパラメーターを設定し（最適なパラメーターに従った場合、約25%の向上が観察されています）、実験を実行してから勝者バリアントを送信します。追加の操作は必要ありません。

実験をカスタマイズするために、以下のカスタマイズオプションを提供しています。

最適化目標

コンバージョンイベントの設定が強力で、意味のある量のコンバージョンがある場合を除き、開封の使用をお勧めします。これにより、アルゴリズムが最良の結果を提供するために必要なデータを得ることができます。

  • 開封
  • コンバージョンイベント

実験期間

デフォルトの使用をお勧めしますが、カスタム期間を使用する機能を含む、他に2つのオプションを提供しています。

  • 4時間
  • 24時間
  • 72時間
  • カスタム

コントロールグループとバリアント配分

コントロールグループを削除したり、バリアント配分を編集したりできますが、設定された最適なパラメーターの使用をお勧めします。

単一送信バリアント最適化オプション

繰り返し

2つ目のバリアントを追加すると、BrazeAITMバリアント選択が自動的にオンになり、多腕バンディット統計テストを使用して継続的に最適化します。パフォーマンスが良いバリアントにはより多くのメッセージを送信し、パフォーマンスが悪いバリアントにはより少なく送信します。

均等な配分でトレーニングと最適化を開始し、1日2回、高パフォーマンスのバリアントに配分を傾け、低パフォーマンスのバリアントから離れるように調整します。最適な配分を選択したと確信できる十分な証拠（95%以上）が集まるまでこれを続けます。

レポート

向上レポート

単一送信のテスト完了後、および繰り返し送信の短い遅延後に、信頼性の高いデータをレポートできます。BrazeAITMバリアント選択が達成できた向上をダッシュボードでレポートします。

トレーニングコホートの送信後、Brazeは期間設定の時間枠を待ってからデータを確認します。競合するバリアントの配分に基づいて、最適化が行われなかった場合のパフォーマンスの平均を計算し、勝者バリアントに基づいて向上を計算します。

例（均等な配分を想定）：

  • バリアント1：3.5%
  • バリアント2：3%
  • バリアント3：2.5%
  • バリアント4：2%

最適化なしの開封率は2.75%（.035.25 + .03.25 + 0.025.25 + 0.02.25）で、バリアント選択はバリアント1の3.5%を選択するため、向上は27.3%です。

Brazeは調整を行う際に定期的に結果を分析し、各期間の向上の平均に基づいて向上を表示します。

単一送信と同様の方法で、調整量に基づいて各期間の向上を計算します。

例：

  • バリアント1：3.5%、コホートの25%
  • バリアント2：3%、コホートの25%
  • バリアント3：2.5%、コホートの25%
  • バリアント4：2%、コホートの25%

最適化なしの開封率は2.75%（.035.25 + .03.25 + 0.025.25 + 0.02.25）です。バリアント選択は高パフォーマンスのバリアントにより大きな重みを付けます。

以下のように配分されたとします：

  • バリアント1：65%
  • バリアント2：15%
  • バリアント3：10%
  • バリアント4：5%

これは選択された開封率3.075%（.035.65 + .03.15 + 0.025.1 + 0.02.05）に相当し、11.8%の向上となります。各期間でこれを計算し、最適化期間全体で平均化します。

よくある質問

繰り返しCampaignsまたはCanvasesでバリアント選択と組み合わせた場合、24時間未満の再適格性が利用できないのはなぜですか？

バリアント選択のCampaignsで再適格性の時間枠が短すぎることを許可していません。テストにより、コントロールバリアントの整合性に影響を与え、望ましくない配分につながる可能性があることが示されているためです。

繰り返しCampaignの初期段階でバリアントが均等な送信を示しているのはなぜですか？

バリアント選択は、バリアント間で均等に送信されるトレーニング期間の後にのみ、最終的なバリアント割り当てを決定します。パフォーマンスの傾向に気づくにつれて、時間の経過とともに調整されます。Campaignの初期段階で均等に送信したくない場合は、従来のA/Bテスト用の固定バリアントを使用してください。

繰り返しバリアント選択は、明確な勝者を選ばずに最適化を停止しますか？

はい、実験を続けてもコンバージョン率が現在の率の1%以上改善されないと95%の信頼度で判断した場合、最適化を停止します。

CanvasまたはCampaignでバリアント選択を有効にできないのはなぜですか？

単一送信の場合、CanvasまたはCampaignが単一のバリアントで構成されている場合、バリアント選択を有効にできません。

繰り返しの場合、以下の条件ではバリアント選択を有効にできません：

  • CampaignまたはCanvasにコンバージョンイベントを追加していない場合。
  • 24時間未満の時間枠で再適格性が有効になっている場合。
  • CanvasまたはCampaignが単一のバリアントで構成されている場合。
New Stuff!