qualvaでABテスト機能が実装！【qualva ABテスト】とは？

チャットボット「qualva」で非常にリクエストの多かった機能【ABテスト】がついに実装されました。本記事では、ABテストの重要性から、qualvaに実装されたABテスト機能【qualva ABテスト】の詳細、運用時の注意点などをわかりやすく紹介します。

ABテストについて

まず、ABテストとはどんなものなのか説明します。

ABテストとは

ABテストとは、マーケティングで利用される手法の一つです。サイトやLPを2つのパターンで用意し、広告のアクセス数やコンバージョン率などのデータを比較して、より良いほうを採択します。

ABテストを実施する際は、より正確なデータを収集するため、比較対象以外の条件や期間、広告媒体や掲出量などをできる限り同じにする必要があります。

ABテストの重要性

ABテストを実施することで、勝ちパターンを見極めることが可能になります。サイト・LPはもちろんですが、導入しているツールを最適化するためにも重要です。

新機能【qualva ABテスト】

qualvaの新機能として、ABテストが実施できる【qualva ABテスト】が実装開始しました。実際にどんな機能なのか紹介します。

どんな機能？

複数の種類のチャットボットをユーザーに表示することができます。

準備は大変？

実装する際に、タグの設置とLPの準備が必要です。LPはABテスト用に1つ準備すれば大丈夫で、LPに専用のタグを設置するだけです。

実装方法は？

実装方法は【 ID振り分け】と【パラメータ振り分け】の2種類があります。2つの実装方法の違いとメリットなどについて説明します。

 ＜ID振り分け＞

プロジェクトを作成してそれらをLPで交互に表示。基本的には50:50の割合で表示します。プロジェクトは2つに限らず、複数設定することが可能で、複数表示する場合の割合は、100をプロジェクト数で割った数になります。

例）4つのIDでテストを行う場合の表示率　100÷4=25で25:25:25:25

また、管理画面やダッシュボードはプロジェクトごとに分かれています。

＜パラメータ振り分け＞

一つのプロジェクトIDに複数のパラメータを付けて振り分ける方法です。出し分けと同じ要領で、btnClass=qualvaBtn1とbtnClass=qualvaBtn2を出し分けます。管理画面・ダッシュボードは同じです。

どういった使い分けが適しているか？

検証範囲が広いABテストの場合、【 ID振り分け】がおすすめです。一方ちょっとした文言や画像の変更程度のABテストであれば【パラメータ振り分け】がおすすめです。

＜ID振り分けに適した案件＞

• ダッシュボードを分けてしっかり分析したい。
• シナリオ内で大きな変更を入れたい。
• Aには存在しないカラムがBには存在する場合。

＜パラメータ振り分けに適した案件＞

• シナリオの変化はそこまで大きくなく、文言や画像の出し分け程度で対応可能な場合。
• qualvaBtn出し分けの延長程度で、簡易的なABテストを行いたい場合。

▼CVRが2倍向上するチャットボット！▼

ABテストを実施する際に気をつけるべきこと

背景

ABテストを実施する前に、開始する理由や目的を明確化しましょう。

対象者

まず、テストの対象となるユーザーグループを明確にしましょう。ABグループ分けをランダムに行い、両グループの人口統計学的特徴が似通っていることを確認します。これを考慮することで、ABテストの結果が正確で信頼性が高いものとなります。

また、グループサイズも適切に設定することが重要です。グループサイズが小さすぎる場合は、結果が正確でない可能性があります。一方でグループサイズが大きすぎる場合は、テスト期間が長くなります。

テスト設計

テストグループの構成、変数の定義、期間などをしっかり記録しておきます。また、適切な指標を決めておきましょう。指標を決める際は、バイアスを回避するために客観的な指標を選択して、目標と一致するようにしましょう。例えば、購入を目的とする場合は、コンバージョン率や購入数など、テスト終了まで指標がぶれないようにすることも重要です。指標を適切に解釈することで、正確な結論を得ることができます。

結果

テスト結果とその解釈を明確にするため、下記を確認しましょう。

• 統計学的有意性
  • 統計学的に有意な差があるかどうかを確認します。
• サンプルサイズ
  • サンプルサイズが十分であるかどうかを確認します。
• 相関関係
  • 複数の指標を使用する場合は、相関関係を確認します。
• 外部要因の影響
  • 外部要因が結果に影響を与えていないか確認します。
• 専門家の意見
  • 結果の解釈については、場合によって専門家に分析してもらうことも必要です。

結論

 ABテストの結果を確認・比較し、全体的な結論と、今後の改善提言をまとめましょう。この際、客観的に分析することが大切です。

まとめ

【qualva ABテスト】の新機能を入れることは難しくありません。ただ、機能を最大限に生かすには、ABテストの設計が大切です。

PROFESSYでは、カスタマーサポートが十分にヒアリングを実施したうえで、【qualva ABテスト】の実装をご提案します。チャットボットのABテストがしたいという、具体的な希望がある場合はもちろん、相談ベースのお問い合わせでもかまいません。まずはお気軽にご相談ください。