こちらはドクターズプライム Advent Calendar 2021 2日目の記事です。昨日の記事はこちら
今日は大塚(id:anriotsuka)が担当します。ドクターズプライムではプロダクトマネージャーとデータアナリストを兼務しています。
Twitter(@anboorin)で主にデータ活用まわりのことをつぶやいたりしています。
今日のテーマ
今日はドクターズプライムのデータモニタリング手法についてお話します。
モニタリング手法といっても、データ基盤やBIツールなど技術的な話には今回触れません。 人がデータをどのように観察して、どのように意思決定に利用しているのかという活用の仕方にフォーカスしようと思います。
こんなことありませんか？
- モニタリングダッシュボードを作ったはいいが、イマイチ活用されていない気がする
- 数字の上がり下がりに一喜一憂するだけで、具体的なアクションが起こせていない
- データドリブンな意思決定をしていきたいが、具体的にどうすれば良いのかわからない
このような悩みは「モニタリングダッシュボードを使った定例会の実施」で解決できるかもしれません。
これから、ドクターズプライムでどのような定例会を実施しているか、データの解釈をする際にどのような点に気をつけているか、実際の事例を用いてご紹介します。実践的な内容になっていると思いますので、組織でのさらなるデータ活用に向けて参考にしていただければ嬉しいです。
※こちらの記事は、比較的小規模なスタートアップ・ベンチャーを想定して書いています。大きな企業の場合は、このやり方をそのまま適用するのは難しいと思いますが、5~30人くらいの事業部・チームの中での活用方法に置き換えて読んでいただくと、適用できる部分を見つけていただけるかもしれません。
人を巻き込むデータモニタリング
ドクターズプライムでは、毎週1時間「ヘルスチェック定例」を開催しています。
この定例会の主眼は、事業目標に対する進捗確認ではなく、事業の健康状態を評価することにあります。日々新しい取り組みを行う中で、全てのメトリクスは期待通りの動きをしているか？想定外の副作用などが起きていないか？ということを確認します。
主な参加者は、経営陣・データアナリスト・各プロジェクトの代表者（①医師の応募を増やすPJ, ②プロダクト開発, ③掲載求人を増やすPJ）ですが、
誰でも参加してOKの開かれた会になっています。（社内のオープンスペースで開催しており、Meetで社内中継もしているので耳だけ参加も可能です）
意思決定に繋がるデータモニタリングの4ステップ
定例で何をしているのか、4つのステップにわけて簡単にご紹介します。
1. 検知: 数値の変化に気づく
CompanyMonitoringDashboardという全社の重要メトリクスが網羅的に見れるダッシュボードを眺めて、数字に気になる動きがないか確認します。
時系列で各メトリクスの動きが見れるようになっており、時間軸は月次・週次・日次があります。特に重要なメトリクスについては、セグメントごとに分解して見ることもできるようになっています。
2. 解釈: 変化の要因について議論をして仮説を作る
数字に気になる動きがあった場合、参加者でその要因についてディスカッションします。 各プロジェクトの代表者に出席してもらっている理由は、ここで多角的な視点で数字の解釈をするためです。
医師担当: 「xx日に医師へマーケメールを送った影響じゃないか？」
プロダクト担当: 「yy日に○○機能をリリースした影響もありそう」
といったように、いろいろな仮説を立てていきます。
3. 検証: ダッシュボードで仮説を検証
ダッシュボードを使って、仮説の確からしさを簡易的に検証します。
「メトリクスAが下がっている原因がXだとすると、メトリクスBは上がっているはずだがそうなっていないので、Xは原因といえなさそう」 といったように、ダッシュボードで確認できるメトリクスを使って確度の高い仮説だけに絞っていきます。
ここは各メトリクスの性質や関係性に一番詳しいデータアナリストがリードします。
4. 総括: 結論やネクストアクションをまとめて全体に共有
定例中に全員が納得できる結論が得られれば、その結論をまとめます。何か問題が起きていた場合は、ここで具体的な改善アクションについても決めます。
結論が得られなければ、検証のために何を行うか決め、結論付けは次回に持ち越します。 定量分析やユーザーインタビュー、テスト施策の実行など、検証の手法は様々なため、その時々で適したものを選択します。
ここで出た結論やネクストアクションは、サマリとしてSlackの#generalチャンネルで全体に共有されます。
これにより、所属プロジェクトや職種に関わらず、全員で今の事業進捗や課題感などの認識を合わせることができます。
また、毎週末行っている全社定例で、ダッシュボードを使ってデータの解釈についてデータアナリストが発表します。これにより、データを読み解く力を全社で培おうとしています。
メトリクスが下がっている！＝ 悪い知らせ？
ここまで、ヘルスチェック定例でどのようにデータモニタリングをしているかについて簡単にご紹介しました。
次に、同じようなメトリクスの動きでもどれほど多様な解釈ができるか、ドクターズプライムで実際にあった事例をご紹介します。説明のために一部、社内用語を使用させていただきますが、こちらのファネルとユーザーセグメントを参考にしていただければと思います。
1. Bad News: 検索性の悪化によるヘビーユーザーの離反
実際に行ったデータモニタリングの４ステップ
- 検知: ヘビーユーザーのアクセス者数, 求人閲覧率が落ちている
- 解釈: 最近急激に掲載求人数が増えたことによって、ユーザーが希望する求人に辿り着けなくなり、離反が起きているのでは
- 検証: ヘビーユーザーに電話インタビューした結果「興味のない求人で溢れて探しづらくなった」との声が多数
- 総括: 検索性の悪化によりユーザーの離反が起きているため、検索機能の改善を早急に行う。それまでは求人掲載の量を減らす
掲載求人を増やす勝ち筋が見つかり祝福モードの社内でしたが、モニタリングによって早期に異変に気づくことができました。発見後すぐに対策を実施したことで、無事にヘビーユーザーのアクセス者数, 求人閲覧率は復活しました。
この時のエピソードは『毎日ユーザーインタビュー中継！社員全員がユーザーの声を聞ける仕組み』でも触れられています。
2. Neutral: マーケ施策による見せかけのMAUの変動
実際に行ったデータモニタリングの４ステップ
- 検知: アクセス者数が落ちている（前月に増えたComeback層のアクセスユーザーが積み上がっていない）
- 解釈: マーケメールを打った月にMAUが増えているので、マーケメールによって一時的にサービスへの関心が薄い層のアクセスが増えたのではないか
- 検証: Comeback MAUを、能動的なアクションをしたユーザーとそうでないユーザーに分解し、各セグメントのアクセス継続率を見ると大きな差分があった
- 総括: マーケメールで、サービスへの関心が薄い層のアクセスが一時的に増えていた。MAUの定義をより本質的なものにアップデートする
これを機にMAUの定義をアップデートしたため、見せかけの数字の上下に一喜一憂せずに、より本質的な指標を追う体制ができました。マーケティング施策の質の評価もしやすくなります。
はじめはシンプルな定義でメトリクスを計測し、必要性が出てきて初めて定義を複雑化するというのも、データモニタリングをチームに浸透させるポイントです。
3. Good News: 求人一覧画面の改善により求人詳細を見る必要がなくなった
実際に行ったデータモニタリングの４ステップ
- 検知: 求人閲覧率が全体的に下がってきている （※求人閲覧: 求人詳細画面を閲覧すること）
- 解釈: 求人一覧画面で表示される情報をアップデートしたので、求人詳細を見ずとも応募したい求人かどうかのだいたいの判断ができるようになったのではないか
- 検証: ユーザーの実際の操作を見てみると、多くのユーザーが求人一覧画面をじっくりと眺め、滅多に求人詳細を開かなかった。また、求人詳細閲覧からの応募率は上がっており、応募数の減少は見られなかった
- 総括: 求人一覧画面のアップデートが、ユーザーの検索体験を向上させている
メトリクスが下がったからといって、すぐに悪いことだと短絡的思考に陥らずに、柔軟に仮説を立てることの重要性がわかる出来事でした。
データの解釈の精度を上げるためには
アクセス者数の減少・求人閲覧率の減少という同じメトリクスの変化でも、全く異なる解釈ができるという事例をご紹介させていただきました。データはそれだけでは意味をなさず、正しい解釈をすることこそが重要であると言えるわけですが、データの解釈の精度を上げるためにはどうすればよいのでしょうか。
突き詰めると高度な統計知識や機械学習の活用などの話になってしまいますが、データ量が少なく、精度よりもスピードを求められるスタートアップのような環境においては、これから紹介する3つのポイントが抑えられていれば十分ではないかと思います。この3つをしっかり行うだけでも、十分な効果を感じられるはずです。
データの解釈の精度を上げるための3つのポイント
1. 仮説構築力
日々、プロダクトを触ったり、データを見たり、顧客の声を聞いたりと、一次情報に触れて自分の引き出しを増やすことは重要ですが、ひとりではどうしても限界があります。
社内の色々な人を巻き込んで議論をし、多角的な視点で仮説を立てましょう。日々施策の実行やお客さま対応を行っている現場感のあるメンバーからの情報は、思わぬ視点をもたらしてくれることがあります。
2. 定量分析のスキル
組織にデータアナリストがいればその人にお任せできますが、いない場合はPMなどの職種の人がその役割を補う必要があります。実務で色々試しながら、以下のようなスキルを身につけられると良いのではないかと思います。
- 基本的なデータ操作力(データの抽出,加工,集計) ※お使いのデータ環境次第で、Excel関数の知識, BIツールの知識, SQL記述力など、必要なものは異なります
- 目的のために適切な分析設計ができる(適切な対象・指標の選定, バイアスの排除など)
- データの性質(分布や推移など)やデータの関係性(相関など)への基本的な理解
3. 定性調査の活用
データ分析によってユーザー行動の解像度を高めることはできますが、ユーザーの行動の心理的な理由を知ることはできません。行動の理由を探るには、定性調査が役立ちます。
定性調査にも多くの手法が存在し、きちんと活用するには専門的なスキルが必要となってきますが、ことスタートアップにおいてはクイックにユーザーの声を聞ける体制が整っているかがまず重要なのではないかと思います。
『毎日ユーザーインタビュー中継！社員全員がユーザーの声を聞ける仕組み』でもご紹介したように、弊社では日常的にユーザーの声を聞く文化があります。最近はユーザーインタビューを專門で行うチームも組成され、ますます力を入れています。
まとめ
- 検知・解釈・検証・総括の4ステップで、モニタリング定例を実施する
- 部門・職種横断で社内の人を巻き込んで、多角的な視点で仮説を立てる
- 定量定性の両面で仮説検証を行い、解釈の精度を上げる
このような取り組みを続けていくことで、正しくデータが解釈できるようになり、会社全体で認識が揃い、具体的なアクションが生まれ、事業成長に貢献するデータモニタリングができるようになるのではないかと思います。
一緒に働く仲間を募集しています
ドクターズプライムでは「救急車のたらい回しをゼロにする」というビジョンの実現に向けて、病院向けのSaaSプロダクトおよび、医師/病院間の最適なマッチングを提供するマッチングプラットフォームを展開しており、一緒に働く仲間を募集しています。
まずはカジュアルにお話してみませんか？
データ活用についてや、ドクターズプライムの事業や組織のことなど、ざっくばらんにお話します。
