Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GitHub: Insights from Researching Growth
Search
Derek Greentree
February 20, 2015
Technology
4
170
GitHub: Insights from Researching Growth
A talk given by @chrissiebrodigan and myself at Developer's Summit Tokyo in February 2015.
Derek Greentree
February 20, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
SSMRunbook作成の勘所_20241120
koichiotomo
3
160
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
2
3.2k
『Firebase Dynamic Links終了に備える』 FlutterアプリでのAdjust導入とDeeplink最適化
techiro
0
140
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
110
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
180
Zennのパフォーマンスモニタリングでやっていること
ryosukeigarashi
0
160
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
3
630
B2B SaaSから見た最近のC#/.NETの進化
sansantech
PRO
0
900
20241120_JAWS_東京_ランチタイムLT#17_AWS認定全冠の先へ
tsumita
2
300
プロダクト活用度で見えた真実 ホリゾンタルSaaSでの顧客解像度の高め方
tadaken3
0
190
DynamoDB でスロットリングが発生したとき/when_throttling_occurs_in_dynamodb_short
emiki
0
260
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
540
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
265
13k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
44
2.2k
Measuring & Analyzing Core Web Vitals
bluesmoon
4
130
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
10 Git Anti Patterns You Should be Aware of
lemiorhan
655
59k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
110
Embracing the Ebb and Flow
colly
84
4.5k
Building Adaptive Systems
keathley
38
2.3k
Building Your Own Lightsaber
phodgson
103
6.1k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Transcript
! GitHub Insights from researching growth
! @derekgr on GitHub ‣Boulder, Colorado ‣Software Engineer 2001 –
Today ‣Joined GitHub’s Analytics Team, 2013
!
! I build tools for accessing and analyzing data. データを抽出して解析するツールを開発
しています。
! GitHub.com: Traffic Graphs GitHub.com: トラフィックグラフ
! Frequency: GitHub Experiments Frequency: GitHub実験
@chrissiebrodigan on GitHub ‣San Francisco, CA ‣User Experience Researcher ‣Joined
GitHub’s Design Team, 2013
!
! I’m a qualitative researcher, so I study human behaviors
to help inform design and product decisions. デザインとプロダクトの決断を補助するために⼈人間⾏行動 を研究しています。
!
Qualitative Research 定性的リサーチ •Usability studies – Watching someone use a
product./ユーザビ リティスタディ - 製品の利⽤用者を観察する。 •Interviews – Listening to people share experiences./ヒアリング - 利⽤用者の体験を聞き取る。 •Exploratory studies – Discovering unknowns./探索 - 不明な事を 発⾒見する。 •Surveys – Reading a lot of open-text answers./アンケート - 利 ⽤用者が書き込んど情報を読む。
! I look for patterns that we can’t usually see
alone with numbers. 数字だけでは⾒見つけられないパ ターンを探しています。
! Example: If newer users make fewer pull requests, we
learn why that’s happening. 例: 新規利⽤用者が既存利⽤用者より作成して いるプルリクエストが少ないなら、何 故それが起きているかを研究します。
! Together, Derek and I study what is happening with
numbers, why with human experiences. 私達は、数字を元に何が起きて いるか、⼈人間の体験を元に何故 起きているかを研究しています。
! How many of you use GitHub? GitHubを利⽤用している⼈人は ⼿手をあげてください。
! How many of you currently work with a research
team? リサーチチームと⼀一緒に 仕事している⼈人は⼿手をあ げてください。
! Today, we’re going to share 3 insights we’ve learned
about researching growth. ࠓ(SPXUIΛݚڀ͢ΔதͰൃݟ͠ ͨ̏ͭͷڭ܇Λ͑·͢ɻ
! 1. Combine superpowers Qualitative & quantitative research ਓೳྗΛ߹ମͤ͞Α͏ɻ
ఆྔతͱ࣭త
! 2. Create milestones Important user metrics ϚΠϧετʔϯΛ࡞͠Α͏ ॏཁར༻ऀͷϝτϦοΫʢߦಈࢦʣ
! 3. Build tools Automate & scale process πʔϧΛ࡞͠Α͏ ࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏
! Together these 3 insights will help with your growth
efforts.
! First, a story
! GitHub grows fast Lots of traffic and sign-ups. (JU)VC͍εϐʔυͰ͍ͯ͠·͢
トラフィックとアカウント作成は 多いです。
! ຊʹૣ͍ͷͰ͢ 2008 - 2014 4 million new users in
2014
! We knew our early users well. ॳظͷϢʔβʔͷࣄྑ͍ͬͯ͘·ͨ͠ɻ Twitter, Hacker
News, Friends, Meetups, Conferences, Rails community 5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ ϯεɺ3BJMTίϛϡχςΟʔ
! It was easy to design GitHub for ourselves and
our friends. ࣗͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ Πϯ͢Δͷ؆୯Ͱͨ͠ɻ
! But, people who sign up today are different. ͨͩ͠ɺࠓొ͍ͯ͠Δਓͨͪ
ҧ͍·͢ɻ
! They come from all over the world. ੈքதͷਓ͕ొ͍ͯ͠·͢ɻ
! They aren’t all developers. ։ൃऀҎ֎ͷਓ(JU)VCΛར༻͍ͯ͠·͢ɻ
! Many don’t know Git. Most know SVN, TFS, Mercurial.
gitを知らない⼈人もいます。 SVN、SVN、Mercurialを知っている⼈人が多い です。
! Crisis ةػ "
! Many people sign up and fail to get started.
ଟ͘ͷਓొͯ͠ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠ ·ͨ͠ɻ
! They don’t come back. ͜ͷਓୡ͕ೋͱ(JU)VCΛར༻͠·ͤΜɻ
! Fewer people are successful over time 時間が進むほど成功する⼈人の数が減ります。 Survivors ⽣生存者
! GitHub’s growth of active users slowed down. GitHubのアクティブユーザーの 数のGrowthが減速していまし
た。
! Hard ͍͠
! Smart people fail. 頭の良い⼈人でも脱落する。
! To grow GitHub people need to succeed. GitHubを成⾧長させるにはこの ⼈人達を成功に導く必要がある
! We needed to learn more about new users. 新規ユーザーに関してもっと学
ぶ必要があった。
! We needed answers to questions about new users. 新規ユーザーに関する質問の
答えが必要だった。
! Who are they? 誰なのか。
! What do they want? 何を求めているのか。
! How can we help? どうやって我々は⼒力に なれるのか。
! Research リサーチ(研究)
! We built a research team to study behaviors. ⾏行動を研究するためにリサー
チチームを⽴立ち上げた。 #
!
We design with 5 inputs: 様々なインプットを元にデザインを⾏行っている 1. Quantitative data –
Analytics/定量的データ - Analytics (統計) 2. Qualitative data – Stories/定性的データ - ストーリー 3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B) 4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識 5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切 に思っている
! Data is helpful, but you need to use it
wisely. 全てのデータに価値はあるが、賢明に利 ⽤用する必要がある。
! We moved slowly, thoughtfully on a simple project. まずは簡単なプロジェクトで慎重に計画を
練って始めた。
! Project: User Milestones ユーザーɾマイルストーン
! We know people use GitHub to develop and ship
software. ⼈人々はGitHubでソフトウェアを開発して出 荷をする。
! We looked at data and discovered 3 predictors of
future activity. 将来のアクティビティーの3つの予兆を発⾒見し た。
! Future activity will help you design for growth. 将来のアクティビティーを知っていれ
ば、Growthのためにデザインする助けに なる。
! 1. Social Milestones ソーシャルマイルストーン Discovering projects & people. プロジェクトと⼈人を発⾒見(Discover)する。
! Star a project Social Milestones
! How many of you have starred a project? プロジェクトの★星印をクリックし
たことある⼈人は⼿手をあげてください。
! Follow a person Social Milestones
! How many of you have followed a person?
GitHubで他の⼈人をフォローしたこ とある⼈人は⼿手を上げてください。
! 2. Workflow Milestones ワークフローマイルストーン Collaborating with other people. ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ
! Comment/Open Pull Request or Issue Workflow Milestones
! How many of you have opened or commented
on an issue or pull request? Issueやpull requestを作成したり、コ メントした事ある⼈人は⼿手をあげてくだ さい。
! 3. Code Milestones コードマイルストーン Developing on GitHub. GitHubで開発する。
! Create repository Code Milestones
! How many of you have created a repository?
レポジトリを作成した事ある ⼈人は⼿手をあげてください。
! Push a commit Code Milestones
! How many of you have pushed a commit?
Commitをプッシュした事があ る⼈人は⼿手をあげてください。
! User milestones = shared vocabulary ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書 A
common way to talk about performance, expectations, and results. パフォーマンス、期待と結果について話し合える共通の⾔言語
! But, we still needed to test them out. ただし、テスト(検証)する
必要もあった。
! Experiment #1. New User Quiz 実験その1 新規ユーザークイズ
! We asked 5 questions to 5% of new users
signing up from the United States. ⽶米国で新規登録したユーザーの5%に5 つの質問を聞いた。
69% programming 69%プログラミング 1. What are you most interested in?
何に最も興味があるか。 in?
76% brand new to Git 76%はGit未経験 2. How familiar are
you with Git for version control? Gitの経験値はどれくらいか。
60% code 60%は開発している 3. Do you code? 開発してますか?
50% maybe 50%もしかしたら 4. Would you like to get involved
in Open Source? オープンソースに参加したい?
58% not yet 58%はまだ無い 5. Do you already have a
project to start working on? 直ぐに作業を始めたいプロジェクトは既にあ るか?
! + Milestones/マイルストーン + Survey data /アンケートのデータ + Interviews/ヒアリング =
Personas/ペルソナ
Personas: who we build GitHub for GitHubを次の⼈人のために開発している: ϓϩάϥϚʔ ϑΝϯ ։ൃ͠ͳ͍ߩݙऀ
։ൃΛษڧ͍ͨ͠ਓ ΦʔϓϯιʔεϓϩδΣΫτ ͷཧऀ ઌੜ
! But, we still struggled to locate and analyze data.
ただし、データを探しだして分 析するのが⼤大変だった。
! Personas tell us that our biggest growth opportunity
is still with programmer enthusiasts. ペルソナを利⽤用することによってプログラ マーɾファンがGitHubにとって⼀一番⼤大きい Growthの機会だとわかります。
! Especially if they use GitHub at work. GitHubを仕事で使っている
場合はこれは特に当てはまります。
! How many of you use GitHub at work?
GitHubを職場で使っている⼈人は ⼿手をあげてください。
! Personas help us see growth opportunities with project managers
and designers. ペルソナはプロジェクトマネージャと デザイナーでどのような成⾧長機会があ るかを⾒見せてくれます。
! To grow we need to build better project management
tools 成⾧長するにはよりよいプロジェクトɾマネージメントツール を開発する必要があります。 GitHub Issues
! Students are aspiring hackers who want to learn to
use GitHub. 学⽣生はGitHubの利⽤用⽅方法を勉強し たいプログラマー予備軍です。
! To grow we need to make GitHub free for
students. ここで成⾧長するには学⽣生向けにGitHubを無料で提供する 必要があります。
! education.github.com
! Research is helpful to everyone! リサーチは皆にとって重要です!
! But, we still struggled to locate and analyze data.
ただし、データを探しだして 分析するのが⼤大変だった。
! Without tools it was hard for people to get
answers to statistical questions. ツールが無いと、統計に関 して質問がある⼈人に答えを 提供するのが難しったです
! This wasn’t sustainable! このやり⽅方では持続できない!
! This wasn’t sustainable! このやり⽅方は持続できない!
! We built internal tools to guide variance testing and
inform design decisions. 分散テストを導いて、デザインの決断を補 助するための内部ツールを作成した。
! Statistics isn’t scary, but it can feel intense. 統計は怖くない、
でも結構⼤大変に感じてしまうことはある。
4 key questions ポイントになる4つの質問 1. Is the change better?/これは良い変更なのか 2.
How much better?/どれくらい良いのか 3. How statistically valid is the result?/結果は統計的にどれ くらいだとうなのか 4. Am I getting the whole picture?/状況を全て把握できてい るのか
! Frequency
! We want everyone at GitHub to be a user
researcher. GitHubの従業員全員が利⽤用者を 研究できるようにしたい
! Frequency is an internal GitHub app for people who
don’t want to become statisticians. 統計学者なりたくない⼈人向けの GitHubの社内アプリ
! Frequency: Internal GitHub Experiments
! Let’s look at a real experiment. 実際の実験を⾒見ましょう
! How can we improve the % of new users
who make a pull request in their first 28-days? 登録してから28⽇日以内にプルリクエス トを作成する新規ユーザーの率を⾼高め る事は可能か? $
! First call-to-action after sign-up アカウント作成後に⾏行動を 誘引(Call to action)
! Call to action ⾏行動を誘引 %
! help.github.com Help site with lots of content.
! Designed 3 variants to see if we could improve
the likelihood of a new user making a pull request. ユーザーがプルリクエストを作成 する可能性を⾼高くするための3つ の⽅方法をデザインしました。
! Designed 3 variants 3つの異型をデザイン
Variant 1. “Control” 統制群
Variant 2. “New Bootcamp” 新⼈人集中研修
! help.github.com Help site with lots of content.
Variant 3. “Hello World”
! guides.github.com Pull Request Tutorial
! Which one is the best? どれが⼀一番良いのか?
! Frequency: Internal GitHub Experiments
! Let’s look at Frequency’s outcomes Frequencyの結果を⾒見ましょ う
Social Milestone ソーシャルɾマイルストーン
! People in Hello World were -5 to -.2% less
likely to star a project than the control. “Hello World”の⼈人たちは統制群より プロジェクトにスター★を付ける率- 5から-.2%が低かった。
Workflow Milestone ワークフローɾマイルストーン
! People in Hello World were 75.8 - 86.8% more
likely to make a pull request than the control. “Hello World”の⼈人たちは統制群よ りプルリクエストを作成する率が 75.8 - 86.8%⾼高かった。
! Success! 成功! Pull requests are a more valuable GitHub
metric than pure retention. 純粋なりテンションよりプルリクエス トの⽅方がGitHubとしては重要な数値で ある。 $
! 3 insights 3つの教訓
! 1. Combine superpowers 超⼈人能⼒力を合体しよう。 Qualitative & quantitative 定量的と定性的
! 2. Create milestones マイルストーンを作成しよう Might be a lot of
manual work. 結構な量のマニュアル作業が必要かも知れ ないが。
! 3. Build tools ツールを作成しよう Create and automate process. 作成して、作業を⾃自動化
! Together these 3 things will help with your growth
efforts. この3つのことはより早い growthを可能にします。
! Growth
! Let’s talk about you. 皆さまについて話しましょう。
! I want you to think about 3 things. 皆さまには3つの事について
考えて欲しいです。
! 1. Who are your users? 皆さまのユーザーは誰なのか
! Are they people you already know or people you
need to learn more about? どういう⼈人なのか既に知り尽くして いるのか、まだ研究することが必要 なのか。
! 2. What are your milestones? 皆さまのマイルストーン(道 標)は何ですか?
! Pure retention? 純粋なretention? 28-day actives 28⽇日間アクティブなユーザー
! Or, more complex social behaviors? それとももっと複雑な社会的な⾏行動 なのか? Pull requests
プルリクエスト
! 3. What tools do you need? どのようなツールが必要 なのか
! Research insights will help you grow your audience. リサーチの教訓はお客さま
のgrowthにつながります。
! Finish with a pug 最後にパグ
None
We ♥ making GitHub for you. @derekgr @chrissiebrodigan !