Category Archives: 因果推断

以后文章更新会先在微信公众号（公众号名：输出ING），欢迎大家来关注。

又是好久没更新了，感谢还在默默关注我的108好汉^_^（正好是108个关注者）

按农历来算，今天是Jeff的生日，于是我立了个flag，让自己通过公众号输出更多内容，一方面是对自己阶段性地总结和归纳，另一方面也鞭策自己不断进步，毕竟有输入才会有输出嘛。

​

考虑到近2年的工作内容以及个人兴趣，之后本公众号内容更新将主要围绕实验、因果推断、用户增长这三块来进行。下面是本人简单列的一些要点，有些已经比较熟悉，但更多的还是需要去深入学习和实践。

• 实验相关
  • 传统A/B Test之外的实验及适用的场景
    • MAB
    • Bayes Optimization
    • Interleaving
    • Sequential Test
    • Network
      
  • 实验中容易忽视的问题及解决办法
    • SRM（Sample Ratio Mismatch）问题是什么意思？如何及时发现？
    • Peeking（频繁查看实验结果）会有什么问题？
    • 实验前两组就存在差异怎么办？
    • 实验策略实际生效比例很低，如何更好度量策略的效果？
    • 实验效果在被作用的各组细分人群中效果差异较大，该怎么识别及度量？
    • 存在多个实验组或观察的实验指标较多时更容易犯第一类错误，该如何校正？
• 因果推断相关
  • 两个框架
    • SCM（Structural Causal Model）
    • RCM（Rubin Causal Model）
  • 常用方法
    • RCT（Random Control Trial）
      • 如A/B Testing
        
    • Quasi-experiments
      • Difference in differences（DID）
        
      • Regression discontinuity designs（RDD）
      • Propensity score matching（PSM）
      • Instrumental variables（IV）
        
    • 其他
      • Sythetic control
      • Uplift model
      • Bayes additive regression trees（BART）
      • Doubly robust（DR）
      • Inverse propensity score weight（IPSW）
        
• 用户增长相关
  • 新增渠道来源追踪
  • DAU和LTV预估
  • 应用内评分
  • 隐藏剪贴板信息
  • 调起去应用市场下载

在整理本文之前，我尝试理了一些实际工作中碰到的问题，有些已经有答案，有些还在持续探索，如果你对上面的话题有兴趣，不妨看看：

1. 要跑一个A/B实验来看某个策略是否有效果，需要用多少用户来做实验？实验跑完后有微弱提升，这个提升是随机波动导致还是策略带来的，该如何判断？
2. 实验策略对关注的核心指标并无显著影响，但某个看起来无关的指标却出现了显著提升，应该如何解读？
3. 实验两组进组用户数跟预期设定有较大差异，实验数据是否可信，该怎么办？
4. 策略虽然对整体无显著提升，但有无可能对某个细分人群有显著提升，如何及时发现并验证？
5. 新上线的某功能，对产品是否有收益，如果有，收益是怎样的？在不能进行A/B实验的情况下，如何量化这里的收益？
6. 有该行为的用户的留存明显要好于没有该行为的用户，能否说明该行为能提高用户的留存，让有该行为的用户比例提升就能促进留存的提升吗？
7. 物质激励（如优惠券）对有些用户并没什么用，如何选择策略作用的人群使效果明显的同时减少对此类不敏感用户的投放（从而减少成本）？
8. 产品开始的大规模线下广告投放，除了提升了用户对品牌的认知度，对获取新用户是否有明显增益？
9. Android端广告投放广泛存在厂商商店劫持，iOS不可分包，如何统计各个渠道带来的新增量？
10. 一个新用户在使用产品之前可能被多个渠道触达，如何更合理的分配各个渠道的贡献？

P.S. 第一个问题可以翻翻本公众号前面几篇写的文章~

对于本公众号后续将更新内容方向或者文末问题有任何想法的同学欢迎给我留言。