陈天: 开发工程师需要的业务能力和软件开发能力

程序构建

http://share.coderena.com/slides/shower/soft-eng-capability.html

要有持之以恒的耐心来不断应对变化
善于观察，思考对策
不断总结累积共性
孩子最终要从童话世界中走出，面对现实世界的厮杀

软件系统的演进,软件的发展阶段和声明周期

婴儿期：

PoC / MVP，本地运行，只关注成功路径。问题：它是否可行？
从 0 到 1 的成就感
没有脏活累活（错误处理，部署，监控等），全是新鲜体验
就是写代码，没那些乌七八糟的事

少儿期：

开始面对真实世界，加入错误处理，关注健壮性。问题：它是否有价值？

青春期：

日志，错误报告，安全，部署，更多商业逻辑。问题：它是否能为更多的客户带来价值？

成人期：

性能，CI/CD，监控，报警，统计分析，自动伸缩，自动恢复。问题：它是否能持续为客户带来价值，并立足于商业竞争？

 * 无穷无尽的线上问题（还要回头补充 UT，IT，和 metrics 防止 regression） 
 * 重压之下的问题解决能力
 * 很多跟代码无关的事情（业务挂了，你要写个事后分析吧，性能降了，你要分析和解决吧，等等）

消亡期

软件工程能力

什么样的能力可以从一套系统带入到下一套系统？问对问题有时候比解决问题还重要！！！

一个项目结束后，喘口气，找个可以独处的时间，问问自己：
这个项目我学习到了哪些我没接触到的东西？我能将他们应用在下一个项目中么？
我在项目中，哪些事情或者决策能够做得更好？
如果让我从零到一开发这个项目，我还缺失哪些知识和技能？
* 和具体的功能无关 ——如何使用各种工具和资源，建立一套体系，让软件能够正常 运行 和 演进
* 收集数据的能力，以及分析数据的能力
* 快速应对问题，进行决策和解决问题的能力
* 万金油 —— 什么都「略懂」

软件工程师能力的几个核心指标

• 综合技术能力
  软件的部署
  系统架构
  数据架构
  监控和报警
• 数据能力
  收集数据的能力
  分析数据的能力
• 综合能力
  快速决策和解决问题的能力
  什么都略懂一些
• 责任心：
  有担当
• 敢为人先：
  不要推辞那些你没准备好的事情

系统架构能力

• 项目的整体架构是什么？
• 如果有 framework，framework和app之间是如何解耦的，依赖是如何注入的？
• 处理一个请求或者任务的pipeline是什么样子的？（能不能在白板上画出来）
• 服务的 QoS 如何保证？是否使用了队列？如何调度？
• 系统是怎么运行的？都有什么样的依赖，为什么要有这样的依赖？
• 日志监控报警都是怎么处理的？
• 系统的哪个部分不够合理？
• 如果将系统中的某个部分替换，可以怎么处理

部署能力

• 部署不仅仅是 devOps 的事
• 项目是如何部署的？服务之间的网络架构是什么样子？数据如何流转？
• 方案：
  手工部署：ssh & rsync & restart
  脚本部署：fabric / ansible / puppet / chef
  打包部署：docker，AMI

数据架构（数据可视化和场景还原）

• 用户在 app 中的行为，哪怕是 idle 的行为，都应该收集
  求全，想清楚，最好一步到位，至少一年内不会因为少记录了什么而懊悔
• 从用户端收集来的 event 应该采用什么样的格式？哪些 context 必须具备？
• 记叙文三要素：时间地点人物。发生了什么事，上下文是什么
• 不同平台搜集上来的数据如何统一（是否有必要统一）？
• web 的 click 和 iOS 的 touch 是否要统一？如何统一？
• event 存储在何处？如何 aggregate？
• aggregate 的各种结果存储在何处？如何查询？如何可视化？

数据收集

• 什么数据值得收集？（公司在收集些什么数据？为什么？有没有可以改进的地方？），行为收集：能收集就收集

• 收集到的数据流向了什么系统？数据如何存储保存？为什么？

• 数据是如何处理和聚合的？（是 realtime 还是 batch？为什么？有没有可以改进的地方？）

• 聚合后的数据怎么存储？

• 数据是否能够方便地查询？可视化？

数据分析

• 如何读懂各个指标？

• 如何看待某个指标的增长？（同比/环比？）
  例1：一个新版本导致 response time 降低

• 如何通过对比多个指标寻找潜在的问题？
  例2：对比同一时间点上的 metrics 寻找差异

• 如何通过数据的异常发现问题？
  例3：广告的 impression 的异常

• 通过数据，形成画像，反向研究用户的行为，和系统的场景，进一步提升自己的服务，各种metrics数据汇总和观测

监控报警：核心指标检测

• 数据核心指标的检测

• 监控力度阈值是多少

• Response Time（20s）

• 启动次数(上升还是下降)
• 常规操作次数（升降）
• Api 调用频率的（升降）
• 500，404， 400 常用的异常代码的出现频率
• 短信邮件的报警机制

• 系统报警到问题解决的时间长短

• api 被恶意调用监控

• 用户大规模的流量在某一个点，骤然下降，流量异常检测
• 关键业务没有完整的实现：
  
  • 支付不成功
  • 注册不成功
  • 短信验证码失败
  • 加入购物车，下单，失败，跳转登录失败等等
• 基础服务：带宽报警，内存，硬盘，cpu 报警
• 服务的响应时间变慢监控,请求很久要返回
• 数据库sql慢查询
*

业务场景还原

服务完整性的验证？如何验证用户完整的走完了一个业务流程?还是走了一半卡住了？

如何跟踪用户的每一步操作，以及间隔，什么导致他快速完成，什么导致他等待？

如何发现这样的问题，分析下自身原因是什么导致了用户没有继续下去？

如何应对，使用什么策略，哪种方案来解决卡住的问题？完善自身的服务，更高的促进优化？

如何做 AB Test 来验证目前的服务是否被优化了，以及下一步怎么办？

反向来验证自己的业务和方法展现方式，是否有问题，可以更近一步的地方，在哪里，从哪里入手等等

日志系统

• logstack
• ...

综合素质解决问题能力

快速决策和解决问题

• 软件开发的本质是：make decision

• 决策：将来自多方的信息汇总到一起产生一个合理的解决方案

  • 注意累积你个人的 KB（知识库）
  • 要勇于决策，勇于行动

• 解决问题，尤其是线上问题不一定要完美的方案

  • 跟时间赛跑
  • workaround（曲线救国，用迂回的策略解决问题） 往往更佳

• 是错要有回滚的能力，一旦有问题马上回滚到稳定的版本

• 一个人知识面越宽广，各方面都略懂，那么解决问题的时候思路就会更加的多，考虑更全面，可以解决很多灰色地带的问题，这些问题只有融会贯通，打开了任督二脉的人才能领悟

知识的层次和知识的广度，经验技能决定自己的决策和解决问题能力，做的越多能力越强，正确和错误都会指引者自己往前进，都是学习，要勇于为先
大流量扛不住：升级硬件，和缓存策略，分流策略
请求响应慢：优化代码和数据结构，算法
用户停留时间短：优化推荐算法
总之，不怕出错，就怕什么也不做！

知识面广一些

• 很多别人的知识和经验，如果多问些为什么，能够转化为你自己的

• 不要把自己桎梏在前端 / 后端 / devOps 这些角色，要多学习其他领域

• 灰色地带的知识和经验往往具有很大的价值（Only you）

  • 你是代码写得好还知道如何表达的
  • 你是系统层开发很6，还对业务有深入思考的
  • 你是前端产品开发很棒，还懂得如何做数据分析的

责任心有担当，荣誉感

责任心：有担当

• proud to be the owner & eat your own dog shit
• 代码在线上出问题不可怕，可怕的是想法掩盖事实
• 总结经验教训，查漏补缺，UT/IT/metrics/alert，一个都不放过
• 不管是否自己 oncall，出了问题第一时间投入进去不解决不罢休
• 把自己当成用户，想象她们的绝望

敢为人先：不要推辞那些你没准备好的事情

• 线上的服务总是会出各种各样让人崩溃的问题
• 你可以选择逃避，让有经验的人去面对
• 但更应该直面，负起责任，寻找解决方案
• 这是能让你最快成长的、最快累积系统知识的途径

业务能力：离钱最近的职位

程序员的定位

• 商业的本质是赚钱
• 离钱越近的职位对公司而言越重要
• 你离钱有多近？
• 你知道公司怎么赚钱么？

每个人都应该知道的业务知识

市场环境

• 构建我们所做的业务，行业上通行的方式是什么？
• 这个行业使用的协议，规范，接口我是否都已经了解？
• 这个行业和其上下游的关系是什么样的？

竞争对手

• 谁是我们的竞争对手？
• 我们在行业间的竞争优势是什么？
• 主要竞争对手的系统有什么特色？

用户获取

• 公司是如何获取用户？
• 如何留住用户？
• 如何让已有的用户升级为 power user？

花钱与赚钱

• 公司或者部门如何赚钱？（每年赚多少钱？我的业务部门赚多少钱？占比？）
• 公司或者部门如何花钱？
• 用户获取的费用如何？
• 用户的 life time value 怎样？

自己的小感悟：

• 如何获取用户？如何留住用户？如何让已有的用户升级为 power user？
• 公司如何赚钱？公司如何花钱？用户获取的费用如何？用户的 life time value 怎样？
• 谁是我们的竞争对手？我们在行业间的竞争优势是什么？
• 我所构建的系统，行业上通行的做法是什么？

后续感悟

选择关注度最高，离钱最近的职位

场景分析：用户时间的竞争

• 场景分析用户时间有限，干这个就干不了其他的，看电视，购物，消费大号内容，

创业公司一些思考

创业公司核心kpi的考察

考虑公司业务，考虑公司规模
小规模没有挑战，不利于自己成长，接触到达的场景

创业公司中待久了一直成下降螺旋的态势如何补救？

朋友推荐，证明自己，为自己背书

想去理想公司，目前水平不够怎么办？

研究想去的公司，对口做功课

自学语言，或是其他方向

• github项目练手来证明自己的实力
• 刷题认证来证明自己的水平 FCC,Udacity

关于迭代周期

一般2周，和scrum 的流程契合
大家工作越久越熟练，衣服穿久了贴身，人用久了贴心