@sambodhi
2021-10-27T21:44:18.000000Z
字数 3607
阅读 773
WhatsApp 如何在只有 50 名工程师的情况下扩展到 10 亿用户
作者 | Quastor Daily
译者 | Sambodhi
策划 | 赵钰莹
大家好。
今天我们要讨论的是：
WhatsApp 如何仅用 50 名工程师就将用户规模扩大到 10 亿。
- WhatsApp 的工程文化
- WhatsApp 的技术栈
- Erlang
- FreeBSD
- SoftLayer
怎样快速学习新的编程语言和框架
- 这是来自 Hacker News 上最近的一次讨论。我们总结了一些最佳评论。
- 另外，还有一些关于以下方面的技术片段：
- 对 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）的深入研究
- Java 与 Go 的并发性
- 一本惊人的、免费的程序员数学教材（涵盖微积分、线性代数和离散数学）。
另外，我们还有一个关于创建螺旋矩阵的最后一个编码面试问题的解决方案。
2016 年，WhatsApp 的用户数超过 10 亿，并且负载统计数据如下：
- 每日发送 420 亿条信息。
- 每日发送 16 亿张图片。
- 每日发送 2.5 亿条视频。
他们仅用了 50 名工程师就成功地满足了这种规模的需求。
以下是对使之成为可能的工程文化和技术栈的深入研究。
工程文化
WhatsApp 的工程文化包括三个主要原则
- 简单点
- 保持简单
- 全神贯注于任务
简单点
WhatsApp 有意将工程人员保持在小规模，只有大约 50 名工程师。个人工程团队也很小，由 1~3 名工程师组成，每个团队都有很大的自主权。
就服务器而言，WhatsApp 更倾向于使用数量较少的服务器，并且尽可能在最大程度上垂直地扩展每台服务器。
之前，他们的目标是每台服务器拥有 100 万个用户（但是当他们向应用程序添加更多的功能，以及用户在每个用户基础上产生更多的活动时，这变得更加困难）。
服务器数量减少意味着故障减少，从而使团队更易于处理。对于软件来说也是如此，它们限制了生产中系统和组件的总数。也就是说，需要开发、部署和支持的系统更少。不需要开发很多系统/组件，然后进入维护模式（最终成为孤儿，直到出错）。
保持简单
WhatsApp 的口号是“刚刚够的工程”。他们避免在系统和组件上过度投资。取而代之的是，他们专注于建立足够的可扩展性、安全性和可靠性。
在进行技术选择的时候，其中一个关键因素是“什么是最简单的方法？”另外，他们避免在自动化方面的投资，除非完全必要。
全神贯注于任务
WhatsApp 的产品设计非常专注。其主要目的是提供一个具有良好用户界面的核心通信应用程序。他们避免了额外的花里胡哨的功能，或者实现那些不完全关注核心通信的功能。
简单的产品更易于维护和扩展。
技术栈
该技术栈围绕着 3 个核心组件：Erlang、FreeBSD 和 SoftLayer。
Erlang
Erlang 是 WhatsApp 后端系统首选的编程语言。Erlang 从一开始就被设计用于并行性，容错性是该语言的一个主要特点。
你可以在这里读到更多有关 Erlang 的容错性。
开发者使用 Erlang 的效率也非常高。但是，它是一种函数式语言，所以如果你不熟悉这种范式，则需要花一些时间来适应。
这门语言非常简洁，只需少量几行代码就可以完成工作。
OTP（Open Telecom Platform，开放电信平台）是 Erlang 的开源中间件、库和工具的集合。
WhatsApp 尽量避免依赖关系，但它们确实使用了 Mnesia，一个 OTP 的分布式数据库。Erlang 也带来了热交换代码的能力。无需重新启动应用就可以将新的应用代码加载到运行中的应用。这样可以让迭代周期非常快，WhatsApp 可以快速地发布补丁，并且服务的运行时间非常长。
要想知道 WhatsApp 的后端究竟是如何用 Erlang 构建的，你可以看看 2018 年的这个讲座。
FreeBSD
FreeBSD 是 WhatsApp 服务器使用的操作系统。
决定使用 FreeBSD 的是 WhatsApp 创始人，这是基于他们之前在雅虎的经验。创始人（以及许多早期团队）都曾经是雅虎的一员，而雅虎广泛使用 FreeBSD。
要想知道 WhatsApp 到底是如何使用 FreeBSD 的，你可以看这个讲座。请注意，这个讲座是 2014 年的，所以其中一些内容现在可能已经过时了。
SoftLayer
SoftLayer 是 WhatsApp 在 2016 年使用的托管平台。他们选择 SoftLayer 主要有两个原因：
- 拥有一流的操作系统 FreeBSD。
- 能够订购并操作裸机服务器。
但是， SoftLayer 属于 IBM（IBM 公有云的一部分），后来 WhatsApp 从 SoftLayer 迁移到了使用 Facebook 的基础设施。2017 年，他们开始迁移。
用于提高可伸缩性的工具和技术
你可以在这里查看关于 WhatsApp Engineering 制作的完整讲座。
你可以从 WhatsApp Engineering 撰写的高可扩展性的帖子中获得更多具体细节。
怎样快速学习新的编程语言和框架
这是 Hacker News 上关于快速学习新事物的一个有趣讨论。
以下是总结的一些顶级答案。
对于一种新的编程语言，有几个标准的东西你应该试着去实现。
编写几个程序，其中你可以：
- 读取/写入文件；
- 使结构化对象变为 JSON；
- 将 JSON 解析为对象；
- 可从 CLI 运行的基本脚本，解析标志 /args，读取 stdin；
- 发送 HTTP 请求；
- 实现非常基本的网络服务器。
做这些练习的时候，不要复制/粘贴任何代码。你应该自己敲出代码。
- 尽量偏向于阅读（博客、文档、代码、书籍等等）而不要观看视频教程。与观看视频相比，阅读速度更快，并且能更有效地利用时间。
- 学习新框架的 3 个步骤是将其分为一周的工作（总投入为 10~15 小时）
- 准备：从周一到周四，用 1 小时的时间阅读文档、书籍和观看内容。通过这种方式，你就有时间来考虑这些概念。
- 计划：周五，用 1 小时的时间为周末准备一个小项目的想法，它将运用你在一周学到的所有概念。
- 项目：周末花费 4~6 个小时建立这个项目。
技术片段
- A Programmer's Introduction to Mathematics（暂无中译本）：如果你想在机器学习等方面学到更多的东西，你可能需要补习一下数学背景。Jeremy Kun 为程序员编写了一本非常棒的数学教材，内容涵盖了微积分（单变量和多变量）、线性代数和离散数学等主题。
购买电子书时，你可以设定自己的价格，因此你可以支付从 0 美元到 100 美元的任何费用。
假如你曾经在使用基于 JVM 的语言工作过一段时间，你可能会遇到这样的情形：你已经达到了可以拥有的并发线程数量的极限。
对于个人电脑来说，这个限制通常是 10000 个线程左右。而在另一方面，在使用 Go 的笔记本电脑上，你可以拥有超过一亿个 Goroutine。
这篇文章探讨了为什么你可以拥有比线程更多的 Goroutine。
主要原因有二：
- JVM 将线程委托给操作系统线程。Go 实现了自己的调度器，使许多 Goroutine 可以在同一个操作系统线程上运行。
- JVM 默认每个线程有 1MB 的栈。Go 的栈大小是动态的，一个新的 Goroutine 会有大约 4KB 的栈。
这篇文章描述了 HDFS 的架构，并深入介绍了雅虎使用 HDFS 管理 40PB 数据的经验。
面试问题
实现一个 BST Iterator 类，该类表示二进制搜索树的顺序内遍历的迭代器。
实现以下方法：
- BSTIterator：构造函数。BST 的根将作为一个参数被传入。应将指针初始化为一个不存在的数字，小于 BST 中的任何数字。
- hasNext：当指针右边的遍历中存在数字时，则返回 true，否则返回 false。
- next：将指针向右移动，然后返回指针处的数字。
以前的解决方案
提醒一下，这是我们的最后一个问题。
给定一个正整数 i，然后生成一个 n x n 矩阵，其中元素按螺旋顺序从 1 到 i^2 填充。
例：
输入：i = 3
输出：[[1,2,3],[8,9,4],[7,6,5]]
这是 LeetCode 中的问题。
答案：
我们可以通过创建一个 i x i 的矩阵来解决这个问题，然后以螺旋方式循环遍历它，将每个元素设置为 1 到 i^2 的值。
为了以螺旋方式进行循环，我们首先要创建 4 个变量：left、right、top、bot。
这 4 个变量代表我们矩阵的 4 个不同侧面的指针（左列、右列、顶行、底行）。
左边将指向第 0 列，右边将指向最后一列，上面将指向第 0 行，下面将指向最后一行。
当我们按螺旋顺序遍历我们的矩阵时，我们将按以下方式进行操作：
- 遍历顶行。现在，递增顶行。
- 遍历右列。现在，减去右列的值。
- 遍历底行。现在，递减底行。
- 遍历左列，现在，递增左列。
当左指针小于或等于右指针，并且顶指针小于或等于底指针时，我们将迭代这些步骤。
当我们的循环结束时，我们可以返回完成的矩阵。
下面是 Python 3 的代码。
原文链接：
