@xuemingdeng
2017-06-02T15:53:45.000000Z
字数 1255
阅读 977
网站架构
摘要:
Medium是一个在线发布平台,最初由Twitter联合创始人Evan Williams开发。该平台于2012年启动,现在每个月有6000万独立访客。该网站部署在AWS上,使用NodeJS和Go作为应用程序和服务的开发语言,使用DynamoDB作为数据存储,并使用Amazon Redshift作为数据仓库。
正文:
Medium是一个在线发布平台,最初由Twitter联合创始人Evan Williams开发。该平台于2012年启动,现在每个月有6000万独立访客。该网站部署在AWS上,使用NodeJS和Go作为应用程序和服务的开发语言,使用DynamoDB作为数据存储,并使用Amazon Redshift作为数据仓库。
Medium的前工程主管Dan Pupius曾经在博客上公布了网站的技术栈,这些技术为网站的访问量暴涨提供了良好的支持。
他们现在的环境部署在AWS VPC(虚拟私有云)上,使用Ansible来配置底层的基础设施。应用程序则运行在EC2上。
他们在十几个服务上采用了面向服务架构。对于新的功能来说,是为它们创建新的服务还是把它们集成到已有的服务中,完全取决于它们的耦合度和内聚性。
NodeJS是他们最主要的开发语言,这门语言主要的优势在于可以共享服务器端和客户端的代码。他们通过运行多个实例来解决单线程事件循环机制的性能问题。重要的请求被路由到特定的实例上,避免其他请求被挂起。
Pupius还在博客中提到,他们使用Go语言来开发辅助服务,因为打包、构建和部署都很方便。他例举了Go语言的类型安全和简洁性这两大特点,这也是他们选择Go语言的原因。
个人而言,我喜欢在团队里使用具有强约束的开发语言。因为它能够带来更多的一致性,降低不确定性,而且可以尽量避免给自己挖坑。
Pupius说,虽然DynamoDB是主要的数据存储,但一直以来都存在一些问题,比如hotkey问题。在使用分布式数据库时,某些节点承担了密集的查询负载,数据分区所带来的性能优势也就大打折扣了。Medium使用Redis作为缓存,减少了大量的数据库查询。他们现在正在尝试使用Amazon Aurora作为新的数据存储。
对于关系数据,比如用户之间的关系、文章和标签之间的关系,他们使用Neo4J来保存。目前有一个主节点和两个从节点。他们使用Amazon Redshift作为数据仓库,并使用Apache Spark来查询数据。
他们使用了集成工具Jenkins,staging环境的测试、构建和部署可以在15分钟之内全部完成。每天进行差不多5次生产环境部署:
我们拥抱持续集成和持续交付,尽可能让一切快速地进入正常状态。
Medium的团队是跨功能的,也就是说,每一个工程师都能胜任任何一部分工作。Pupius相信这样可以培养出强大的工程师。
Pupius的博文可以在这里找到,他在博文里提到了更多有关技术栈的细节。另外,Medium是可以免费使用的。
查看英文原文: The Technology Stack at Medium