基于Redis的短链接设计思路

计算机

今天上班的时候收到一个需要短链接的需求，之前的做法都是使用了新浪的短链接API（https://api.weibo.com/2/short_url/shorten.json）。但一是外网访问，二可能是新浪有所限制（毕竟是免费的），性能肯定不是太好。于是就想能不能自己实现一个，这样内网访问肯定快不少。

下班在班车上想了下，初步有些思路，记录一下，有什么说错的，欢迎指正。关于短链接的问题，我首先想到是两个问题：

1. 持久化的问题，是否有必要保证短链接永久有效？
2. 碰撞的问题，如何保证所有长链接对应的短链接是唯一的？

第一个问题我想如果能有一个算法直接对url本身进行计算然后得到一个短链接，而且是可逆那么这个问题就不存在了，但稍微一想就知道这个不大现实，比如类似md5这样的摘要算法，一是不可逆，必然还是需要存储一个映射关系的，二为了“短”，第2个问题肯定会更加突出。

此路不通，我想肯定还是得引入DB的，因为平时项目中使用Redis比较多，直觉它比较合适。对于存储这种映射关系，NoSQL最合适不过了。而且Redis数据结构灵活，API简单明了，性能也很不错。开启EOF后，持久化问题也能得到保证，另外Redis支持过期，可以满足一些特殊的需求。

再来看性能问题（初衷就是想提高性能的）。个人觉得要提高性能，如何解决第2个问题是关键。我有一个思路相信也是大家都能想到的：“提前计算”和“缓存”，说就是先计算好一批短链接缓存起来，请求过来直接取就可以了。这里大概还有以下几个问题：

1. 怎么保证缓存起来的短链接都是各不相同的？
2. 怎么保证缓存起来的跟历史生成的不相同？
3. 怎么保证供大于求？

第1个问题，应该比较简单，编码应该是能解决的。第2个问题我考虑两个方面：
1）短链接的基数必须足够大。
参考新浪短链接http://t.cn/RhCtEye，6位字符，取值范围在[a-zA-Z0-9]，那么基数就是56,800,235,584，56亿多应该说是足够大的了。那么就要看随机算法，只要足够随机，那么两次重复的概率就很小了。
2）以防万一，每次都去做一次check，按照上面的想法，生成的短链接映射关系都是存储在Redis中的，只要一次get就可以了。get的时间复杂度为O(1)，只要保证数据都在内存里是非常快的（加上内网访问）。

第2）点在非常高的并发下还是有问题的，可能存在get的时候一个相同的key刚好还没set的进来，但结合第1）点这种可能性应该说是非常非常小了，而且我们实际的并发也不是特别大，所以忽略不计。

第3个问题更多是设计上的考虑。我的想法是用一个阻塞队列来实现，综合前面的问题，那应该就是一个去重的阻塞队列。至于如何保证“供大于求”，那就得根据前端的压力来调整队列的大小了。

这里还有一个问题，就是相同的url生成短链接的问题，如果要保证相同的url只对应一个短链接，那就得每次生成之前要去Redis找回一下（批量可以mgetO(N)），增加了性能损耗，但是当这种情况很多的时候，比如恶意请求，那么反而会更好。可以作为可选配置。

上面说的都是短链接生成的问题，短链接重定向也就是还原到原始链接相对简单，一个get操作就可以搞定了，如果为了提高性能，减少不必要的Redis访问，可以在应用层增加一层Cache，比如LRU Cache。

最后说下存在的瓶颈：

1. 短链接的随机生成算法，java.util.Random貌似不是非常靠谱；
2. 去重的阻塞队列，这个应该是最大的瓶颈，如果一个队列，并发性能就很容易受限于此，如果搞多个，那么碰撞的问题就比较棘手；
3. Redis的性能。其实这里Redis可以换成任何其他类似的NoSQL产品。

好了，把脑子里想的写完了，感觉实际应该够用了。有问题欢迎拍砖。