@Wishes
2015-03-26T10:00:07.000000Z
字数 651
阅读 919
- 项目经验:基于微信与Hadoop的协同参会服务系
项目人数/时间
:3/2014.9-2014.11
这个项目我主要负责部分Web后台的数据库的开发,是在会议服务系统的基础上构建成的SaaS系统,数据库的设计也完全符合SaaS模式,后台数据库是Hbase,系统的后台Dao层的数据库访问方式全部是基于Hbase API的。Hbase的特点是高效,支持发规模数据的存储(基于HDFS),支持高并发的访问等;但是缺点是只能一行行的访问数据,所以对数据库的语句中的分页和排序的支持不太好。解决的方式是将Hbase的数据导入MapReduce进行排序或者分页(待解决),这样的话就有点类似Hive的功能了,Hive可以将HQL语句转化成MapReduce任务,最后返回结果。
系统实现了简单的负载均衡,是通过重定向实现的。重定向的过程中把存在session中的信息存到request对象中去。由于重定向的请求是get方法的,而系统只处理post的,对于这种情况也有一定的处理,并且对请求的参数加密处理。从节点向主节点每隔5秒报告自己的运行状况,让主节点更好的分配请求。
系统支持用户登录,会议组织者登录和管理员登录。其功能都比较简单,不再赘述。该系统部署在我自己搭建的由2台虚拟机和主机构成的Hadoop之上,而且运行良好。系统是为了参加2014全国高校云计算应用创新大赛,并成功从华中赛区晋级,链接:https://cloud.seu.edu.cn/contest/newsBroswer.html?newsID=60。