大数据算法

未分类

我们的目标

12-07 周三 17:00 算法会议
涉及算法的因素有：
1.导航距离
2.预计到达时长
3.服务评分
4.驾驶行为
5.服务商评级
6.救援次数
7.关联的惩罚机制
8.大数据概率算法：预估某个时间段订单需求概率
比如：按距离排-选出几个司机-抢单（简单版）
大方向：获取数据-平衡概率-智能派单

相关职位

【智能交通算法(数据挖掘)高级工程师 】
1. 2年及以上数据挖掘/机器学习经验；
2. 真正从事过机器学习、数据挖掘、统计分析、推荐等算法相关的项目经验；
3. 熟悉常见的概率统计、数据挖掘、机器学习算法，包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means等常用算法的适用场景、优点、缺点以及弥补办法；
4. 有较强的sql书写功底，有sql优化经验；
5. 熟悉unix或者linux，具备优秀的编程能力，熟练掌握java或者scala开发，有hadoop/spark/flink等一种或几种经验者优先；

【深度学习计算机视觉算法工程师】
职位描述：
1.协助完成深度学习及计算机视觉相关的算法开发；
2.工作内容包括但不限于：物体检测,跟踪及场景分割、理解等。
任职要求：
1.具有计算机等相关专业本科及以上学历；
2.编程基础扎实，熟悉Linux操作系统，有较丰富c/c++、python等开发经验；
3.熟悉caffe或者tensorflow等常用深度学习工具；
4.熟悉图像处理和计算机视觉基本算法；
5.有ImageNet、COCO、PASCAL、KITTI等benchmark经历者优先

【大数据算法专家】
1.计算机科学、机器学习、数据挖掘等相关专业
2.对机器学习算法有深刻理解，有从事机器学习、数据挖掘、统计分析、广告推荐算法相关的项目经验佳
3.熟悉至少一门编程语言，如C，C++，Java等，能熟练使用R、Python或MATLAB
4.理解MapReduce、HDFS原理，熟练使用Hive、Spark SQL、Hbase，对关系型数据库有一定的基础，有hadoop/mahout 或者 spark/mllib等大数据平台实践经验佳

【策略算法工程师-大数据】
1.计算机相关专业硕士及以上学历
2.有数据挖掘，机器学习，最优化理论等相关基础， 熟悉基本算法
3.编程基础扎实，熟悉算法数据结构，有超过三年以上C++或Python开发经验
4.有机器学习、数据挖掘等相关项目实际经验者优先
5.有大数据相关系统，如map-reduce、spark、mpi等经验者优先

相关机构

【滴滴研究院】
滴滴出行全新创新性研究机构，研究方向包括：机器学习、计算机视觉、人工智能、数据挖掘、最优化理论、分布式计算等；致力于通过机器学习理论和方法，最大化利用交通运力，缓解城市拥堵，为每一位用户设计最贴心最智能的出行方案。与业务线紧密结合，每一项研究成果都能以最快的速度应用到相应的产品上，给千万用户带去便捷。

相关比赛

【滴滴算法大赛】
滴滴算法大赛算法解决过程 - 数据分析
滴滴算法大赛算法解决过程 - 拟合算法
滴滴算法大赛算法解决过程 - 方案设计
滴滴算法大赛算法解决过程 - 机器学习
滴滴算法大赛算法解决过程 - GBDT

学习计划

基础阶段

1、高数基础：微积分、概率论与数理统计、参数估计、矩阵、凸优化
2、机器学习了解：机器学习与分类问题、空间切分与决策边界、SVM
3、语言学习：Python
4、数据结构：线性表、堆、栈、队列、哈希表 、树和二叉树
5、语言学习：Lua

进阶

1、机器学习算法：回归、决策树、SVM、朴素贝叶斯、神经网络、k-means等
hadoop/mahout 或者 spark/mllib等大数据平台

相关资料

1、大数据算法-学堂在线慕课(MOOC)平台
https://www.xuetangx.com/courses/HITx/GO90300700/2014_T2/about
2、11月算法基础班 - 七月在线 - 专注数据领域的在线教育
https://www.julyedu.com/course/getDetail/33
3、机器学习中的数学班 [入门ML必备数学基础] - 七月在线 - 专注数据领域的在线教育
https://www.julyedu.com/course/getDetail/41
4、5 月深度学习班- 七月在线 - 专注数据领域的在线教育
https://www.julyedu.com/course/getDetail/37
5、数据结构 - 课程 - 计蒜客
https://www.jisuanke.com/course/411
6、大数据处理中基于概率的数据结构 - fxjwind - 博客园
http://www.cnblogs.com/fxjwind/p/3289221.html
7、数据工程师必知算法：蓄水池抽样 - 文章 - 伯乐在线
http://blog.jobbole.com/42550/
8、滴滴研究院
http://research.xiaojukeji.com/index.html
9、滴滴算法大赛算法解决过程 - 机器学习 - codesnippet.info - 博客园
https://www.cnblogs.com/TextEditor/p/5546397.html
10、滴滴算法大赛 - codesnippet.info
http://www.codesnippet.info/Home/TagList?PageNo=1&TagName=%e6%bb%b4%e6%bb%b4%e7%ae%97%e6%b3%95%e5%a4%a7%e8%b5%9b