入库任务整理

入库 优酷

整理目前的入库任务情况。

81 Machine

10.103.23.81

01. [No]AlgRecvInserter.sh

• sh /home/arc/insert/script/AlgRecvInserter.sh yk/td
• 从路径上看属于arc小队
• InterveInser.sh 最开始被执行
• 要Merge/CombineFile/然后查到过去的文件进行DIFF
• 入Hbase && MC
• 生成一些DIFF文件并存储
• 没有迁移 比较复杂
• hdfs://youkuDfs/workspace/dm/arc/project/insert/youku_recommend/workingtmp/common/comsimtable/COMBINE_CMT_DIFF/20170103/part-r-00079
• YK_REC_VIDEO family:v
• MC: 123~127 30006/30007/40006/40007

02. [No]AlgRecvInserterAssurance.sh yk

• sh /home/arc/insert/script/AlgRecvInserterAssurance.sh yk
• 从路径上看也是架构小队
• 执行过程同 AlgRecvInserter.sh
• 最近几天没有数据 没有入库
• /workspace/dm/arc/project/insert/youku_recommend/workingtmp/lr1_algidnew/update_20170103

03. [No]SingleAlgInserter.sh yk/td

• 单个算法有很多任务 目前还没有迁移

04. [No]RecvRealtimeInserter.sh td

• 都是土豆的任务
• 挺复杂，中间调用了 SingleAlgInserter.sh 进行数据入库
• hdfs://youkuDfs/workspace/dm/arc/project/insert/tudou_recommend/workingtmp/common/comsimtable/COMBINE_CMT/cf026_2017010322/part-r-00004
• 入MC和Hbase

05. [No]RecvHourInserter.sh td

• 单个算法小时入库
• 很复杂
• 没有迁移

06. [Do]UploaderVideoTmpInserter.sh

• /workspace/dm/rec/result/youku_recommend/uservideo/20170104/
• YK_UPLOADER_VIDEO family:v
• 已经迁移，但目前用的是测试表 YK_UPLOADER_VIDEO_TEST
• 老任务还没停
• 在Uploader目录

07. [Do]EWMapInserter.sh yk cv/vc/cc

• /workspace/dm/rec/result/youku_recommend/easywatch/VideoCircleMap/ [长期]
• /workspace/dm/rec/result/youku_recommend/easywatch/CircleToCircle/ [已废弃]
• /workspace/dm/rec/result/youku_recommend/easywatch/CircleVideoMap/ [长期]
• 已经迁移
• 回头检查一下

08. [No]ProgramInserter.sh yk/td ...

• 待入库
• WKK提供数据
• 注意有优酷和土豆两方面

09. [No]GameGuessTagidToTagInserter.sh yk ...

• /workspace/dm/rec/result/youku_recommend/common/simtable/game/GR002_CMT/tagId_name/

• 入 memcache 30005 端口

• 用 zfb 的入库逻辑
• [强哥比较忙/等待中……]

10. [No]GameInserter.sh yk gr002 tag_game 0430

• YK_REC_GAME family:v
• s/workspace/dm/arc/project/insert/youku_recommend/workingtmp/game_ins/gr002tag_game_algidnew201609300430/
• 还入 MC
• workspace/dm/rec/result/youku_recommend/common/simtable/game/GR002_CMT/tag_game/
• /workspace/dm/rec/result/youku_recommend/common/simtable/game/GR002_CMT/tag_game/201609300430
• /workspace/dm/arc/project/insert/youku_recommend/workingtmp/game_ins/gr002tag_game_algidnew201609300430

11. [No]UploaderInserter.sh yk/td personal/related

• /youkuDfs/workspace/dm/rec/result/youku_recommend/uploader/personal/ [先没找到]

12. [No]IdmInserter.sh td

• 土豆正副本数据
• /workspace/dm/rec/project/tudou_recommend/common/data/zfb/

13. [No]PushDevice.sh

• /workspace/dm/per/result/push/youku/wireless_token_guidOuid/
• 滕飞负责，不知道会不会停掉

68 Machine

1. PlayCard数据迁移

   • 这个部分数据入Hbase
   • 问了凯凯，说待续

2. ProgramInserter.sh newshowshow

   • 待迁移

3. HotspotInserter.sh

   • 双写中 目前无需处理

4. 有Python写的两个任务

   • 不太清楚具体

5. 优酷审核三个任务

6.VideoQualityInserter.sh td/yk

• YK_VIDEO_QUALITY_ALL family:v
• 土豆部分没有数据
• 优先迁移优酷

220 Machine

1. RecV3AlgsInserter.sh

   • 目前是正在迁移中

1. HighQualityVideoMetaInserter.sh

   • 待吴航找杜涛

1. RecVRInserter.sh

   • /workspace/dm/rec/result/youku_recommend/common/simtable/VR_CMT/Relate/ 路径有点熟悉
   • 找找

2. PlaycardVideoInserter.sh yk

   • 凯凯负责 数据还没给我