Answers.com 爬取调查

APEX QA QAPair

基本信息

1. 整个网站中有两种信息页面：问题页面和文章页面。问题页面是人们提出的问题、其答案及一些其他信息包括相关问题、相关文章、回答者相关信息。
2. 问题都有配图，但配图是系统自己定的，不包含提问者的信息。

提问、回答与修改权限

1. 用户需要首先搜索自己想问的问题，系统会自动选择最相关的问题返回。只有在搜索无结果的情况下才允许提出新的问题。
2. 任何非登录用户都可回答一个未被回答过的问题，将显示回答者为Community。
3. 每个问题只能有一个答案，不允许用户添加答案，但是允许登陆用户在提问者未锁定问题的前提下修改别人的答案。提问者怎么锁定问题没有找到。

分类获取

• 分类列表页面：http://www.answers.com/T
• 父类点进去的页面中包含子类的信息和父类下的问题列表
• 每个分类都有自己的ID，ID可以直接获得
• 每个类型的页面URL格式：http://www.answers.com/Q/FAQ/‘类型ID’

问题页面获取

• 分类页面下body section.cf section.cf artical#center div.faq_questions div.hgroup div.pagination a.last_page可获得总页数
• 每页问题的URL格式：http://www.answers.com/Q/FAQ/‘类型ID’-‘页号’
• 每页中body section.cf section.cf artical#center div.faq_questions div.content div.questions div.question_slot div.question a可获得问题页面URL和问题内容
• 每页中body section.cf section.cf artical#center div.faq_questions div.content div.questions div.question_slot span.popularity可获得问题热度

答案及其他信息获取

• 没有找到明显的问题ID，但是从一个标签属性中可以找到疑似问题ID的值。但是并不知道这个ID有什么用
  
• 问题页面中body section.cf section.cf artical.center_top div.utility_wrapper_card div.question_card_answer artical section div div div.user_info div.user_meta_info div.username a可获得回答者姓名
• 问题页面中body section.cf section.cf artical.center_top div.utility_wrapper_card div.question_card_answer artical section div div div.user_info div.user_meta_info div.confidence span可获得回答者置信度
• 问题页面中body section.cf section.cf artical.center_top div.utility_wrapper_card div.question_card_answer artical section div div div.answer_text可获得答案内容
• 有些问题的答案有支持人数的信息，有些问题没有。
• 问题页面中body section.cf section.cf artical.center_top div.feedcards_wikilite可获得相关问题的一些信息，包括题目、分类、其对应问题页面的URL、其答案的支持人数等。
• 问题页面中还可获得其相关的文章。
• 问题的相关问题和相关文章随着页面翻滚通过Ajax不断加载。想要爬取到所有的相关问题和文章很难。

雪智哥的分布式爬虫框架使用

今天中午跟他请教了一下，觉得还是挺难上手的。他们爬豆瓣都是一边爬一边解析，只拿最想要的数据。