[关闭]
@wade123 2019-05-13T02:44:42.000000Z 字数 6864 阅读 2043

实战项目 11：1983-2018 三十六年春晚节目数据分析

Python入门爬虫与数据分析

摘要：用 Python 分析 1983 到 2018 年共三十六年的春晚节目数据，发现一些趣事。

2019 的新年刚过去不久，很多人应该都像往年一样看了春晚节目，这是距第一届春晚 1983 年后的第 37 届春晚，这些年的春晚诞生了无数节目，无数演员登台亮相，下面就利用 Python 来分析一下春晚节目单背后的趣事。

本文知识点：

分析内容

接下来，通过 Python 数据分析，找到这些问题答案：

数据获取

维基百科上有每一年的节目数据，右侧信息表有导演、主持人、除夕当天日期这几项数据。

节目单表上有每一年春晚上表演的节目，包括：节目类型、节目名、演员名这几项数据。

对这类表格数据，用 Pandas 的 pd.read_html 函数抓取非常简单，几行代码就能搞定，然后修改 URL 的 page 参数，可以循环遍历抓取 1983 到 2018 年所有的节目数据。

数据抓取代码如下：

  1. import requests
  2. import pandas as pd
  3. from urllib.parse import quote
  5. def get_content(year):
  6.     keywords = quote('年中国中央电视台春节联欢晚会')
  7.     url = 'https://zh.wikipedia.org/wiki/{}{}'.format(year,keywords)
  8.     # 1 节目单； 0 节目信息
  9.     if year != 2014:
  10.         response = pd.read_html(url)[1]
  11.     else:
  12.         response = pd.read_html(url)[3]
  13.     response['year'] = year
  14.     response.drop([0],inplace=True) #删除首行
  15.     response.to_csv('chinese_newyear.csv',mode='a',encoding='utf_8_sig',index=0,header=0)
  17. if __name__ == '__main__':
  18.     for year in range(1983,2018):
  19.         get_content(year)

抓取下来的节目信息：

抓取下来的节目数据：

抓取下来的数据是脏数据，用 Python 清洗处理一下就可以分析，这些不是重点，所以下面直接进入分析环节，来一探究竟。

数据分析

▌谁导演春晚次数最多？

导演是春晚的总负责人，好比厨师，厨师决定了春晚大餐好不好吃。36 年间，有很多导演负责过春晚，比如近些年的哈文、朗昆，你可能想知道他们是不是导演次数最多的，下面就来看看导演次数最多的十大导演：

导演次数最多的是黄一鹤和朗昆导演，两个人都导演了 5 次。

黄一鹤导演对于 80 后之后的人来说，不算熟悉，因为他导演春晚的时候是在 80 年代，很多人都没有出生。朗坤则相对熟悉些，最近一次导演是 2009 年。那一年的春晚，是印象最深刻的一届，因为诞生了赵本山最棒的小品《不差钱》（个人之见）。

哈文一共导演了 3 次，都在 2010 年之后，其他的导演就不那么熟悉了，相比于主持人、演员，他们是幕后工作者。

这张图看起来不像 Matplotlib 绘制的，其实就是由最基础的散点图组合起来的，不过是压缩了的多个子图，下面用代码实现如下，关键点在于 For 循环绘制子图：

  1. def get_director():
  2.     data = pd.read_csv('chinese_newyear3.csv',encoding='utf_8_sig')
  3.     # 筛选导演主持人
  4.     data = data[data['category'] == '导演']
  5.     # data = data[data['category'] == '主持']
  6.     data2 = data['content'].str.split('、',expand=True)
  8.     # 统计出现次数
  9.     data2 = data2.apply(pd.value_counts)
  10.     data2['col_num'] = data2.sum(axis=1)
  11.     data2.sort_values(by='col_num',ascending=False,inplace=True)
  12.     data2 = data2['col_num'][:10][::-1]
  13.     return data,data2
  15. def analysis6(data,data2):
  16.     data = data.set_index('year')
  17.     data2.sort_values(ascending=False,inplace=True)
  18.     lst = list(data2.index)[:10]
  19.     lst_num = list(data2)[:10]
  21.     colorsall = [color1,color2,color3,color4,color5,color1,color2,color3,color4,color5]
  22.     for i,name in enumerate(lst):
  23.         data3 = data['content'].str.contains(name,na=False).astype('int')
  24.         data3 = pd.DataFrame(data3[data3.values == 1])
  25.         data3['year'] = data3.index
  27.         axs = fig.add_subplot(1, 10, 1+i)
  28.         data3.plot(
  29.             ax=axs,
  30.             x='content',
  31.             y = 'year',
  32.             kind = 'scatter',
  33.             subplots=True,
  34.             sharey=True,
  35.             color=colorsall[i],
  36.             )
  37.         new_ticks = np.linspace(1980,2020,41)
  38.         plt.yticks(new_ticks)
  39.         plt.tick_params(direction='in')  #标签朝里
  40.         plt.tick_params(which='major',length=0)  # 不显示刻度标签长度
  41.         plt.xticks([]) #去掉坐标标签
  42.         plt.xlabel('%i' %(lst_num[i]),fontsize=10)
  43.         plt.xlim(0,2)
  45.         plt.title(name,color=color5,fontsize=10)
  46.         plt.tight_layout()
  47.         fig.subplots_adjust(hspace=0,wspace=0) # 调整子图间距为0
  49.     plt.savefig('导演次数最多的主持 TOP 10.png',dpi=200)
  50.     plt.show()

▌谁主持春晚次数最多？

导演过后就是主持人了，他们堪称春晚的门面，大家也更熟悉些，不管是早年的赵忠祥、倪萍，中生代的朱军、董卿，还是近年新晋的康辉、李思思以及我们新疆大帅锅尼格买提，只要一提名字，你马上就能对号入座。

可你知道主持界的「钉子户」是谁？「常青树」又是哪些人？ 来看看春晚主持次数最多的 TOP 10 名单：

一眼望去，十个人每一个都很熟悉。

排第一的是 主持了 21 年的朱军，称得上劳模了，从 1997 年连续不间断地住持到 2017 年，远超其他主持人。

排第二的是周涛，主持了 14 年，2011 年之后退居幕后， 2016 年又复出了一次。

排第三的是董卿，从 05 年开始主持，只在 2018 年缺席了一年，大家都喜欢她，所以她缺席也成为去年春晚的一大讨论话题。

再往后是一对著名搭档，赵忠祥和倪萍老师，可惜印象不深。

再之后是李咏，刚刚离开不久，喜欢他的风格，希望天堂也有话筒，也有春晚。

说完主持人，下面说一说除夕的日期。

▌哪两年的除夕刚好是同一天？

小时候一直没有搞懂中国的农历，想不明白为什么每年除夕的日子都不一样，为什么过年不是在元旦。后来才知道这是我们老祖宗的智慧，因为农历比阳历更加准确。

每年除夕的日期都在变化，那你是否好奇过某两年的除夕是在同一天这个问题？

来看看：

以从下往上，从左往右的顺序看上面这张图，会发现几件有意思的事：

代码实现如下：

  1. # 分析除夕日期
  2. def get_date():
  3.     fig = plt.figure(figsize=(5,8))
  4.     ax = fig.add_subplot(111)
  5.     data = pd.read_csv('chinese_newyear3.csv',encoding='utf_8_sig')
  6.     data = data[data['category'] == '播出日期']
  7.     data = data['content'].str.extract(r'.*?年(.*?)月(.*?)日.*?')
  8.     data = data.reset_index(drop=True)
  9.     data.columns = ['month','day']
  10.     data['year'] = np.arange(1983,2019)
  12.     # int 转 string
  13.     data = data.applymap(str)
  14.     data['year2'] = '1900'
  15.     data['date'] = data['year2'].str.cat([data['month'],data['day']],sep='/')
  16.     data = data.apply(pd.to_numeric,errors='ignore')
  17.     data['date'] = pd.to_datetime(data['date'])
  18.     ax.plot(
  19.         data['date'],
  20.         data['year'],
  21.         )
  22.     new_yticks = np.linspace(1980,2020,41)
  23.     date_format = mpl.dates.DateFormatter("%m-%d")
  24.     ax.xaxis.set_major_formatter(date_format)
  25.     plt.yticks(new_yticks)
  26.     plt.tick_params(direction='in')  #标签朝里
  27.     content = list(zip(data['date'],data['year']))
  28.     for x, y in content:
  29.         x2 = '%s' %x.strftime('%m/%d') # 只显示月日格式
  30.         # print(x,'\n',y)
  31.         plt.text(x, y+0.2,x2, ha='center', color=color4)
  33.     plt.title('历年农历除夕日期变化',color=color4,fontsize=14)
  34.     plt.tight_layout()
  35.     plt.savefig('除夕日期变化.png',dpi=200,)
  36.     plt.show()

下面，来看看更有意思的。

▌谁上春晚次数最多，堪称「钉子户」？

很多人梦想着这辈子能上一次春晚，但绝大多数人都只能坐在电视跟前，而有些人则天生是上春晚的，上春晚就像家常便饭，一上就是几十年。你能猜到这 36 年谁上春晚次数最多么？

来看看：

春晚表演次数最多的是相声演员冯巩大叔，你猜对了么。春晚总共 36 年历史，他就登台了 35 次，十足的「钉子户」。

前 5 名除了李谷一老师是歌手以外，其他人都是相声或小品演员，也都是你熟悉的面孔：姜昆、蔡明和黄宏。相声和小品为春晚贡献了很多人才。

5 - 10 名歌唱家占多，有宋祖英。另外还有两名小品演员本山大叔和黄宏。可惜，不见二人表演已多年。

10 - 20 名还有很多熟悉的人，比如郭冬临、巩汉林、潘长江等。

来具体看一下他们都上了哪些年的春晚：

（注：部分演员表演次数和图中点数不一致，是因为某些年 TA 不只表演了一个节目）

冯巩老师从 86 年至今，雷打不动地从未缺席过春晚。他上的最多，每年的开场白都是那句「我想死你们了」，对春晚和观众的热爱之情可见一斑。

姜昆老师，登台最早，第一年春晚就上台了。 这些年，消失几年后又出现在春晚舞台，也许是为了以免大家太过于想他。

蔡明老师，是女性中上春晚最多的。她和许多人合作过，和谁合作效果都好。

黄宏老师一连登台 25 年，小品中扮演过很多角色，可惜 2012 年之后就没有上台了。

李谷一老师，春晚演出时间跨度最大，1983 年有她，2018 年还有她。对她的印象莫过于每年春晚尾声的那曲《难忘今宵》。实际上，李谷一老师曾一人撑起了早期的春晚。1983 年的春晚，她一人连唱 7 首歌，前无古人，也后无来者。

赵本山老师，对他的评价只有一句：赵本山之后再无春晚。他在就是压轴，每一部作品都看过很多遍，现在也只有靠怀念。

▌港台明星上春晚次数对比

不知你发现没有，前面这些人员都来自内地，港台及海外明星并没有出现，但不可忽略的是，他们的演出让春晚更精彩。

来看看都有哪些港台明星上过春晚，上了几次：

（注：这里选的 10 位明星是第一时间想到的，全凭个人主观印象）

周董上过 5 次春晚，你猜对了么？最近一次是去年的《告白气球》，当时朋友圈都刷爆了。除此之外，他其他几次登台，都惊艳无比，04 年的《龙拳》，08 年的《青花瓷》，09 年的《本草纲目》以及 11 年的《兰亭集序》。

15 年，偶像换了一波又一波，他却依旧是那个光芒四射的周杰伦。

成龙大哥同样上了 5 次，一身正气、中国功夫。

刘德华是四大天王中上春晚最多、最早的，2005 年唱了那首《恭喜发财》之后，每年过年在大街小巷你都能听到。

王力宏上了 4 次，2012 年龙年，再次唱了那首家喻户晓的《龙的传人》。

王菲是港台明星中，上春晚次数最多的女星之一，98 年和那英的《相约九八 》影响力空前。其他几次《传奇》、《因为爱》和《岁月》也空灵好听。

▌歌曲、小品、相声等节目数量对比

最后，再来看看春晚各类节目构成比例。印象中，最多的节目就是歌曲，其次是小品、相声。可以看到，歌曲类节目基本占了所有节目的一半，小品占了 15%，相声是 9%。其他类型则是一些杂技、戏剧、舞蹈这些，未作统计。

饼图代码实现如下：

  1. # 各节目数量
  2. def analysis3(data):
  3.     fig = plt.figure(figsize=(8,5))
  4.     num_all = data.shape[0]
  5.     # 歌曲节目数量
  6.     num_song = data[data['category'].str.contains('歌|尾|开场')].shape[0]
  7.     # 小品数量
  8.     num_sketch = data[data['category'].str.contains('小品')].shape[0]
  9.     # 相声数量
  10.     num_crosstalk = data[data['category'].str.contains('相声')].shape[0]
  12.     # 其他节目数量
  13.     other = num_all - sum([num_song,num_sketch,num_crosstalk])
  14.     lst = [num_song,num_sketch,num_crosstalk,other]
  16.     sizes = [num_song,other,num_crosstalk,num_sketch]
  17.     labels = ['歌曲','其他','相声','小品']
  18.     colors_pie = [color1,color4,color3,color2]
  19.     explode = [0.05,0,0,0]
  20.     plt.pie(
  21.         sizes,
  22.         autopct='%.1f%%',
  23.         labels=labels,
  24.         colors=colors_pie,
  25.         shadow=False,
  26.         startangle=270,
  27.         explode=explode,
  28.         textprops={'fontsize':14,'color':colors}
  29.         )
  30.     plt.title('1983-2018 共 36 年春晚节目类型数量比较',color=colorstitle,fontsize=fontsize_title)
  32.     plt.tight_layout()
  33.     plt.axis('equal')
  34.     plt.axis('off')
  35.     plt.legend(loc='upper right')
  36.     plt.savefig('1983-2018 共 36 年间各类节目类型数量比较.png',dpi=200)
  37.     plt.show()

以上，就是对过去 36 年春晚节目的简单分析，是不是能够发现很多根本不知道的事情。

文中代码和素材可以在下方链接中得到：

https://github.com/makcyun/web_scraping_with_python/tree/master/1983-2018%20%E4%B8%89%E5%8D%81%E5%85%AD%E5%B9%B4%E6%98%A5%E6%99%9A%E8%8A%82%E7%9B%AE%E5%8D%95%E5%88%86%E6%9E%90

本文完。

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注