知识点

1. 爬虫基本流程
2. json
3. requests 爬虫当中 发送网络请求
4. pandas 表格处理 / 保存数据
5. pyecharts 可视化

开发环境

python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性

pycharm 专业代码编辑器 按照年份与月份划分版本的

爬虫完整代码

导入模块

import requests      # 发送网络请求模块
import json
import pprint        # 格式化输出模块
import pandas as pd  # 数据分析当中一个非常重要的模块

分析网站

先找到今天要爬取的目标数据

https://news.qq.com/zt2020/page/feiyan.htm#/

找到数据所在url

发送请求

url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'
response = requests.get(url, verify=False)

获取数据

json_data = response.json()['data']

解析数据

json_data = json.loads(json_data)
china_data = json_data['areaTree'][0]['children'] # 列表
data_set = []
for i in china_data:
    data_dict = {}
    # 地区名称
    data_dict['province'] = i['name']
    # 新增确认
    data_dict['nowConfirm'] = i['total']['nowConfirm']
    # 死亡人数
    data_dict['dead'] = i['total']['dead']
    # 治愈人数
    data_dict['heal'] = i['total']['heal']
    # 死亡率
    data_dict['deadRate'] = i['total']['deadRate']
    # 治愈率
    data_dict['healRate'] = i['total']['healRate']
    data_set.append(data_dict)

保存数据

df = pd.DataFrame(data_set)
df.to_csv('data.csv')

数据可视化

导入模块

from pyecharts import options as opts
from pyecharts.charts import Bar,Line,Pie,Map,Grid

读取数据

df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]
df2

死亡率与治愈率

line = (
    Line()
    .add_xaxis(list(df['province'].values))
    .add_yaxis("治愈率", df['healRate'].values.tolist())
    .add_yaxis("死亡率", df['deadRate'].values.tolist())
    .set_global_opts(
        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )
)
line.render_notebook()

各地区确诊人数与死亡人数情况

bar = (
    Bar()
    .add_xaxis(list(df['province'].values)[:6])
    .add_yaxis("死亡", df['dead'].values.tolist()[:6])
    .add_yaxis("治愈", df['heal'].values.tolist()[:6])
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),
        datazoom_opts=[opts.DataZoomOpts()],
        )
)
bar.render_notebook()

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• 用Python实现给人像添加雪景效果的方法是什么

  这篇文章主要介绍了通过Python实现的人像雪景小程序，小程序还会自动生成每一帧雪花飘落的图片，跟GIF动态雪花人像图，还不用自己录制视频看效果。感兴趣的可以跟随小编一起学习一下

• Python上下文管理器什么时候用，如何用

  这篇文章主要为大家介绍了python上下文管理器使用场景及异常处理示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• python的enumerate函数用于什么，简单的示例是怎样

  enumerate函数用于遍历序列中的元素以及它们的下标：>>>fori,jinenumerate(('a','b','c')): printi,j 0a1b2c>>>fori,jinenumerate([1,2,3]): printi,j 011223>>>fori,jine

• 一次性密码包括哪些功能，基于Python如何实现

  这篇文章主要为大家介绍了python密码学一次性密码的实现，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• Pycharm创建Django项目的具体过程是什么

  本篇文章给大家带来了关于Python的相关知识，Django是比较经典的Python web框架,最近刚好在项目中用到了Django,所以下面这篇文章主要给大家介绍了关于使用Pycharm创建一个Django项目的超详细图文教程，希望对大家有帮助。