豆瓣电影TOP250爬取+数据可视化练习记录

2021-01-23

字数统计: 1.2k字 | 阅读时长: 5分

原视频教程:Python爬虫基础5天速成（2021全新合集）Python入门+数据可视化

1. 概述

1.1 本练习简介

本练习的任务是爬取豆瓣TOP250电影数据，对数据可视化处理，接着用flask搭建简易网站，使用nginx+uwsgi部署，最后部署的网站展示效果如下。

在这里插入图片描述

2. 爬取网站

2.1 分析目标网站URL

在这里插入图片描述

经过分析发现豆瓣TOP250网站向服务器发送get请求，返回25条电影信息，get请求的start参数为该25条电影的第一条的索引值，所以只需更改start参数0、25、50、…、225，请求10次即可即可获取到TOP250所有电影信息。

2.2 urllib

测试urllib

最简单的请求形式

import urllib.request
 response = urllib.request.urlopen('http://www.baidu.com')
 print(response.read().decode('utf-8'))
 # .....<a class="toindex" href="/">百度首页</a><a href="javascript:;" name="tj_settingicon" class="pf">设置...

post请求

import urllib.request
# bytes函数可以把python中Unicode编码的字符串按照一定的编码规则转换成bytes类型
# urlencode函数：Encode a dict or sequence of two-element tuples into a URL query string.
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding='utf-8')
response = urllib.request.urlopen("http://httpbin.org/post", data=data)
print(response.read().decode('utf-8'))
'''
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "hello": "world"
  }...
'''

timeout处理

import urllib.request
#设置超时时间，并对超时进行处理，防止一直等待服务器响应
try:
    response = urllib.request.urlopen("http://httpbin.org/get", timeout=1)
    print(response.read().decode('utf-8'))
except urllib.error.URLError:
    print("time out")

构造请求对象

import urllib.request
url = "https://www.douban.com"
# 伪造请求头，防止服务器拒绝爬虫程序
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
}
# 把请求头装入请求对象
req = urllib.request.Request(url=url, headers=headers)
# 使用请求对象发送请求
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

设置请求对象的请求方法

import urllib.request
import urllib.parse
url = "http://httpbin.org/post"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
}
data = bytes(urllib.parse.urlencode({'name':'eric'}), encoding='utf-8')
# 请求对象设置post请求并输入post数据
req = urllib.request.Request(url=url, data=data, headers=headers, method="POST")
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

4. nginx + uwsgi部署

效果查看: 豆瓣TOP250

4.1 uwsgi

uwsgi配置参考视频
需要在虚拟环境中安装uwsgi
pip install uwsgi

当flask创建的对象名称为application时，-w 或者配置文件中的module不需要指定对象名称，否则需要指定，比如为myapplication时，命令参数 -w douban_wsgi:myapplication 配置文件 module = douban_wsgi:myapplication
发现使用uwsgi部署，响应函数中有print()函数时，会报错 RuntimeError: reentrant call inside <_io.BufferedWriter name=2>

创建uwsgi入口程序

在项目根目录下创建uwsgi入口程序douban_wsgi.py

# app为flask python文件名, application为该文件中创建的flask对象名称
from app import application

if __name__ == "__main__":
    application.run()

uwsgi --socket 0.0.0.0:8080 --protocol=http -w douban_wsgi
可以通过上述命令启动，但是要保证创建的flask对象名称为application，否则报错加载不到app

创建uwsgi配置文件

在项目根目录下创建uwsgi配置文件douban.ini

[uwsgi]
;uwsgi入口程序
module = douban_wsgi

master = true
processes = 5
threads = 100

http = 127.0.0.1:8080
;虚拟环境路径
virtualenv = /home/hfy/spyder/douban/douban_flask/douban_env
die-on-term = true

uwsgi service

可以利用systemd管理uwsgi服务器开启与关闭，创建/etc/systemd/system/douban.service文件
systemd简介

[Unit]
Description=uWSGI instance to serve douban
After=network.target

[Service]
User=hfy
Group=hfy
# 网站根目录
WorkingDirectory=/home/hfy/spyder/douban/douban_flask
# 网站虚拟环境命令目录
Environment="PATH=/home/hfy/spyder/douban/douban_flask/douoban_env/bin"
# uwsgi服务器启动命令
ExecStart=/home/hfy/spyder/douban/douban_flask/douoban_env/bin/uwsgi --ini douban.ini

[Install]
WantedBy=multi-user.target

保存该服务配置文件后，使用下方命令启动服务器
sudo systemctl start douban.service
使用下方命令设置开启自启动
sudo systemctl enable douban.service

4.2 nginx

本文使用的是ubuntu 18.04 apt 安装nginx 1.14.0
nginx简介
sudo apt install nginx

修改nginx配置

修改/etc/nginx/sites-enabled/default文件匹配规则

location / {
    include /etc/nginx/uwsgi_params;
    proxy_pass http://127.0.0.1:8080;
}

启动nginx

sudo nginx
如果启动失败，提示80端口已经被占用，应该是安装完nginx后其自动启动，使用下方命令重新载入配置文件
sudo nginx -s reload