按关键字爬取网页信息

本文目的是简单的在选定浏览器页面，按照关键字爬取自己想要的信息，关键点为跳过反爬网页的反爬机制 。

使用UA伪装

• User-Agent

我们使用所爬网站中的User-Agent来进行伪装，让它以为我们是它本身的一部分，从而使得我们能够成功爬取我们需要的信息。

• 各网站User-Agent查找方法

打开所要爬取的页面，按键盘F12,如下图内容：

代码模块

• 该代码用例是搜狗网站

import requests

if __name__ == '__main__':
    # UA伪装
    header = {
       'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
    }

    # 1.指定url
    url = "https://www.sogou.com/web?"

    kw = input("请输入关键字：")

    param = {
        'query' : kw
    }

    # 2.发送请求
    response = requests.get(url=url,params=param,headers=header)

    #数据获取

    html = response.text
    print(html)
    response.encoding = 'utf-8'

    fileName = kw + '.html'
    with open(fileName,'w',encoding='utf-8') as f:
        f.write(html)

    print("页面获取成功！！！！")