1.爬虫工具--fiddler
2.如何查看网页的过过滤源码

爬虫工具--fiddler

       一、抓包工具

       1.1 浏览器自带抓包功能，滤源通过右键审查元素，有什用点击network，过过滤点击请求，滤源右边栏展示请求详细信息：request、有什用c 源码编译不过headers、过过滤response。滤源以搜狗浏览器为例，有什用任意点击加载选项，过过滤查看get参数。滤源

       1.2 Fiddler，有什用一个HTTP协议调试代理工具。过过滤它能记录并检查电脑和互联网之间的滤源所有HTTP通信，收集所有传输的有什用数据，如cookie、html、js、css文件，作为中介连接电脑与网络。

       二、火狐查看源码Fiddler的使用

       2.1 下载并安装Fiddler，访问官网下载页面，填写信息后下载安装包，按照常规步骤进行安装。

       2.2 配置Fiddler，打开工具选项，选择HTTPS捕获、解密HTTPS流量等功能，完成配置后重启Fiddler。

       三、libsvm 源码分析Fiddler的使用

       3.1 在Fiddler中查看JSON、CSS、JS格式的数据。停止抓取：文件菜单中选择捕获，取消勾选。点击请求，右边选择inspectors。

       3.2 HTTP请求信息：Raw显示请求头部详细信息，Webforms显示参数，如query_string、字符动画源码formdata。

       3.3 HTTP响应信息：首先点击**条解码，Raw显示响应所有信息，Headers显示响应头，Json显示接口返回内容。

       3.4 左下黑色框输入指令，用于过滤特定请求，如清除所有请求、选择特定格式请求等。

       四、dbms 源码下载Urllib库初识

       4.1 Urllib库用于模拟浏览器发送请求，是Python内置库。

       4.2 字符串与字节之间的转化：字符串转字节使用Encode（），字节转字符串使用Decode（），默认编码为utf-8。

       4.3 urllib.request属性：urlopen（url）返回响应对象位置，urlretrieve（url, filename）下载文件。

       4.4 urllib.parse构建url：quote编码中文为%xxxx形式，unquote解码%xxxx为中文，urlencode将字典拼接为query_string并编码。

       五、响应处理

       5.1 read（）读取响应内容，返回字节类型源码，geturl（）获取请求的url，getheaders（）获取头部信息列表，getcode（）获取状态码，readlines（）按行读取返回列表。

       六、GET方式请求

       6.1 无错误代码，但打开Fiddler时可能会报错，因为Fiddler表明Python访问被拒绝，需要添加头部信息，如伪装User-Agent为浏览器。

       七、构建请求头部

       7.1 认识请求头部信息，如Accept-encoding、User-agent。了解不同浏览器的User-agent信息，伪装自己的User-agent以通过反爬机制。

       8.1 构建请求对象，使用urllib.request.Request(url=url, headers=headers)。完成以上步骤，实现基于Fiddler和Urllib库的网络数据抓取与请求操作。

如何查看网页的源码

       一个网页的源码，除了从事IT工作的人员外，很少有人接触，今天就介绍一种查看一个网页源码的方法。

       1、首先打开一个网页，如/

       2、然后点击右上角的菜单。

       3、然后再点击工具。

       4、就会弹出一个子菜单，其中就包含了查看源文件

       5、点击查看源文件即可。