火车头POST方式获取网址方法火车头采集查看更多页方法

时间：2021-01-23 00:10:15 栏目：行业资讯

【导读】：6012导航(http://www.6012.cn/)在线提供,行业资讯「2把火烧过之后供应链谁能存活？」，供行业资讯爱好者免费阅读。本文地址：/news/9.html

一、POST网址获取

何为post网址？就是一般用了ajax或.NET中的一些技术当你请求新内容时，页面只进行局部刷新，地址栏中的URL不变。

我们处理此类采集时的思路就是用抓包工具，截取请求时提交的内容找出共同特点，用火车中的“分页”变量进行替换并给定值范围，这样火车在采集时会自动提交请求内容得到新的内容列表进行采集。

我们着重讲解怎么样抓包，抓哪的包及如何处理抓包得到的数据。内容的采集和普通页面一样，在此就不多说了。

抓包工具：fiddler

下载地址：http://www.telerik.com/download/fiddler

二、方法/步骤

（1）下载安装抓包工具fiddler

（2）我们用浏览器打开要抓取的页面，例如 http://www.ditan360.com/News/List.aspx?ColumnPageID=15 当你进行翻页时就会发现此页是用post提交翻页请求的，网址不变化。

（3）打开fiddler工具

如图，点击开启抓包模式，在点击左边列表，CTRL+X清空数据流。

（4）此时，我们操作浏览器点击下一页，用fiddler抓包，找POST类型的网址，点击View in Notepad 以文本的形式展现。重复这一步骤，点击左边列表，CTRL+X清空数据流。操作浏览器再点击下一页，用fiddler抓包，找POST类型的网址，点击View in Notepad 以文本的形式展现。