今天帮师姐抓amazon的数据,有一个url用wget抓老是"301 Moved Permanently",猜想可能是根据客户端类型进行了跳转。于是在ruby里面给请求加上浏览器信息。
require ‘net/http’ require ‘uri’
uri = URI.parse(’http://www.amazon.com/review/product/081297543X/ref=cm_cr_pr_recent?_encoding=UTF8&showViewpoints=0&sortBy=bySubmissionDateAscending’)
request = Net::HTTP::Get.new(uri.path) request["User-Agent"] = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3"
Net::HTTP.start(uri.host, uri.port) do |http| response = http.request(request) open(’output.htm’,'w’){|f| f << response.body} end
抓是能抓下来,发现抓下来的也是重定向后的,百思不得其解。无奈之下换成java来写,一样的工作,一样的加了浏览器信息:
uc.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT [...]
分享到:
相关推荐
JSP获取HTTP header信息(request)例子JSP获取HTTP header信息(request)例子
http header 详细介绍,详细的定义,类型等等等,希望对大家有帮助
Live http header插件介绍 1 Live http header插件简介 2 Live http header插件的安装 3 Live http header功能介绍 目录 Live http header插件简介 Live http headers是一个用于抓包改包、分析HTTP流量的 Firefox ...
HttpWatch.Professional Http header查看,表单查看
Http协议header说明,包括: Content-Length Content-Language Content-Disposition Content-Type Cache-Control .............. 等属性使用
go-httpheader go-httpheader是一个Go库,用于将结构编码到Header字段中。安装go get -u github.com/mozillazg/go-httpheader 用法 package mainimport ("fmt""net/http""github.com/mozillazg/go-httpheader")type ...
虽然要分,但您回复后,就不扣分了。 主要修改了 ContentLength 的类型错误。 可以方便 用 http 下载大文件。
C语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC语言头文件 HEADERC...
HTTP Headers是HTTP请求和相应的核心,它承载了关于客户端浏览器,请求页面,服务器等相关的信息, 此文档帮助你分析HTTP headers
用Nginx向http request请求的http header中添加字段
HTTP签名标头(http-signature-header) 一个用于创建和验证HTTP签名标头JavaScript库 目录 背景 安装 要在本地安装(用于开发): git clone https://github.com/digitalbazaar/http-signature-header.git cd ...
本文实例讲述了go语言在请求http时加入自定义http header的方法。分享给大家供大家参考。具体实现方法如下: 代码如下: client := &http.Client{] req, err := http.NewRequest(“POST”, “http://example.com”, ...
Chrome Header Editor 插件 及 配置文件,旨在取消因流量异常或IP异常导致的谷歌人机验证。
chrome浏览器扩展程序,直接拖拽可用的自定义header插件。可自定义Request headers,便于web调试。
jquery是js的类库,js本身不能操作header,因为js是在浏览器加载页面过程中才开始执行的header需要服务器端执行操作 如果是ajax,是可以设置header $.ajax({ url: "", data: {}, type: "GET", beforeSend: ...
tcp/ip-HTTP-Header-消息报头 本文来自: E点废墟(www.xok.la) 详细出处参考:http://xok.la/2009/07/tcp-ip-http-header.html
2020-02-19 10:34:46.901 INFO 5920 --- [nio-8080-exec-1] o.apache.coyote.http11.Http11Processor : Error parsing HTTP request header Note: further occurrences of HTTP header parsing errors will be ...
ajax添加header整理
详细分析php获取不到自定义header参数的原因,明确设置自定义header参数注意事项以及php获取自定义参数方法
<header>标签定义文档的页面组合,通常是一些引导和导航信息(DOM接口、可设置属性)。 <header>标签定义文档的页眉(介绍信息)。 Header 区的例子包含了页面标题和副标题,<header>标签被用来创建页面的Header区的...