400-800-9385
网站建设资讯详细

详谈方维站长工具如何解决抓取谷歌结果返回403错误问题

发表日期:2012-10-24 00:00:00   作者来源:方维网络   浏览:5452   标签:方维站长工具    谷歌    
    方维站长工具能查询网站各大搜索引擎收录数量和百度权重、百度相关域、百度快照、百度近日收录、网站历史查询、网站升级查询等。但是在抓取谷歌网页结果的时候,返回403错误问题,同样的地址,用浏览器打开时显示正常的搜索结果页面,但用程序抓取就出现403错误页面,里面讲的是判断访问对象是机器,可见谷歌对程序或软件抓取结果已经做了相关的措施,因为谷歌+1算法已经生效,防止机器抓取可以防止机器点击。所以,方维站长工具一直因为这个原因无法抓取谷歌收录、谷歌排名数据。

    一直以来,我都在网上寻找问题的答案,因为我看有些站长工具能够抓取,所以问题一定有解决的方法,我开始怀疑是路径不对,不过我发觉也只有这个路径,于是我把目标指向了抓取网页的程序,采用其他方法,没想到,让我惊奇的结果出来了。用Microsoft.XMLHTTP对象获取就可以抓取到正常结果,我以前是用MSXML2.SERVERXMLHTTP.3.0对象来抓取的。代码如下。

Function getHTTPPage(url,charcode)
    dim objXML
    'set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0")  '调用XMLHTTP组件,测试空间是否支持XMLHTTP
    set objXML=createobject("Microsoft.XMLHTTP")
 objXML.open "GET",url,false 'false表示以同步的方式获取网页代码,了解什么是同步?什么是异步?
    objXML.send() '发送
    getHTTPPage=bBytesToBstr(objXML.responseBody,charcode)'返回信息,同时用函数定义编码
    set objXML=nothing'关闭
End Function


Function bBytesToBstr(body,charcode)
    dim objstream
    set objstream = CreateObject("adodb.stream") '//调用adodb.stream组件
    objstream.Type = 1
    objstream.Mode =3
    objstream.Open
    objstream.Write body
    objstream.Position = 0
    objstream.Type = 2
    objstream.Charset = charcode '转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP调用有中文字符的网页得到的将是乱码
    bBytesToBstr = objstream.ReadText
    objstream.Close
    set objstream = nothing
end Function

通过使用这个抓取函数,谷歌的收录数据、排名数据都可以正常获取了,从而解决了这个BUG。

方维站长工具正在一步步完善,而且源代码全部开源,只希望保留版权信息。

如没特殊注明,文章均为方维网络原创,转载请注明来自https://www.szfangwei.cn/news/1717.html