PHP CURL获取cookies模拟登录的方法
2015-01-24信息快讯网
利用PHP的curl函数实现模拟登录的方法。
要提取google搜索的部分数据,发现google对于软件抓取它的数据屏蔽的厉害,以前伪造下 USER-AGENT 就可以抓数据,但是现在却不行了。利用抓包数据发现,Google 判断了 cookies,当你没有cookies的时候,直接返回 302 跳转,而且是连续几十个302跳转,根本抓不了数据。因此,在发送搜索命令时,需要先提取 cookies 并保存,然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理,先POST登录,获取cookies并保存,然后利用这个cookies访问就可以了。
PHP 代码如下:
<?php header('Content-Type: text/html; charset=utf-8'); $cookie_file = dirname(__FILE__).'/cookie.txt'; //$cookie_file = tempnam("tmp","cookie"); //先获取cookies并保存 $url = "http://www.google.com.hk"; $ch = curl_init($url); //初始化 curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接输出 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存储cookies curl_exec($ch); curl_close($ch); //使用上面保存的cookies再次访问 $url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq"; $ch = curl_init($url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面获取的cookies $response = curl_exec($ch); curl_close($ch); echo $response; ?>
codeigniter集成ucenter1.6双向通信的解决办法
使用CodeIgniter的类库做图片上传
Codeigniter出现错误提示Error with CACHE directory的解决方案
Codeigniter注册登录代码示例
Codeigniter操作数据库表的优化写法总结
Codeigniter中禁止A Database Error Occurred错误提示的方法
PHP 面向对象程序设计(oop)学习笔记 (四) - 异常处理类Exception
PHP 面向对象程序设计(oop)学习笔记(三) - 单例模式和工厂模式
PHP 面向对象程序设计(oop)学习笔记 (二) - 静态变量的属性和方法及延迟绑定
PHP 面向对象程序设计(oop)学习笔记(一) - 抽象类、对象接口、instanceof 和契约式编程
CI框架中libraries,helpers,hooks文件夹详细说明
教你如何在CI框架中使用 .htaccess 隐藏url中index.php
PHP函数分享之curl方式取得数据、模拟登陆、POST数据
PHP解决URL中文GBK乱码问题的两种方法
PHP Curl出现403错误的解决办法
微信支付开发教程(一)微信支付URL配置
PHP图片上传代码
php Session存储到Redis的方法
php使用curl模拟登录后采集页面的例子
php cURL和Rolling cURL并发方式比较
使用Curl进行抓取远程内容时url中文编码问题示例探讨
使用PHP curl模拟浏览器抓取网站信息
php中的boolean(布尔)类型详解
php加密解密函数authcode的用法详细解析
php数组转换js数组操作及json_encode的用法详解
获取URL文件名后缀
PHP file_get_contents设置超时处理方法
php json_encode值中大括号与花括号区别
php读取本地文件常用函数(fopen与file_get_contents)
PHP取整函数:ceil,floor,round,intval的区别详细解析
php取整函数ceil,floo,round的用法及介绍
新手菜鸟必读:session与cookie的区别
怎样使用php与jquery设置和读取cookies