探讨file_get_contents与curl效率及稳定性的分析
2015-01-24信息快讯网
本篇文章是对file_get_contents与curl效率及稳定性进行了详细的分析介绍,需要的朋友参考下
做过好多抓取别家网站内容的产品,习惯了使用方便快捷的file_get_contents函数,但是总是会遇到获取失败的问题,尽管按照手册中的例子设置了超时,可多数时候不会奏效:
$config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”, 'timeout' => 5//这个超时时间不稳定,经常不奏效 ) ));
这时候,看一下服务器的连接池,会发现一堆类似的错误,让你头疼万分:
file_get_contents(http://***): failed to open stream…
不得已,安装了curl库,写了一个函数替换:
<span style="color:#000000; font-weight:bold">function</span> curl_file_get_contents<span style="color:#009900">(</span><span style="color:#000088">$durl</span><span style="color:#009900">)</span><span style="color:#009900">{</span> <span style="color:#000088">$ch</span> <span style="color:#339933">=</span> <span style="color:#990000">curl_init</span><span style="color:#009900">(</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_URL<span style="color:#339933">,</span> <span style="color:#000088">$durl</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_TIMEOUT<span style="color:#339933">,</span> <span style="color:#cc66cc">5</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_USERAGENT<span style="color:#339933">,</span> _USERAGENT_<span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_REFERER<span style="color:#339933">,</span>_REFERER_<span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_RETURNTRANSFER<span style="color:#339933">,</span> <span style="color:#cc66cc">1</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#000088">$r</span> <span style="color:#339933">=</span> <span style="color:#990000">curl_exec</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#990000">curl_close</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#009900">)</span><span style="color:#339933">;</span> <span style="color:#b1b100">return</span> <span style="color:#000088">$r</span><span style="color:#339933">;</span> <span style="color:#009900">}</span>
如此,除了真正的网络问题外,没再出现任何问题。
这是别人做过的关于curl和file_get_contents的测试:
file_get_contents抓取google.com需用秒数:
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092
curl使用的时间:
0.68719101
0.64675593
0.64326
0.81983113
0.63956594
差距很大吧?呵呵,从我使用的经验来说,这两个工具不只是速度有差异,稳定性也相差很大。建议对网络数据抓取稳定性要求比较高的朋友使用上面的curl_file_get_contents函数,不但稳定速度快,还能假冒浏览器欺骗目标地址哦!
PHP反射类ReflectionClass和ReflectionObject的使用方法
php file_get_contents抓取Gzip网页乱码的三种解决方法
CodeIgniter使用phpcms模板引擎
php用正则表达式匹配URL的简单方法
CodeIgniter基本配置详细介绍
PHP URL路由类实例
PHP set_error_handler()函数使用详解(示例)
php后门URL的防范
PHP使用PHPMailer发送邮件的简单使用方法
php cookie使用方法学习笔记分享
php使用mb_check_encoding检查字符串在指定的编码里是否有效
PHP Curl多线程原理实例详解
PHP CURL获取cookies模拟登录的方法
is_uploaded_file函数引发的不能上传文件问题
浅谈PHP强制类型转换,慎用!
$_GET['goods_id']+0 的使用详解
PHP在线生成二维码(google api)的实现代码详解
CURL的学习和应用(附多线程实现)
PHP Cookie的使用教程详解
基于PHP CURL获取邮箱地址的详解
解析CI即CodeIgniter框架在Nginx下的重写规则
深入php函数file_get_contents超时处理的方法详解
详解PHP内置访问资源的超时时间 time_out file_get_contents read_file
PHP在线生成二维码代码(google api)
基于Discuz security.inc.php代码的深入分析
php curl的深入解析
解析php中mysql_connect与mysql_pconncet的区别详解
解析php DOMElement 操作xml 文档的实现代码
PHP闭包(Closure)使用详解
基于curl数据采集之正则处理函数get_matches的使用
基于curl数据采集之单页面并行采集函数get_htmls的使用