PHP 获取远程网页内容的代码(fopen,curl已测)
2015-01-24信息快讯网
获取远程网页内容的php代码,做小偷采集程序的程序经常用得到,现在用curl的比较多。
1、fopen的使用<?php $handle = fopen ("http://s.jb51.net/", "rb"); $contents = ""; while (!feof($handle)) { $contents .= fread($handle, 8192); } fclose($handle); echo $contents; //输出获取到得内容。 ?>
// 对 PHP 5 及更高版本可以使用下面的代码 <?php $handle = fopen("http://s.jb51.net", "rb"); $contents = stream_get_contents($handle); fclose($handle); echo $contents; ?>
但上面的代码容易出现 failed to open stream: HTTP request failed!错误,解决方法
有人说在php.ini中,有这样两个选项:allow_url_fopen =on(表示可以通过url打开远程文件),user_agent="PHP"(表示通过哪种脚本访问网络,默认前面有个 " ; " 去掉即可。)重启服务器。
但是有些还是会有这个警告信息,想用完美的解决还差一步,还得设置php.ini里面的user_agent,php默认的user_agent是PHP,我们把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)来模拟浏览器就可以了
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
在工作中遇到这个问题,后完美解决,故分享给大家。
2、通过curl来实现
<?php $url = "http://s.jb51.net"; $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $url); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10); $dxycontent = curl_exec($ch); echo $dxycontent; ?>
linux下可以使用下面的代码下载
exec("wget {$url}");
PHP抓取外部资源函数fopen / file_get_contents / curl 的区别
fopen / file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。
但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。
这大大减少了DNS查询的次数。
所以CURL的性能比fopen / file_get_contents 好很多。
脚本之家原创内容,转载请注明出处。
解析百度搜索结果link?url=参数分析 (全)
Zend的AutoLoad机制介绍
PHP fopen 读取带中文URL地址的一点见解
PHP curl 并发最佳实践代码分享
比较discuz和ecshop的截取字符串函数php版
PHP文章采集URL补全函数(FormatUrl)
UCenter 批量添加用户的php代码
PHP imagecreatefrombmp 从BMP文件或URL新建一图像
Zend Framework中的简单工厂模式 图文
工厂模式在Zend Framework中应用介绍
openflashchart 2.0 简单案例php版
ecshop 批量上传(加入自定义属性)
Notice: Trying to get property of non-object problem(PHP)解决办法
php错误提示failed to open stream: HTTP request failed!的完美解决方法
PHP发明人谈MVC和网站设计架构 貌似他不支持php用mvc
关于php curl获取301或302转向的网址问题的解决方法
基于PHP的cURL快速入门教程 (小偷采集程序)
PHP curl_setopt()函数实例代码与参数分析
使ecshop模板中可引用常量的实现方法
php自动获取字符串编码函数mb_detect_encoding
php Rename 更改文件、文件夹名称
php file_put_contents()功能函数(集成了fopen、fwrite、fclose)
php异常:Parse error: syntax error, unexpected T_ENCAPSED_AND_WHITESPACE eval()'d code error
centos 5.6 升级php到5.3的方法
PHP中使用CURL伪造来路抓取页面或文件
drupal 代码实现URL重写
snoopy 强大的PHP采集类使用实例代码
理解php原理的opcodes(操作码)