php file_get_contents函数轻松采集html数据
2015-01-24信息快讯网
PHP手册里是这么解释的:file_get_contents ― 将整个文件读入一个字符串,于是可以很容易的获取其他站的信息,再用正则加以变换,再做一些判断和设定,就OK了,不多说了,放代码,我基本都做了解释的。
<?php
//全国,判断条件是$REQUEST_URI是否含有html
if (!strpos($_SERVER["REQUEST_URI"],".html"))
{
$page="http://qq.ip138.com/weather/";
$html = file_get_contents($page,'r');
$pattern="/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询<\/B>(.*?)<center style=\"padding\:3px\">/si";
//正则匹配之间的html
preg_match($pattern,$html,$pg);
echo "";
//正则替换远程地址为本地地址
$p=preg_replace('/\/weather\/(\w+)\/index.htm/', 'tq.php/$1.html', $pg[1]);
echo $p;
}
//省,判断条件是$REQUEST_URI是否含有?
else if(!strpos($_SERVER["REQUEST_URI"],"?")){
//yoyo推荐的使用分割获得数据,这里是获得省份名称
$province=explode("/",$_SERVER["REQUEST_URI"]);
$province=explode(".",$province[count($province)-1]);
$province=$province[0];
//被注释掉的是我自己写出来的正则,感觉写的不好,但效果等同上面
//preg_match('/[^\/]+[\.(html)]$/',$_SERVER["REQUEST_URI"],$pro);
//$province=preg_replace('/\.html/','',$pro[0]);
$page="http://qq.ip138.com/weather/".$province."/index.htm";
//获取html数据之前先尝试打开页面,防止恶意输入地址导致出错
if (!@fopen($page, "r")) {
die("对不起,该地址不存在!<a href=javascript:history.back(1)>点击这里返回</a>");
exit(0);
}
$html = file_get_contents($page,'r');
$pattern="/五天天气趋势预报<\/B>(.*?)请输入输入市/si";
preg_match($pattern,$html,$pg);
echo "";
//正则替换,获取省份,城市
$p=preg_replace('/\/weather\/(\w+)\/(\w+).htm/', '$2.html?pro=$1', $pg[1]);
echo $p;
}
else {
//市,通过get传递省份
$pro=$_REQUEST['pro'];
$city=explode("/",$_SERVER["REQUEST_URI"]);
$city=explode(".",$city[count($city)-1]);
$city=$city[0];
//preg_match('/[^\/]+[\.(html)]+[\?]/',$_SERVER["REQUEST_URI"],$cit);
//$city=preg_replace('/\.html\?/','',$cit[0]);
$page="http://qq.ip138.com/weather/".$pro."/".$city.".htm";
if (!@fopen($page, "r")) {
die("对不起,该地址不存在!<a href=javascript:history.back(1)>点击这里返回</a>");
exit(0);
}
$html = file_get_contents($page,'r');
$pattern="/五天天气趋势预报<\/B>(.*?)请输入输入市/si";
preg_match($pattern,$html,$pg);
echo "";
//获取真实的图片地址
$p=preg_replace('/\/image\//', 'http://qq.ip138.com/image/', $pg[1]);
echo $p;
}
?>
PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
php程序的国际化实现方法(利用gettext)
php中使用Curl、socket、file_get_contents三种方法POST提交数据
用php解析html的实现代码
判断Keep-Alive模式的HTTP请求的结束的实现代码
使用ThinkPHP自带的Http类下载远程图片到本地的实现代码
php中修改浏览器的User-Agent来伪装你的浏览器和操作系统
在WAMP环境下搭建ZendDebugger php调试工具的方法
php设计模式 FlyWeight (享元模式)
php错误提示failed to open stream: HTTP request failed!的完美解决方法
用PHP的超级变量$_POST获取HTML表单(HTML Form) 数据
用PHP的超级变量$_GET获取HTML表单(Form) 数据
深入理解PHP原理之错误抑制与内嵌HTML分析
smarty中先strip_tags过滤html标签后truncate截取文章运用
PHP CURL模拟GET及POST函数代码
国外比较好的几个的Php开源建站平台小结
php将数据库中所有内容生成静态html文档的代码
php Smarty模板生成html文档的方法
php抓取https的内容的代码
php checkdate、getdate等日期时间函数操作详解
通用PHP动态生成静态HTML网页的代码
php下过滤html代码的函数 提高程序安全性
php htmlspecialchars加强版
php面向对象全攻略 (六)__set() __get() __isset() __unset()的用法
php 服务器调试 Zend Debugger 的安装教程
php getsiteurl()函数
PHP file_get_contents 函数超时的几种解决方法