PHP 采集获取指定网址的内容

2015-01-24信息快讯网

用php来获取指定网页内容的实现代码,一般采集程序经常用的一些代码,这里只是一个简单的基础。更详细的资料可以参考php 采集成品,可以使用的源码,这样才能学会更多的东西。

参考别人想法变成自己的想法,你会发现慢慢下来以后你就拥有了临时解决很多问题的思路与方法。
<?php 
/* 
功能:获取页面内容,存储下来阅读; lost63 
*/ 
Class GetUrl{ 
var $url; //地址 
var $result; //结果 
var $content; //内容 
var $list; //列表 
function GetUrl($url){ 
$this->url=$url; 
$this->GetContent(); 
$this->GetList(); 
$this->FileSave(); 
//print_r($this->list[2]); 
} 
private function GetContent(){ 
$this->result=fopen($this->url,"r"); 
while(!feof($this->result)){ 
$this->content.=fgets($this->result,9999); 
} 
} 
private function GetList(){ 
preg_match_all('/<a(.*?)href="(.*?)">(.*?)<\/a>/',$this->content,$this->list); 
$this->list[2]=array_unique($this->list[2]); //移除相同的值 
while(list($key,$value)=each($this->list[2])){ 
if(strpos($value,".html")==0||strpos($value,"jiaocheng")==0){ 
unset($this->list[2][$key]); 
}else{ 
$this->list[2][$key]=substr($value,0,strpos($value,".html")).".html"; //去掉不需要的标签 
} 
} 
} 
private function FileSave(){ 
foreach($this->list[2] as $value){ 
$this->url=$value; //重新赋值 
$this->content=null; 
$this->GetContent(); //提取内容 
preg_match_all('/<title>(.*?)<\/title>/',$this->content,$files); //取标题 
$filename=$files[1][0].".html"; //存储名 
$content=$this->str_cut($this->content,'http://pagead2.googlesyndication.com/pagead/show_ads.js','<div id="article_detail">'); 
$file=fopen($filename,"w"); 
fwrite($file,$content); 
fclose($file); 
echo $filename."保存 OK<br>\n"; 
} 
} 
function str_cut($str ,$start, $end) { 
$content = strstr( $str, $start ); 
$content = substr( $content, strlen( $start ), strpos( $content, $end ) - strlen( $start ) ); 
return $content; 
} 
} 
$w=new GetUrl("http://www.ijavascript.cn/jiaocheng/javascript-jiaocheng-352.html"); 
?>
PHP如何解决网站大流量与高并发的问题
session在PHP大型web应用中的使用
php URL跳转代码 减少外链
php session安全问题分析
使用PHP实现二分查找算法代码分享
PHP读取网页文件内容的实现代码(fopen,curl等)
php中获取指定IP的物理地址的代码(正则表达式)
批量获取memcache值并按key的顺序返回的实现代码
php获取后台Job管理的实现代码
php下通过IP获取地理位置的代码(小偷程序)
php获取post中的json数据的实现方法
PHP 获取远程网页内容的代码(fopen,curl已测)
基于PHP的cURL快速入门教程 (小偷采集程序)
vs中通过剪切板循环来循环粘贴不同内容
PHP curl模拟浏览器采集阿里巴巴的实现代码
PHP删除特定数组内容并且重建数组索引的方法.
开启CURL扩展,让服务器支持PHP curl函数(远程采集)
DEDE采集大师官方留后门的删除办法
snoopy 强大的PHP采集类使用实例代码
按上下级层次关系输出内容的PHP代码
PHP 将图片按创建时间进行分类存储的实现代码
php 无极分类(递归)实现代码
php 文件上传代码(限制jpg文件)
php下将XML转换为数组
PHP 巧用数组降低程序的时间复杂度
使用PHP获取网络文件的实现代码
PHP 获取目录下的图片并随机显示的代码
php 文章采集正则代码
PHP simple_html_dom.php+正则 采集文章代码
PHP 采集程序中常用的函数
PHP 读取文件内容代码(txt,js等)
php 获取客户端的真实ip
在mysql数据库原有字段后增加新内容
php 向访客和爬虫显示不同的内容
PHP 读取和修改大文件的某行内容的代码
PHP获取163、gmail、126等邮箱联系人地址【已测试2009.10.10】
PHP下通过系统信号量加锁方式获取递增序列ID
火车采集器 免费版使出收费版本功能实现原理
火车头discuz6.1 完美采集的php接口文件
php 获取远程网页内容的函数
©2014-2024 dbsqp.com