dede3.1分页文字采集过滤规则详说(图文教程)续四
2015-01-24信息快讯网
文章内容匹配、分页内容匹配都进行完后,最后就只有“过滤”了,包括分页区域过滤和文章内容过滤。据本人的感觉,上面的两个规则都好写,只要找到全部链接中的“唯一性”代码就搞定,但过滤规则里却是欲说还休,道不尽的无穷奥妙……哈哈,感觉就是这样。尤其如我一般的新手,对“正则”这个东西如临天书,找了几个正则方面的软件吧仍觉无从下手,就只好依样画样,照猫画虎,依葫芦画瓢地摸索了。
好了,闲话了。也累了,听听《加州旅馆》吧,在这:加州旅馆_老鹰乐队94现场 放松下吧。
你一眼看出来了过滤规则怎么写么,反正我是没能看得出来,没办法,新手就是新手呀。不管它,那就依照原范例的分页过滤规则写个规则试试看看结果吧:
{dede:trim}<td align='center' height='30'>(.*)页次{/dede:trim}
采集一下:
=700) window.open('/upload/200743213556612.gif');" src="http://files.jb51.net/upload/200743213556612.gif" onload="if(this.width>'700')this.width='700';" border=0>
分页成功了,但废码多,还得改!
看下多余的代码特征,好象是过滤范围不够,后面的很多内容都要过滤掉。那好,把过滤区域再往后移,直接移至描红部分吧(其实我在改过滤规则的时候,改了好几次,这里就一次到位吧,不耽误朋友们的时间了):
=700) window.open('/upload/200743213556171.gif');" src="http://files.jb51.net/upload/200743213556171.gif" onload="if(this.width>'700')this.width='700';" border=0>
写个完整的分页过滤规则:
{dede:trim}<td align='center' height='30'>(.*)</option></select></td>{/dede:trim}
再采集下,看看结果:
=700) window.open('/upload/200743213556537.gif');" src="http://files.jb51.net/upload/200743213556537.gif" onload="if(this.width>'700')this.width='700';" border=0>
好了,分页成功,无多余代码。至此,全部主要的代码部分完成。
结果在这里:
有分页的:党员干部作风整顿剖析材料
无分页的: 文艺部工作计划
写一个完成的站点规则:
{!-- 节点基本信息 --} {dede:item name='天水_工作计划_1页' imgurl='/upimg' imgdir='../upimg' language='gb2312' typeid='1' macthtype='string'} {/dede:item} {!-- 采集列表获取规则 --} {dede:list source='var' sourcetype='list' varstart='' varend=''} {dede:url value='http://www.tiansou.net/Html/Y_CYFW/R_Gzzj/F_Gzjh/index.html'}{/dede:url} {dede:need}Gzjh/2007-{/dede:need} {dede:cannot}Gzjh/2007-1{/dede:cannot} {dede:linkarea}[var:区域]{/dede:linkarea} {/dede:list} {!-- 网页内容获取规则 --} {dede:art} {dede:sppage sptype='full'}<td align='center' height='30'>首页 上页[var:分页区域]页次{/dede:sppage} {dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题' isunit='' isdown=''} {dede:match}<title>[var:内容]--天水搜索</title>{/dede:match} {dede:function}{/dede:function} {/dede:note} {dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}@me = time();{/dede:function} {/dede:note} {dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}{/dede:function} {/dede:note} {dede:note field='dede_archives.litpic' value='[var:内容]' comment='缩略图' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}@me = @litpic;{/dede:function} {/dede:note} {dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}if(@me!="") @me = GetMkTime(@me); else @me = time();{/dede:function} {/dede:note} {dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}@me = time();{/dede:function} {/dede:note} {dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容' isunit='1' isdown='1'} {dede:match}</TR> <TR> <TD height="8"></TD> </TR> <TR> <TD valign="top" class=Connet><p>[var:内容]</p> </TD> </TR>{/dede:match} {dede:trim}<td align='center' height='30'>(.*)</option></select></td>{/dede:trim} {dede:trim} {/dede:trim} {dede:trim}<param([^>]*)>{/dede:trim} {dede:trim}<embed([^>]*)>([^>]*)</embed>{/dede:trim} {dede:trim}<embed([^>]*)>{/dede:trim} {dede:trim}</embed>{/dede:trim} {dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim} {dede:trim}<object([^>]*)>{/dede:trim} {dede:trim}</object>{/dede:trim} {dede:trim}<OBJECT([^>]*)>([^>]*)</OBJECT>{/dede:trim} {dede:trim}<OBJECT([^>]*)>{/dede:trim} {dede:trim}</OBJECT>{/dede:trim} {dede:trim}<iframe([^>]*)>([^>]*)</iframe>{/dede:trim} {dede:trim}<iframe([^>]*)>{/dede:trim} {dede:trim}</iframe>{/dede:trim} {dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim} {dede:trim}<IFRAME([^>]*)>{/dede:trim} {dede:trim}</IFRAME>{/dede:trim} {dede:trim}<font([^>]*)>([^<]*)</font>{/dede:trim} {dede:trim}<font([^>]*)>{/dede:trim} {dede:trim}</font>{/dede:trim} {dede:trim}<img([^>]*)>{/dede:trim} {dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim} {dede:trim}<a([^>]*)>{/dede:trim} {dede:trim}</a>{/dede:trim} {dede:trim}<td([^>]*)>([^>]*)</td>{/dede:trim} {dede:trim}<td([^>]*)>{/dede:trim} {dede:trim}</td>{/dede:trim} {dede:trim}<tr([^>]*)>([^>]*)</tr>{/dede:trim} {dede:trim}<tr([^>]*)>{/dede:trim} {dede:trim}</tr>{/dede:trim} {dede:trim}<tbody([^>]*)>([^>]*)</tbody>{/dede:trim} {dede:trim}<tbody>{/dede:trim} {dede:trim}</tbody>{/dede:trim} {dede:trim}<table([^>]*)>([^>]*)</table>{/dede:trim} {dede:trim}<table([^>]*)>{/dede:trim} {dede:trim}</table>{/dede:trim} {dede:trim} {/dede:trim} {dede:function}{/dede:function} {/dede:note} {dede:note field='dede_archives.source' value='[var:内容]' comment='文章来源' isunit='' isdown=''} {dede:match}{/dede:match} {dede:function}@me ='互联网'{/dede:function} {/dede:note} {/dede:art}
PHP 配置open_basedir 让各虚拟站点独立运行
php利用header函数实现文件下载时直接提示保存
php header 详细使用说明与使用心得第1/2页
PHP CKEditor 上传图片实现代码
dedecms 批量提取第一张图片最为缩略图的代码(文章+软件)
php 网页游戏开发入门教程一(webgame+design)
php 服务器调试 Zend Debugger 的安装教程
PHP 内存缓存加速功能memcached安装与用法
php download.php实现代码 跳转到下载文件(response.redirect)
php 过滤危险html代码
php 正则 过滤html 的超链接
php 字符过滤类,用于过滤各类用户输入的数据
php完全过滤HTML,JS,CSS等标签
php过滤危险html代码
Dedecms常用函数解析
中国站长站 For Dede4.0 采集规则
dede全站URL静态化改造[070414更正]
动易数据转成dedecms的php程序
dedecms系统常用术语汇总
dede3.1分页文字采集过滤规则详说(图文教程)续二
dede3.1分页文字采集过滤规则详说(图文教程)
dedecms模版制作使用方法
解决dede生成静态页和动态页转换的一些问题,及火车采集入库生成动态的办法
实现dedecms全站URL静态化改造的代码
dedecms采集中可以过滤多行代码的正则表达式
简单的过滤字符串中的HTML标记
如何过滤高亮显示非法字符