为什么要每个文件存储5000条数据呢,因为这是mysql的一个界限值、如果每次取多了以后可能会对线上用户访问造成影响,或者速度变慢。每个文件存储5000条数据,但是mysql selsect的时候不能每次取5000条、现在写的是每次取1000条。那这样逻辑就有点复杂。
实现方法:
首先取出1000条数据(可以灵活些成活的,方便以后修改),然后循环生成xml格式文件。file_puts_contens写入文件。然后再把生成的xml文件名称、取出问题的最小id、取出问题的最大id、取出问题的条数写出一个索引查询的txt文件当中,格式大概是这个样子的。
0,3146886,3145887,1000
发现最后面的条数是1000了吗、第一次select取出1000条数据、然后写入0.xml文件当中。把取出的xml文件名称、最小id、最大id、条数写入到索引查询txt中。第一次写入了1000条数据到0.xml、生成条数为1000。第二次查询的时候select语句会成为。 where id > 取出的最大id(当前mysql为正序查询、如果为倒序、改成小于) limit 1000 这样的话又取出1000、然后修改索引查询txt的最小id、最大id、生成条数加到2000。以此类推等生成条数到了5000的时候再另起一行写入索引文件、类似这样
0,3146886,3145887,5000
1,3148886,3147887,1000
这样写的话就减轻了服务器的压力。
下面贴出实现代码(风格有点乱):
具体功能代码如下:
<?php /* * SiteMap接口类 */ class SitemapAction extends Action{ private static $baseURL = ''; //URL地址 private static $askMobileUrl = 'http://m.xxx.cn/ask/'; //问答移动版地址 private static $askPcUrl = "http://www.xxx.cn/ask/"; //问答pc地址 private static $askZonePcUrl = "http://www.xxx.cn/ask/jingxuan/"; //问答精选Pc链接 private static $askZoneMobileUrl = "http://m.xxx.cn/ask/jx/"; //问答精选移动版链接 //问答setmaps public function askSetMap(){ header('Content-type:text/html;charset=utf-8'); //获取问题列表 $maxid = 0; //索引文件最大id $minid = 0; //索引文件最小id $psize = 1000; //数据库每次取数量 $maxXml = 5000; //xml写入记录数量 $where = array(); //读取索引文件 $index = APP_PATH.'setmapxml/Index.txt'; //关联setmaps路径 $askXml = "../siteditu/ask/ask.xml"; if(!file_exists($index)){ $fp=fopen("$index", "w+"); if ( !is_writable($index) ){ die("文件:" .$index. "不可写,请检查!"); } fclose($fp); }else{ //index.txt文件说明 0:xml文件名称(从1开始)、1:文件最大id、2:文件最小id、3:文件当前记录数 $fp = file($index); $string = $fp[count($fp)-1];//显示最后一行 $arr = explode(',', $string); } //索引文件数量是否小于$maxXml //如果为第一次运行 if(!$arr[1]){ $bs=1; $filename=0; }else{ if($arr && $arr[3]<$maxXml){ $filename = $arr[0]; $psize = $maxXml-$arr[3]>$psize?$psize:($maxXml-$arr[3]); $bs = 0; }else{ $filename = $arr[0]+1; $bs=1; } } $maxid = empty($arr[1])?0:$arr[1]; $minid = empty($arr[2])?0:$arr[2]; echo "文件名称:".$filename.".xml"."<br/ >"; echo "最大id:".$maxid."<br />"; echo "最小id:".$minid."<br />"; echo "xml写入最大记录:".$maxXml."<br />"; echo "数据库每次读取数量:".$psize."<br />"; $list = self::$questionObj->getQuestionSetMap($where,$maxid,$psize); if(count($list)<=0){ echo 1;exit; } $record = $arr[3]+count($list); //索引文件写入记录数 $indexArr = array('filename'=>$filename,'maxid'=>$maxid,'minid'=>$minid,'maxXml'=>$record); $start = '<?xml version="1.0" encoding="UTF-8" ?> '.chr(10); $start.="<urlset xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\" xmlns:mobile=\"http://www.baidu.com/schemas/sitemap-mobile/1/\">".chr(10); $start.="</urlset>"; foreach($list as $k=>$qinfo){ if($k==0) $indexArr['minid']=$qinfo['id']; $qinfo['lastmod'] = substr($qinfo['lasttime'],0,10); $qinfo['mobielurl'] = self::$askMobileUrl.$qinfo['id'].'.html'; //移动版链接 $qinfo['pcurl'] = self::$askPcUrl.$qinfo['id'].'-p1.html'; //pc版链接 $xml.=$this->askMapMobileUrl($qinfo); //移动版 $xml.=$this->askMapPcUrl($qinfo); //pc版 } $maxid = end($list); $indexArr['maxid'] = $maxid['id']; //更新索引文件 if($bs==0){ //更新最后一行 $txt = file($index); $txt[count($txt)-1] = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$indexArr['maxXml']."\r\n"; $str = join($txt); if (is_writable($index)) { if (!$handle = fopen($index, 'w')) { echo "不能打开文件 $index";exit; exit; } if (fwrite($handle, $str) === FALSE) { echo "不能写入到文件 $index";exit; exit; } echo "成功地写入文件$index"; fclose($handle); } else { echo "文件 $index 不可写";exit; } fclose($index); }elseif($bs==1){ //新加入一行 $fp = fopen($index,'a'); $num = count($list); $string = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$num."\r\n"; if(fwrite($fp,$string)===false){ echo "追加新行失败。。。";exit; }else{ echo "追加成功<br />"; //更新sitemap索引文件 $xmlData="<?xml version=\"1.0\" encoding=\"UTF-8\" ?>".chr(10); $xmlData.="<sitemapindex>".chr(10); $xmlData.="</sitemapindex>"; if(!file_exists($askXml)) file_put_contents($askXml,$xmlData); $fileList = file($askXml); $fileCount = count($fileList); $setmapxml = "http://www.xxx.cn/ask/setmapxml/{$filename}.xml";//正常问题链接 $txt = $this->setMapIndex($setmapxml); $fileList[$fileCount-1]=$txt."</sitemapindex>"; $newContent = ''; foreach($fileList as $v){ $newContent.= $v; } if(!file_put_contents($askXml,$newContent)) exit('无法写入数据'); echo '已经写入文档' . $askXml; } fclose($fp); } $filename = APP_PATH.'setmapxml/'.$filename.'.xml'; //更新到xml文件中,增加结尾 if(!file_exists($filename)) file_put_contents($filename,$start); $xmlList = file($filename); $xmlCount = count($fileList); $xmlList[$xmlCount-1]=$xml."</urlset>"; $newXml = ''; foreach($xmlList as $v){ $newXml.= $v; } if(!file_put_contents($filename, $newXml))exit("写入数据错误"); else echo "写入数据成功<br />"; } //问答移动版xml private function askMapMobileUrl($data){ $xml = ''; if(is_array($data)&&!empty($data)){ $xml .="<url>".chr(10); if($data['id']) $xml.='<loc>'.$data['mobielurl'].'</loc>'.chr(10);//移动版链接 $xml.="<mobile:mobile type=\"mobile\"/>".chr(10); if($data['lastmod']) $xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10); $xml.='<changefreq>daily</changefreq>'.chr(10); $xml.='<priority>0.8</priority>'.chr(10); $xml.="</url>".chr(10); return $xml; } } //问答pc版xml private function askMapPcUrl($data){ $xml = ''; if(is_array($data)&&!empty($data)){ $xml.='<url>'.chr(10); if($data['id']) $xml.='<loc>'.$data['pcurl'].'</loc>'.chr(10);//pc版链接 if($data['lastmod']) $xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10); $xml.='<changefreq>daily</changefreq>'.chr(10); $xml.='<priority>0.8</priority>'.chr(10); $xml.='</url>'.chr(10); return $xml; } } //setmaps索引文件 private function setMapIndex($filename){ $xml = ''; $xml.="<sitemap>".chr(10); $xml.="<loc>{$filename}</loc>".chr(10); $xml.="<lastmod>".date("Y-m-d",time())."</lastmod>".chr(10); $xml.="</sitemap>".chr(10); return $xml; } } ?>
<?xml version="1.0" encoding="UTF-8" ?> <sitemapindex> <sitemap> <loc>http://www.xxx.cn/ask/setmapxml/0.xml</loc> <lastmod>2014-05-12</lastmod> </sitemap> <sitemap> <loc>http://www.xxx.cn/ask/setmapxml/1.xml</loc> <lastmod>2014-05-12</lastmod> </sitemap> </sitemapindex>
<?xml version="1.0" encoding="UTF-8" ?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/"> <url> <loc>http://m.xxx.cn/ask/7460.html</loc> <mobile:mobile type="mobile"/> <lastmod>2013-01-11</lastmod> <changefreq>daily</changefreq> <priority>0.8</priority> </url> <url> </urlset>
希望本文所述对大家的php程序设计有所帮助。