当前位置: 首页 > YY, 技术分享, 网络文摘 > 正文

PinPHP_V2.2 增加批量采集代码

主要是对一个模板文件作了修改。/PinPHP_V2.21/admin/Tpl/default/items_collect/collect.html

增加了“批量采集当前分类”按钮:

Copy to Clipboard引用的内容:[www.veryhuo.com]
<div style=”display:inline-block; margin-left:30px; width:650px”>
<input type=”button” value=”批量采集当前分类” id=”btnCollectCurrent” style=”padding:5px 10px; margin-right:30px;” />
<img src=”http://meego123.net/__ROOT__/statics/images/masonry_loading.gif” id=”collecting” style=”display:none” />
<span id=”info”></span>
</div>JS实现:

Copy to Clipboard引用的内容:[www.veryhuo.com]
(function($){
//当前
var argArray,str,strSplit,strUrl,collectTimer,nLen,count=0,errCount=0;
$(“#btnCollectCurrent”).bind(“click”,function(){
argArray = new Array();
$(“#items_cate_list tr”).each(function(index, element) {
$(this).children(“td”).each(function(index, element) {
var aTag = $(this).children(“a”);
if(aTag.length>0){
var str=$(aTag).attr(“href”).replace(“javascript:collect(“,”").replace(“)”,”").replace(“;”,”").replace(“‘”,”").replace(“‘”,”");
var strSplit = str.split(“,”);
var strUrl = ‘?page=1&a=taobao_collect_jump&m=items_collect&cate_id=’+strSplit[0]+’&keywords=’+$.trim(strSplit[1]);
argArray.push(strUrl);
}
});
});

$(“#collecting”).show();
$(“#info”).text(“采集中…”);
nLen = argArray.length;
collectTimer = setInterval(function(){
if(count>=nLen) {
clearInterval(collectTimer);
$(“#collecting”).hide();
$(“#info”).text(“采集完成”);
return;
}

$.ajax({
url:argArray[count],
type:”GET”,
dataType:”Html”,
async:false,
success:function(){
$(“#info”).text(“采集中…共”+nLen+”个 当前正在执行第”+count+”个采集 失败”+errCount+”个”);
count++;
},
error:function(){
errCount++;
count++;
}
});
},1000);
});
})(jQuery); 实现效果:

 

目前只实现了采集当前选中分页的子类批量采集。

从代码可以看出,也是拼接采集的URL,然后通过Ajax定时请求,这次用了同步采集,测试中发现采用异步时

其中有些分类会采集失败,可能因为请求被中掉。采集间隔设置为1秒,为保证请求完成,并在过多类时,防止阻塞

导致浏览器假死。若要采集多页可修改page参数,暂设定为1页

Copy to Clipboard引用的内容:[www.veryhuo.com]
var strUrl = ‘?page=1&a=taobao_collect_jump&m=items_collect&cate_id=’+strSplit[0]+’&keywords=’+$.trim(strSplit[1]); 附源文件:下载源代码请猛击这里>>

文章源自:烈火网,原文:http://www.veryhuo.com/a/view/133.html

本文固定链接: http://liuqingwei.cn/?p=70 | 小伟工作室

该日志由 于2013年05月25日发表在 YY, 技术分享, 网络文摘 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: PinPHP_V2.2 增加批量采集代码 | 小伟工作室