php curl 大量數(shù)據(jù)采集
-
phpcurl大量數(shù)據(jù)采集時(shí)比如有500個(gè)頁(yè)面我是用FOR循環(huán)的方法但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了請(qǐng)問(wèn)有其它方法嗎？能不間斷的批量采集呢？... php curl 大量數(shù)據(jù)采集時(shí) 比如有500個(gè)頁(yè)面 我是用FOR 循環(huán)的方法 但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了 請(qǐng)問(wèn)有其它方法嗎？ 能不間斷的批量采集呢？ 展開(kāi)
全部評(píng)論(1條)
-
- 卷毛96 2016-09-30 00:00:00
- 這個(gè)需要配合js，打開(kāi)一個(gè)html頁(yè)面，首先js用ajax請(qǐng)求頁(yè)面，返回diyi個(gè)頁(yè)面信息確定處理完畢（ajax有強(qiáng)制同步功能），ajax再訪問(wèn)第二個(gè)頁(yè)面。（或者根據(jù)服務(wù)器狀況，你可以同時(shí)提交幾個(gè)URL，跑幾個(gè)相同的頁(yè)面） 參數(shù)可以由js產(chǎn)生并傳遞url，php后臺(tái)頁(yè)面根據(jù)URL抓頁(yè)面。然后ajax通過(guò)php，在數(shù)據(jù)庫(kù)或者是哪里設(shè)一個(gè)標(biāo)量，標(biāo)明檢測(cè)到哪里。由于前臺(tái)的html頁(yè)面執(zhí)行多少時(shí)候都沒(méi)問(wèn)題，這樣php的內(nèi)存限制和執(zhí)行時(shí)間限制就解決了。 因?yàn)椴粫?huì)浪費(fèi)大量的資源用一個(gè)頁(yè)面來(lái)跑一個(gè)瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過(guò)了php限制的內(nèi)存） 不過(guò)印象中curl好像也有強(qiáng)制同步的選項(xiàng)，就是等待一個(gè)抓取后再執(zhí)行下一步。但是這個(gè)500次都是用一個(gè)頁(yè)面線程處理，也就是說(shuō)肯定會(huì)遠(yuǎn)遠(yuǎn)大于30秒的默認(rèn)執(zhí)行時(shí)間。
-
贊(11)
回復(fù)(0)
登錄或新用戶注冊(cè)
- 微信登錄
- 密碼登錄
- 短信登錄
請(qǐng)用手機(jī)微信掃描下方二維碼
快速登錄或注冊(cè)新賬號(hào)
微信掃碼，手機(jī)電腦聯(lián)動(dòng)
注冊(cè)登錄即表示同意《儀器網(wǎng)服務(wù)條款》和《隱私協(xié)議》
熱門(mén)問(wèn)答
- php curl 大量數(shù)據(jù)采集
- phpcurl大量數(shù)據(jù)采集時(shí)比如有500個(gè)頁(yè)面我是用FOR循環(huán)的方法但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了請(qǐng)問(wèn)有其它方法嗎？能不間斷的批量采集呢？... php curl 大量數(shù)據(jù)采集時(shí) 比如有500個(gè)頁(yè)面 我是用FOR 循環(huán)的方法 但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了 請(qǐng)問(wèn)有其它方法嗎？ 能不間斷的批量采集呢？ 展開(kāi)
2016-09-29 07:31:43
434
1
- PHP 數(shù)據(jù)采集 太慢
- 程序的思路是打開(kāi)網(wǎng)頁(yè)然后正則表達(dá)式匹配，提取有用內(nèi)容但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？... 程序的思路是打開(kāi)網(wǎng)頁(yè) 然后正則表達(dá)式匹配，提取有用內(nèi)容 但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？ 網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？ 展開(kāi)
2013-03-27 01:22:13
374
2
- php curl采集，服務(wù)器gzip壓縮返回?cái)?shù)據(jù)怎么辦
2018-11-12 05:13:41
258
0
- php curl采集，服務(wù)器gzip壓縮返回?cái)?shù)據(jù)怎么辦
2017-02-22 02:27:28
396
1
- 想通過(guò).pac文件用php的curl實(shí)現(xiàn)代理可以嗎
2018-11-17 23:00:52
357
0
- 如何把a(bǔ)sp網(wǎng)站的數(shù)據(jù)采集到php網(wǎng)站中
- 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級(jí)成php開(kāi)發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中... 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級(jí)成php開(kāi)發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中 展開(kāi)
2017-07-20 07:07:58
490
2
- 什么叫php架構(gòu)？
2015-03-05 17:34:59
278
2
- PHP PAC PAFC分別是什么
2018-11-20 11:45:07
369
0
- 封裝 繼承 多肽什么意思 php
2018-12-05 03:11:37
416
0
- 怎樣運(yùn)行simpletest測(cè)試php類
2015-12-27 06:51:07
437
1
- PHP進(jìn)銷存軟件數(shù)據(jù)庫(kù)的設(shè)計(jì)問(wèn)題？
- 如題，我想開(kāi)發(fā)一個(gè)PHP的進(jìn)銷存軟件，現(xiàn)在遇到一個(gè)問(wèn)題想不通問(wèn)題如下：1.錄入表單把數(shù)據(jù)寫(xiě)到數(shù)據(jù)庫(kù)中，然后保存該記錄為錄入2.統(tǒng)計(jì)表統(tǒng)計(jì)已經(jīng)錄入的問(wèn)題來(lái)了，加入統(tǒng)計(jì)表中已有數(shù)據(jù)例... 如題，我想開(kāi)發(fā)一個(gè)PHP的進(jìn)銷存軟件，現(xiàn)在遇到一個(gè)問(wèn)題想不通 問(wèn)題如下： 1.錄入表單把數(shù)據(jù)寫(xiě)到數(shù)據(jù)庫(kù)中，然后保存該記錄為錄入 2.統(tǒng)計(jì)表統(tǒng)計(jì)已經(jīng)錄入的 問(wèn)題來(lái)了，加入統(tǒng)計(jì)表中已有數(shù)據(jù)例如 商品名稱 規(guī)格 數(shù)量 價(jià)格 合計(jì) 鉛筆 支 3 1.5 4.5 再錄入 商品名稱 規(guī)格 數(shù)量 價(jià)格 合計(jì) 鉛筆 支 10 1.5 15 我要怎么做才能讓統(tǒng)計(jì)表中的數(shù)據(jù)自動(dòng)添加為正確的數(shù)據(jù)，就是自動(dòng)更新錄入的數(shù)據(jù)，而不是覆蓋原數(shù)據(jù) 2.領(lǐng)用表 假如領(lǐng)用了3支鉛筆，怎么做才能從統(tǒng)計(jì)表中扣除呢？ 大概能想到的就這些 展開(kāi)
2018-07-25 08:03:43
585
2
- PHP 實(shí)現(xiàn)一個(gè)合理分配功能
- 1、把人員分成20組2、5個(gè)實(shí)驗(yàn)臺(tái)1實(shí)驗(yàn)臺(tái)需要2小時(shí)2實(shí)驗(yàn)臺(tái)需要3小時(shí)3實(shí)驗(yàn)臺(tái)需要4小時(shí)4實(shí)驗(yàn)臺(tái)需要1小時(shí)5實(shí)驗(yàn)臺(tái)需要5小時(shí)3、每個(gè)實(shí)驗(yàn)臺(tái)每個(gè)小組必須都做一遍。4、一天做不完，可以推到第二... 1、把人員分成 20組 2、5個(gè)實(shí)驗(yàn)臺(tái) 1 實(shí)驗(yàn)臺(tái)需要2小時(shí) 2 實(shí)驗(yàn)臺(tái)需要 3小時(shí) 3 實(shí)驗(yàn)臺(tái)需要 4小時(shí) 4 實(shí)驗(yàn)臺(tái)需要 1小時(shí) 5 實(shí)驗(yàn)臺(tái)需要 5小時(shí) 3、每個(gè)實(shí)驗(yàn)臺(tái) 每個(gè)小組必須都做一遍。 4、一天做不完，可以推到第二天，第二天完不成可以再推 等等 5、diyi小組占用實(shí)驗(yàn)臺(tái) ，第二小組可以選擇別的實(shí)驗(yàn)臺(tái)，第三小組等等類推 6、假設(shè) 2017-11-1日開(kāi)始 假如上午8點(diǎn)開(kāi)始 12點(diǎn)結(jié)束 假如下午13點(diǎn)開(kāi)始 18點(diǎn)結(jié)束 結(jié)果模擬 diyi小組 diyi天 diyi小組第二天 1實(shí)驗(yàn)臺(tái) 8點(diǎn)-10點(diǎn) 3實(shí)驗(yàn)臺(tái) 4實(shí)驗(yàn)臺(tái) 10點(diǎn)-11點(diǎn) 4實(shí)驗(yàn)臺(tái) 5實(shí)驗(yàn)臺(tái) 13點(diǎn)-18點(diǎn) 第二小組 第二小組第二天 2實(shí)驗(yàn)臺(tái) 8-11 1實(shí)驗(yàn) 4實(shí)驗(yàn)臺(tái) 11-12 5實(shí)驗(yàn) 3實(shí)驗(yàn)臺(tái) 13-17 第三小組 等等 如何實(shí)現(xiàn)求助 怎么實(shí)現(xiàn)算法。求助 第三小組 展開(kāi)
2018-11-22 01:04:26
270
0
- php設(shè)置編碼的頭文件怎樣寫(xiě)
2017-10-15 12:48:58
406
1
- 求大量化學(xué)式！??！
- 本人求大量現(xiàn)存物質(zhì)的化學(xué)式，要求帶物質(zhì)名稱，希望大家把自己知道的化學(xué)式全部寫(xiě)上，先說(shuō)聲謝謝。1天之內(nèi)給出化學(xué)式Z多的250分送上，望大家?guī)蛡€(gè)忙~?。。?
2007-12-23 15:05:17
623
3
- php快速開(kāi)發(fā)網(wǎng)站 用什么框架
2017-11-11 07:51:15
453
1
- PHP 打開(kāi)文件成功 但寫(xiě)入失敗
- 代碼 --------------- dataStr="FMsg/".date("y-m-d");//獲取當(dāng)前日期作為文件夾名 $this->file_old="FMsg/... 代碼
---------------
dataStr="FMsg/".date("y-m-d");//獲取當(dāng)前日期作為文件夾名
$this->file_old="FMsg/model.html";
$this->file_new=$this->dataStr."/pap1122.html";
if(file_exists($this->dataStr))
{echo "exist
";
copy($this->file_old，$this->file_new);
if(!$this->f_open=fopen($this->file_new，'w'))
{print "can't open file
";exit;} if(!fwrite($this->file_new，"yaya")) {print "can't write in this file
";exit;} print "write sucess"; fclose(!$this->f_open); } else { mkdir($this->dataStr);}//創(chuàng)建目錄 } } $newhtme=new FmsgToHtml(); ?> -------------- 輸出 ------------ exist can't write in this file ------------ 請(qǐng)高手指點(diǎn)。 展開(kāi)
2011-07-04 01:21:16
522
4
- 數(shù)據(jù)采集板，什么是數(shù)據(jù)采集板
2017-05-17 08:57:00
613
1
4月突出貢獻(xiàn)榜
推薦主頁(yè)
最新話題
滬公網(wǎng)安備 31011502008050號(hào)
參與評(píng)論
登錄后參與評(píng)論