PHP 數(shù)據(jù)采集 太慢
-
程序的思路是打開網(wǎng)頁然后正則表達式匹配，提取有用內(nèi)容但是由于網(wǎng)頁很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？... 程序的思路是打開網(wǎng)頁 然后正則表達式匹配，提取有用內(nèi)容 但是由于網(wǎng)頁很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進？ 網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？ 展開
全部評論(2條)
-
- 豆豆醬999959 2013-03-28 00:00:00
- 你用的什么？curl？
-
贊(16)
回復(fù)(0)
-
- jinjing_197201 2013-03-28 00:00:00
- 一頁一頁采啊，你要是想把N個網(wǎng)頁一下子采下來，在瀏覽器中肯定不行，你可以用php.exe在命令行下運行你的采集腳本。如果你想在瀏覽器上采，你得一次采集一個頁面，然后用window.location.href轉(zhuǎn)向，把下一個要采集的地址傳過去，這樣一頁一頁的循環(huán)來采集。
-
贊(8)回復(fù)(0)
熱門問答
- PHP 數(shù)據(jù)采集 太慢
- 程序的思路是打開網(wǎng)頁然后正則表達式匹配，提取有用內(nèi)容但是由于網(wǎng)頁很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？... 程序的思路是打開網(wǎng)頁 然后正則表達式匹配，提取有用內(nèi)容 但是由于網(wǎng)頁很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進？ 網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？ 展開
2013-03-27 01:22:13
374
2
- php curl 大量數(shù)據(jù)采集
- phpcurl大量數(shù)據(jù)采集時比如有500個頁面我是用FOR循環(huán)的方法但是當(dāng)頁面特別多時，F(xiàn)OR就打不開了請問有其它方法嗎？能不間斷的批量采集呢？... php curl 大量數(shù)據(jù)采集時 比如有500個頁面 我是用FOR 循環(huán)的方法 但是當(dāng)頁面特別多時，F(xiàn)OR就打不開了 請問有其它方法嗎？ 能不間斷的批量采集呢？ 展開
2016-09-29 07:31:43
434
1
- 如何把asp網(wǎng)站的數(shù)據(jù)采集到php網(wǎng)站中
- 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級成php開發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中... 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級成php開發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中 展開
2017-07-20 07:07:58
490
2
- 布氏漏斗過濾太慢問題布氏漏斗過濾太慢，請問各位大俠
2017-10-03 15:35:16
316
3
- 環(huán)氧樹脂固化太慢怎么辦
2017-01-25 03:44:40
392
1
- 馬弗爐升溫太慢可能是什么原因
2010-10-08 22:26:13
642
2
- 什么叫php架構(gòu)？
2015-03-05 17:34:59
278
2
- 真空鍍膜機高真空太慢是什么原因
2015-08-20 21:09:52
720
2
- PHP PAC PAFC分別是什么
2018-11-20 11:45:07
369
0
- 封裝 繼承 多肽什么意思 php
2018-12-05 03:11:37
416
0
- 真空鍍膜機精抽太慢的原因
2013-10-21 15:06:17
471
2
- 怎樣運行simpletest測試php類
2015-12-27 06:51:07
437
1
- PHP進銷存軟件數(shù)據(jù)庫的設(shè)計問題？
- 如題，我想開發(fā)一個PHP的進銷存軟件，現(xiàn)在遇到一個問題想不通問題如下：1.錄入表單把數(shù)據(jù)寫到數(shù)據(jù)庫中，然后保存該記錄為錄入2.統(tǒng)計表統(tǒng)計已經(jīng)錄入的問題來了，加入統(tǒng)計表中已有數(shù)據(jù)例... 如題，我想開發(fā)一個PHP的進銷存軟件，現(xiàn)在遇到一個問題想不通 問題如下： 1.錄入表單把數(shù)據(jù)寫到數(shù)據(jù)庫中，然后保存該記錄為錄入 2.統(tǒng)計表統(tǒng)計已經(jīng)錄入的 問題來了，加入統(tǒng)計表中已有數(shù)據(jù)例如 商品名稱 規(guī)格 數(shù)量 價格 合計 鉛筆 支 3 1.5 4.5 再錄入 商品名稱 規(guī)格 數(shù)量 價格 合計 鉛筆 支 10 1.5 15 我要怎么做才能讓統(tǒng)計表中的數(shù)據(jù)自動添加為正確的數(shù)據(jù)，就是自動更新錄入的數(shù)據(jù)，而不是覆蓋原數(shù)據(jù) 2.領(lǐng)用表 假如領(lǐng)用了3支鉛筆，怎么做才能從統(tǒng)計表中扣除呢？ 大概能想到的就這些 展開
2018-07-25 08:03:43
585
2
- PHP 實現(xiàn)一個合理分配功能
- 1、把人員分成20組2、5個實驗臺1實驗臺需要2小時2實驗臺需要3小時3實驗臺需要4小時4實驗臺需要1小時5實驗臺需要5小時3、每個實驗臺每個小組必須都做一遍。4、一天做不完，可以推到第二... 1、把人員分成 20組 2、5個實驗臺 1 實驗臺需要2小時 2 實驗臺需要 3小時 3 實驗臺需要 4小時 4 實驗臺需要 1小時 5 實驗臺需要 5小時 3、每個實驗臺 每個小組必須都做一遍。 4、一天做不完，可以推到第二天，第二天完不成可以再推 等等 5、diyi小組占用實驗臺 ，第二小組可以選擇別的實驗臺，第三小組等等類推 6、假設(shè) 2017-11-1日開始 假如上午8點開始 12點結(jié)束 假如下午13點開始 18點結(jié)束 結(jié)果模擬 diyi小組 diyi天 diyi小組第二天 1實驗臺 8點-10點 3實驗臺 4實驗臺 10點-11點 4實驗臺 5實驗臺 13點-18點 第二小組 第二小組第二天 2實驗臺 8-11 1實驗 4實驗臺 11-12 5實驗 3實驗臺 13-17 第三小組 等等 如何實現(xiàn)求助 怎么實現(xiàn)算法。求助 第三小組 展開
2018-11-22 01:04:26
270
0
- php設(shè)置編碼的頭文件怎樣寫
2017-10-15 12:48:58
406
1
- 二氧化氯發(fā)生器鹽酸吸進太慢什么原因？水壓0.18。
- 二氧化氯發(fā)生器鹽酸吸進太慢什么原因？水壓0.18。
2018-11-26 06:55:46
338
0
4月突出貢獻榜
推薦主頁
最新話題
滬公網(wǎng)安備 31011502008050號
參與評論
登錄后參與評論