參與評(píng)論

評(píng)論

登錄后參與評(píng)論

全部評(píng)論(4條)

• 

  檸檬Boing 2018-07-29 00:00:00

  關(guān)于數(shù)據(jù)采集市面上很多這種軟件，但是個(gè)人建議還是要多看一下，以云智鏈智能營(yíng)銷寶為例 很多軟件只是采集其中的某幾個(gè)平臺(tái)，不夠綜合，其實(shí)數(shù)據(jù)來(lái)源平臺(tái)是很多的，線上線下不同分類，根據(jù)客戶的需求有針對(duì)性的采集，所以還是要看看綜合類的數(shù)據(jù)采集系統(tǒng)，而云智鏈智能營(yíng)銷寶，綜合了線上線下不同的采集平臺(tái)，有針對(duì)性的營(yíng)銷！除了采集還要有輔助性的營(yíng)銷系統(tǒng)，畢竟對(duì)于客戶來(lái)說(shuō)越智能越好！ 希望對(duì)您有幫助

  贊(3)

  回復(fù)(0)

  評(píng)論

  評(píng)論

  登錄后參與評(píng)論

• 

  愛(ài)武漢痛武漢 2018-01-15 00:00:00

  如果自己不會(huì)用python寫(xiě)代碼采集數(shù)據(jù)的話。國(guó)內(nèi)在采集領(lǐng)域lingxian的肯定就是八爪魚(yú)了，簡(jiǎn)單易懂不用寫(xiě)代碼，采集快速，支持云采集，詳情可以上官網(wǎng)研究研究。 另外如果是有國(guó)外的采集需求的話，可以使用Octoparse，和八爪魚(yú)是雙胞胎兄弟，采集國(guó)外的網(wǎng)站更加快速。

  贊(4)

  回復(fù)(0)

  評(píng)論

  評(píng)論

  登錄后參與評(píng)論

• 

  微笑著唱征服 2018-02-05 00:00:00

  針對(duì)您這個(gè)問(wèn)題，我個(gè)人比較傾向于推薦前嗅的ForeSpider數(shù)據(jù)采集軟件。 首先，這款軟件完全是可視化操作，如果有通過(guò)可視化采集不到的內(nèi)容，都可以通過(guò)簡(jiǎn)單幾行代碼，就可以實(shí)現(xiàn)。除了采集數(shù)據(jù)，還有這個(gè)軟件內(nèi)部集成了數(shù)據(jù)挖掘功能，通過(guò)一個(gè)采集模板，就可以挖掘全網(wǎng)的內(nèi)容。在數(shù)據(jù)采集入庫(kù)的同時(shí)，它和前嗅的ForeAna數(shù)據(jù)分析系統(tǒng)相連，對(duì)數(shù)據(jù)進(jìn)行深度的大數(shù)據(jù)分析。 其次，如果網(wǎng)站過(guò)于復(fù)雜，反爬蟲(chóng)措施比較多，一般的爬蟲(chóng)軟件就用不了了，但是可以用ForeSpider內(nèi)部自帶的爬蟲(chóng)腳本語(yǔ)言系統(tǒng)，簡(jiǎn)單幾行代碼就可以采集到高難度的網(wǎng)站。比如國(guó)家自然基金會(huì)網(wǎng)站、全國(guó)企業(yè)信息公示系統(tǒng)等，Z高難度的網(wǎng)站都沒(méi)有問(wèn)題。 Z后，Z主要的是他采集速度非?？?，我之前用筆記本采集的，一天就幾百萬(wàn)條，用別的采集軟件，用服務(wù)器采，一天才100多萬(wàn)條。 所以建議你可以先下載個(gè)免費(fèi)版試試，免費(fèi)版不限制功能，沒(méi)有到期時(shí)間。用的好了他還有很多高級(jí)版本。 我使用過(guò)很多的采集軟件，從中總結(jié)的經(jīng)驗(yàn)，希望對(duì)你的問(wèn)題有用處。

  贊(1)

  回復(fù)(0)

  評(píng)論

  評(píng)論

  登錄后參與評(píng)論

• 

  花花的小花兒 2018-06-28 00:00:00

  數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，在計(jì)算機(jī)廣泛應(yīng)用的今天，數(shù)據(jù)采集的重要性是十分顯著的。它是計(jì)算機(jī)與外部物理世界連接的橋梁。 數(shù)據(jù)采集一般需要遵循以下原則： 　 1. 數(shù)據(jù)采集任務(wù)不能影響業(yè)務(wù)系統(tǒng)的運(yùn)行。一般來(lái)說(shuō)，核心業(yè)務(wù)系統(tǒng)白天工作頻繁，難以承載數(shù)據(jù)抽取的要求，這種情形下數(shù)據(jù)抽取工作原則上要安排在非工作時(shí)段進(jìn)行。數(shù)據(jù)采集任務(wù)調(diào)度必須可以設(shè)定數(shù)據(jù)采集任務(wù)的優(yōu)先時(shí)段表。 2. 不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)產(chǎn)生周期不同，會(huì)影響到數(shù)據(jù)采集的周期。數(shù)據(jù)采集應(yīng)根據(jù)業(yè)務(wù)系統(tǒng)及交換數(shù)據(jù)的周期要求，設(shè)定數(shù)據(jù)采集時(shí)間周期表。 　 3. 數(shù)據(jù)采集任務(wù)的執(zhí)行時(shí)間原則上應(yīng)與數(shù)據(jù)采集周期時(shí)間成正比，即數(shù)據(jù)采集周期時(shí)間間隔要求短(長(zhǎng))的采集任務(wù)，其采集任務(wù)的執(zhí)行時(shí)間也要求短(長(zhǎng))。如對(duì)按日采集的數(shù)據(jù)，應(yīng)能在3一5h內(nèi)完成抽取、清洗、加載、處理等工作;對(duì)按月采集的數(shù)據(jù)，數(shù)據(jù)抽取、清洗、加載和處理等工作可以放寬到48h內(nèi)完成。 4. 對(duì)于數(shù)據(jù)采集量特別大且數(shù)據(jù)轉(zhuǎn)換操作特別復(fù)雜的任務(wù)，利用ETL工具會(huì)消耗大量的資源和時(shí)間，建議通過(guò)編制專門(mén)數(shù)據(jù)采集接口程序完成數(shù)據(jù)采集任務(wù)，以提高數(shù)據(jù)采集工作的效率。 5. 以數(shù)據(jù)源為單位進(jìn)行的全量采集的任務(wù)，可以以數(shù)據(jù)源為單位進(jìn)行數(shù)據(jù)初始化操作，當(dāng)數(shù)據(jù)源的數(shù)據(jù)采集操作出現(xiàn)問(wèn)題時(shí)，可以僅對(duì)該數(shù)據(jù)源進(jìn)行全量采集恢復(fù)，而對(duì)其他數(shù)據(jù)源的數(shù)據(jù)采集沒(méi)有任何影響。 現(xiàn)在的101 異構(gòu)數(shù)據(jù)采集技術(shù)可以做到無(wú)需軟件廠商配合，直接采集異構(gòu)數(shù)據(jù)，這樣的數(shù)據(jù)采集就不需要協(xié)調(diào)各個(gè)廠家，不需要花費(fèi)高昂的接口費(fèi)用，而施工周期也不會(huì)太長(zhǎng)，是很多領(lǐng)域大型企業(yè)數(shù)據(jù)采集業(yè)務(wù)的diyi選擇。

  贊(3)

  回復(fù)(0)

  評(píng)論

  評(píng)論

  登錄后參與評(píng)論