參與評論

評論

登錄后參與評論

全部評論(1條)

• 

  unicorn_1 2016-11-29 00:00:00

  分享內存(shared memory)，使并行運算時，每個R session可以避免重復讀取。包裹有bigmemory等，這樣不同的R sessions可以共享內存里的數(shù)據。不用再并行運算時，每個R sessions在去讀入一遍。 用MPI，避免mclapply等太高等級的關于平行運算的方程。如果用MPI，你的R sessions只會傳輸你規(guī)定它們可以傳輸?shù)膐bjects。據我所知，mclapply是把所有environment復制到另一個R session里，有一些根本不必要的objects也要被推送，這樣毫無意義。 集成運算，比如Map-Reduce或者Storm，把個體服務器的壓力變?yōu)閷\算過程的壓力，這個坑太大了。。。 分布儲存，比如mongodb，把對內存的壓力變?yōu)閷?shù)據結構的壓力，這個坑也太大了。。。 用C或Fortran寫底層方程，比如loop structure，基本的科學運算（BLAS）等等。 從算法上的根本優(yōu)化。很多時候，程序慢，內存溢出，大多都是程序猿懶，不精益求精。再加上服務器動輒16G內存，把碼農們都寵壞了，好像什么都能往內存里扔，扔完也不打掃屋子。改進算法，盡量在同一時間，只能看見部分數(shù)據的情況下，通過update結果來得到Z后答案。

  贊(2)

  回復(0)

  評論

  評論

  登錄后參與評論