自己找到的相关文章:http://www.sidhe.org/~dan/blog/archives/000123.html 关于内存占用率的抱怨。
关于存储数据比较的http://www.perlmonks.org/?displaytype=print;node_id=308947 有点老了。不过可以参考。 关于性能的文章:http://makepp.sourceforge.net/1.50/perl_performance.html <http://www.sidhe.org/~dan/blog/archives/000123.html> 2009/11/12 <[email protected]> > THank You 宇捷。这个方案也不太适合。 > 我想先做一下测试再做进一步的决定吧。 > > 2009/11/10 宇捷 <[email protected]> > > 如果可以允许少量的错误,作为hash的替代方案,可以使用bloom filter。 >> >> >> >> *发件人:* grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@ >> googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe= >> [email protected]] *代表 *[email protected] >> *发送时间:* 2009年11月7日 23:09 >> *收件人:* [email protected] >> *主题:* Re: 答复: [PerlChina] 寻找更快的数据搜寻方案 >> >> >> >> Berkeley DB or Tokyo Cabinet也不是我想要的方案。 >> >> 我自己再看看吧。好像记得在perlchina会上和李俊良或者是agentzhang谈起过。记不清了。 >> >> 2009/11/6 cnhack TNT <[email protected]> >> >> Berkeley DB or Tokyo Cabinet ? >> >> 2009/11/6 joe jiang <[email protected]> >> >> >> >> Hash 的 Hash 也许是个办法,或者用 Load Balance 来实现多节点的分担。 >> >> 减少 Hash 的数据量可能会提高效率。 >> >> 2009/11/6 <[email protected]> >> >> >> >> ...具体说一下:数据条数在100-1200万之间吧。读入后内存占用量到10G左右。 >> >> 现在,我需要在这10G数据中快速查找到我想要的数据,现在用hash >> 存储这些数据然后来查找的话我感觉速度不是很快,所以想问问大家有没有更好的解决方案,或者是相关的算法。 >> >> 或者遇到这种问题,该从哪方面入手? >> >> >> >> Thank You, >> >> Alexe >> >> Blog:http://alexe.cublog.cn/ >> >> >> >> 2009/11/6 宇捷 <[email protected]> >> >> >> >> 100万条记录其实不多,要看你的记录是什么数据类型,这不是perl的问题,而是算法的问题。 >> >> >> >> *发件人:* grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@ >> googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe= >> [email protected]] *代表 *[email protected] >> *发送时间:* 2009年11月5日 22:02 >> *收件人:* [email protected] >> *主题:* [PerlChina] 寻找更快的数据搜寻方案 >> >> >> >> Hi all, >> >> >> >> 我现在需要将大约100万条记录存储到hash中,然后在这个hash中查找某一个数据,或者删除某个数据。 >> >> 因为hash本身遇到这么大的数据量不占优势,例如会比数据本身多占用更多的内存,数据量太大以后搜索的速度并不是很快等等 >> >> >> >> 谁有更好的Perl方案适合这种项目? >> >> >> >> >> >> >> >> Thank You, >> >> Alexe >> >> Blog:http://alexe.cublog.cn/ >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> > --~--~---------~--~----~------------~-------~--~----~ 您收到此信息是由于您订阅了 Google 论坛“PerlChina Mongers 讨论组”论坛。 要在此论坛发帖,请发电子邮件到 [email protected] 要退订此论坛,请发邮件至 [email protected] 更多选项,请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛 -~----------~----~----~----~------~----~------~--~---
