自己找到的相关文章:http://www.sidhe.org/~dan/blog/archives/000123.html 关于内存占用率的抱怨。

关于存储数据比较的http://www.perlmonks.org/?displaytype=print;node_id=308947
 有点老了。不过可以参考。

关于性能的文章:http://makepp.sourceforge.net/1.50/perl_performance.html
<http://www.sidhe.org/~dan/blog/archives/000123.html>

2009/11/12 <[email protected]>

> THank You 宇捷。这个方案也不太适合。
> 我想先做一下测试再做进一步的决定吧。
>
> 2009/11/10 宇捷 <[email protected]>
>
>  如果可以允许少量的错误,作为hash的替代方案,可以使用bloom filter。
>>
>>
>>
>> *发件人:* grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@
>> googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=
>> [email protected]] *代表 *[email protected]
>> *发送时间:* 2009年11月7日 23:09
>> *收件人:* [email protected]
>> *主题:* Re: 答复: [PerlChina] 寻找更快的数据搜寻方案
>>
>>
>>
>> Berkeley DB or Tokyo Cabinet也不是我想要的方案。
>>
>> 我自己再看看吧。好像记得在perlchina会上和李俊良或者是agentzhang谈起过。记不清了。
>>
>> 2009/11/6 cnhack TNT <[email protected]>
>>
>> Berkeley DB or Tokyo Cabinet ?
>>
>> 2009/11/6 joe jiang <[email protected]>
>>
>>
>>
>> Hash 的 Hash 也许是个办法,或者用 Load Balance 来实现多节点的分担。
>>
>> 减少 Hash 的数据量可能会提高效率。
>>
>> 2009/11/6 <[email protected]>
>>
>>
>>
>> ...具体说一下:数据条数在100-1200万之间吧。读入后内存占用量到10G左右。
>>
>> 现在,我需要在这10G数据中快速查找到我想要的数据,现在用hash
>> 存储这些数据然后来查找的话我感觉速度不是很快,所以想问问大家有没有更好的解决方案,或者是相关的算法。
>>
>> 或者遇到这种问题,该从哪方面入手?
>>
>>
>>
>> Thank You,
>>
>> Alexe
>>
>> Blog:http://alexe.cublog.cn/
>>
>>
>>
>> 2009/11/6 宇捷 <[email protected]>
>>
>>
>>
>> 100万条记录其实不多,要看你的记录是什么数据类型,这不是perl的问题,而是算法的问题。
>>
>>
>>
>> *发件人:* grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@
>> googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=
>> [email protected]] *代表 *[email protected]
>> *发送时间:* 2009年11月5日 22:02
>> *收件人:* [email protected]
>> *主题:* [PerlChina] 寻找更快的数据搜寻方案
>>
>>
>>
>> Hi all,
>>
>>
>>
>> 我现在需要将大约100万条记录存储到hash中,然后在这个hash中查找某一个数据,或者删除某个数据。
>>
>> 因为hash本身遇到这么大的数据量不占优势,例如会比数据本身多占用更多的内存,数据量太大以后搜索的速度并不是很快等等
>>
>>
>>
>> 谁有更好的Perl方案适合这种项目?
>>
>>
>>
>>
>>
>>
>>
>> Thank You,
>>
>> Alexe
>>
>> Blog:http://alexe.cublog.cn/
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> >>
>>
>

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛“PerlChina Mongers 讨论组”论坛。
 要在此论坛发帖,请发电子邮件到 [email protected]
 要退订此论坛,请发邮件至 [email protected]
 更多选项,请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛
-~----------~----~----~----~------~----~------~--~---

回复