pybloom-Python的布隆过滤器.

当你面对很多URL需要去重的时候,你就需要这个模块了.

from pybloom import BloomFilter
bloomf = BloomFilter(100000, 0.001)
bloomf.add(url)

然后,用的时候直接判断就好了

if url in bloomf:
    ....