当你面对很多URL需要去重的时候,你就需要这个模块了.
from pybloom import BloomFilter bloomf = BloomFilter(100000, 0.001) bloomf.add(url)
然后,用的时候直接判断就好了
if url in bloomf: ....
当你面对很多URL需要去重的时候,你就需要这个模块了.
from pybloom import BloomFilter bloomf = BloomFilter(100000, 0.001) bloomf.add(url)
然后,用的时候直接判断就好了
if url in bloomf: ....