Redis 大数据量(百亿级)Key存储需求及解决方案
作者:小热爱
来源:juejin.cn/post/6956147115286822948
一 需求背景
二 存储何种数据
PC端的ID:
媒体编号-媒体cookie=>supperidsupperid => { age=>年龄段编码,gender=>性别编码,geo=>地理位置编码 }
Device端的ID:
imei or idfa => { age=>年龄段编码,gender=>性别编码,geo=>地理位置编码 }显然PC数据需要存储两种key=>value还有key=>hashmap,⽽而Device数据需要存储⼀一种
三 数据特点
短key短value:
其中superid为21位数字:比如1605242015141689522;imei为小写md5:比如2d131005dc0f37d362a5d97094103633;idfa为大写带”-”md5:比如:51DFFC83-9541-4411-FA4F-356927E39D04;
媒体自身的cookie长短不一; 需要为全量数据提供服务,supperid是百亿级、媒体映射是千亿级、移动id是几十亿级; 每天有十亿级别的mapping关系产生; 对于较大时间窗口内可以预判热数据(有一些存留的稳定cookie); 对于当前mapping数据无法预判热数据,有很多是新生成的cookie;
四 存在的技术挑战
五 解决方案
5.1 淘汰策略
5.2 减少膨胀
public static byte [] getBucketId(byte [] key, Integer bit) {MessageDigest mdInst = MessageDigest.getInstance("MD5");mdInst.update(key);byte [] md = mdInst.digest();byte [] r = new byte[(bit-1)/7 + 1];// 因为一个字节中只有7位能够表示成单字符,ascii码是7位int a = (int) Math.pow(2, bit%7)-2;md[r.length-1] = (byte) (md[r.length-1] & a);System.arraycopy(md, 0, r, 0, r.length);for(int i=0;i<r.length;i++) {if(r[i]<0) r[i] &= 127;}return r;}