做年终汇报或者准备面试时,很多人会在材料里放一页大数据的特征,答案基本都是4V。这套说法从行业研究机构传下来,叫了十几年,四条分别是:量大、速度快、类型多、价值密度低。逐条说清楚,比背缩写有用。

第一条Volume,量大。超市一天几十万笔小票,一台机床每秒上报几百条传感器读数,一个普通App一天产生的日志就可能上TB。这个量级Excel直接打不开,单机数据库也扛不住,得靠HDFS这类分布式存储把文件切块摊到几十台上百台机器上,带宽成本和机器数量跟着量走,这是最直观的一笔账。

  • 量:论TB和PB说话,不再论MB
  • 速:毫秒级响应,不是第二天出报表
  • 杂:表格、图片、日志、语音混着来
  • 值:一吨矿渣里淘几克金

这四条合在一起才叫大数据,单拎一条都不算。攒了十个G的Excel表格,量大但类型单一;一段监控视频,类型丰富但量不够,都够不上用大数据平台的门槛,判断要不要上平台,就看这四条占了几条。

速度快:晚几秒就没价值

Velocity说的是产生和处理的速度。大促零点每秒几十万笔订单要实时扣库存,风控要在用户输密码的瞬间判断风险,这种场景数据晚几秒就成了废纸。所以流式计算、内存计算才会被单独拎出来讲,批处理跑T+1报表是另一回事。

类型多:表格只占一小块

Variety指格式杂。结构化的订单表、半结构的JSON接口日志、完全非结构的图片语音视频,经常混在同一个业务里。存储选型也因此分裂:表格进关系库,日志进搜索引擎或列式库,音视频直接放对象存储。

价值密度低:值钱的就几条

Value这条最容易被忽略。几个小时的城市监控,有用的可能只有几秒;上亿条点击日志里,能定位问题的异常记录就那么几行。所以大数据的特征里它才排得上号,先有海量,再靠算法把稀疏的价值捞出来。

有的材料还会加第5个V,Veracity,真实性。数据量上去以后噪声、缺失、刷量跟着涨,清洗校验的成本不低。实际答题说4V就稳,被追问再补这条;写方案别背词,把量级、时效、数据类型三件事说清楚,存储和计算引擎的选型自然就定了。