电商首页总能猜中你最近想买的东西,银行能提前拦下可疑交易,背后都是数据挖掘技术在干活。它的任务说穿了很简单:数据量太大,人看不过来,让算法从里面把规律挖出来。
六步流程,业内通用
多数项目按 CRISP-DM 模型走:业务理解、数据理解、数据准备、建模、评估、部署。新人最容易轻视的是数据准备,清洗缺失值、去重、处理异常值,一般要占整个项目六成以上的时间,模型好不好,七分看数据。部署环节也常被忽略:模型上线后要盯着数据漂移,业务一变,老模型悄悄失准是常态。
五类典型任务
- 分类:给样本贴标签,比如判断贷款客户会不会逾期,常用决策树、逻辑回归、随机森林。
- 聚类:没有标签,自动分堆,K-Means 用得最多,常用来做用户分群。
- 关联规则:经典案例是购物篮分析,啤酒和尿布摆一起的典故就出自这里,算法代表是 Apriori。
- 回归预测:预测连续数值,比如下个月的销量区间。
- 异常检测:找出离群点,反欺诈和设备故障预警都靠它。
用什么工具
主流组合是 Python 加 SQL:pandas 清洗数据,scikit-learn 出模型,结果写回数据库。不想写代码,SPSS、WEKA 这类图形界面工具也能完成常规任务。要提醒一句,企业里的挖掘对象多数不是 Excel 小表,而是数据仓库里按主题组织好的历史数据,SQL 是绕不开的基本功,JOIN 和 GROUP BY 写不利索,第一步取数就卡住。
评价指标也要对路:分类数据不平衡时只看准确率会踩坑,比如欺诈识别里正样本极少,AUC 和召回率更能说明问题,评估环节别只报一个数。
和机器学习是什么关系
两个词经常混着用。数据挖掘偏向从业务出发解决实际问题,机器学习偏向算法本身,前者大量借用后者的模型。简历上写挖掘项目,面试官关心的往往不是算法多新,而是特征怎么构造、离线效果上线后有没有衰减。
给个实用判断:入门别急着啃算法推导,先拿一份真实业务数据把六步流程完整跑一遍,哪怕模型只是个决策树,把数据挖掘技术的整体链路跑通,比多会三个算法有用得多。