数据集:Olist Brazilian E-Commerce Dataset(Kaggle公开数据集),包含2016年9月至2018年10月巴西电商平台真实交易数据,经脱敏处理后公开发布。
规模:99,441笔订单、112,650条商品明细、103,886笔支付记录,涵盖9张业务表。金额单位为 BRL(巴西雷亚尔),1 BRL ≈ 1.3 CNY。
分析目的:本项目旨在展示数据质量管理的完整方法论——从数据探查、对账计算、异常诊断到改进方案设计
⚠️ 重要说明:
| 表名 | 行数 | 列数 | 重复行 | NULL列数 | 总缺失值 |
|---|---|---|---|---|---|
| orders | 99,441 | 8 | 0 | 4/8 | 3,985 |
| order_items | 112,650 | 7 | 0 | 0/7 | 0 |
| order_payments | 103,886 | 5 | 0 | 0/5 | 0 |
| customers | 99,441 | 5 | 0 | 0/5 | 0 |
| products | 32,951 | 9 | 0 | 8/9 | 2,448 |
| sellers | 3,095 | 4 | 0 | 0/4 | 0 |
| 类别 | 订单数 | 占有效订单% | 差异金额(BRL) | 风险 | 处理 |
|---|---|---|---|---|---|
| ✓ 完全匹配 | 97,622 | 99.41% | 0 | 正常 | 无需处理 |
| △ 有差异 | 578 | 0.59% | -2,922 | 需核查 | 含多付265笔·BRL 3,265、少付39笔·BRL 199、严重差异3笔 |
| 非有效订单异常 | 订单数 | 差异金额(BRL) | 风险 | 处理 |
|---|---|---|---|---|
| ⚠ 有支付无商品 | 1 | 78 | 需核查 | shipped状态,核查商品记录缺失原因 |
| ⚠ 有商品无支付 | 1 | 143 | 财务风险 | 立即核查 |
| - 空数据(无商品无支付) | 774 | 0 | 无数据 | 月度清理 |
| 核销类型 | 订单数 | 占比 |
|---|---|---|
| 单商品单支付 | 85,501 | 87.1% |
| 多商品单支付 | 9,152 | 9.3% |
| 单商品多支付 | 2,702 | 2.8% |
| 多商品多支付 | 267 | 0.3% |
| 舍入差异(<0.01) | 327 | 0.3% |
| 有差异(>0.01) | 247 | 0.3% |
| 类型 | 数量 | 说明 | 处理 |
|---|---|---|---|
| 空数据(无商品无支付) | 774 | 订单存在但无任何业务数据 | 月度批量清理 |
| 有支付无商品 | 1 | shipped状态,BRL 77.73 | 核查商品记录为何缺失 |
| 异常类型 | 数量 | 风险 | 根因 | 结论 |
|---|---|---|---|---|
| 运费 > 售价 | ~4,100 | 正常 | 低单价商品发往偏远州 | 正常物流成本,非数据错误 |
| 运费 > 5倍售价 | ~174 | 需修正 | 疑似数据录入错误 | 逐笔核查修正 |
| 多付(实付>应付) | 265笔·BRL 3,265 | 需核查 | 退款未处理/优惠券重复抵扣 | 大部分小额舍入,大额逐笔退款 |
| 少付(应付>实付) | 39笔·BRL 199 | 需核查 | 平台补贴/数据错误 | 金额小,月度批量处理 |
| 空数据订单(无商品无支付) | 774 | 无数据 | 订单存在但无业务数据 | 月度清理 |
| 有支付无商品 | 1 | 需核查 | shipped状态,BRL 78 | 核查商品记录缺失原因 |
| 支付金额为0 | 9 | 低 | 赠品或测试数据 | 标记后跳过 |
| 类目 | 超标率 | 订单数 | 营收 | 根因 | 分层策略 |
|---|---|---|---|---|---|
| electronics | 22.0% | 2,537 | BRL 156,756 | 距离远(跨州69%) | |
| dvds_blu_ray | 37.1% | 57 | BRL 4,559 | 距离远(跨州84%) | 量小品弱 → 砍掉或提价 |
| signaling_security | 12.0% | 139 | BRL 21,369 | 商品重(3.9kg) | 营收可但重 → 优化包装或提价 |
| christmas_supplies | 22.0% | 125 | BRL 8,738 | 距离远(跨州69%) | 季节性强 → 旺季提价 |
| 指标 | 同州交易 | 跨州交易 | 差距 |
|---|---|---|---|
| 商品数量 | 40,167 (36.1%) | 71,215 (63.9%) | — |
| 平均运费 | BRL 13.45 | BRL 23.66 | +75.9% |
| 运费超售价率 | 1.37% | 4.95% | 3.6倍 |
| 路线(卖家→买家) | 交易量 | 平均运费 | 超标率 |
|---|---|---|---|
| SP 圣保罗 → RO 朗多尼亚 | 195 | BRL 40.55 | 17.4% |
| SP 圣保罗 → MA 马拉尼昂 | 563 | BRL 38.20 | 15.8% |
| PR 巴拉那 → ES 圣灵 | 117 | BRL 32.00 | 15.4% |
| SP 圣保罗 → RN 北里奥格兰德 | 374 | BRL 37.07 | 14.4% |
| SP 圣保罗 → PI 皮奥伊 | 371 | BRL 37.57 | 13.7% |
| SP 圣保罗 → TO 批坎廷斯 | 228 | BRL 37.42 | 13.2% |
| SP 圣保罗 → PB 帕拉伊巴 | 396 | BRL 42.89 | 13.1% |
| 月份 | 指标 | 实际值 | 同比/环比 | 级别 | 检测方式 |
|---|---|---|---|---|---|
| 2018-08 | 取消率 | 1.29 | 同比变化 +108.1%(vs 2017-08) | alert | YoY |
| 2017-12 | 平均配送时长 (小时) | 365.8 | 同比变化 +224.9%(vs 2016-12) | alert | YoY |
| 2018-01 | 取消率 | 0.47 | 同比变化 +23.7%(vs 2017-01) | warn | YoY |
| 2017-12 | 平均评分 | 3.99 | 同比变化 -20.2%(vs 2016-12) | warn | YoY |
| 2018-02 | 平均配送时长 (小时) | 405.8 | 同比变化 +28.4%(vs 2017-02) | warn | YoY |
| 2018-03 | 平均配送时长 (小时) | 384.9 | 同比变化 +23.5%(vs 2017-03) | warn | YoY |
诊断路径:配送预期 → 品类 → 价格带 → 卖家 → 跨州因素
核心发现:
整改建议:对health_beauty和toys品类的高价商品,增加售前确认环节;优化预计配送时间的准确性以降低等待焦虑导致的取消。
诊断路径:跨州率 → 品类重量 → 卖家地区 → 具体路线
核心发现:
整改建议:12月为圣诞旺季,运力紧张属季节性因素。建议在旺季提前储备运力。
诊断路径:配送预期 → 品类 → 价格带 → 卖家 → 跨州因素
核心发现:
整改建议:computers_accessories品类取消率高可能与商品兼容性/描述准确性有关,建议优化商品详情页的技术参数展示,减少"买错"导致的取消。
诊断路径:配送延迟 → 运费感知 → 品类 → 卖家 → 价格带
核心发现:
整改建议:优先优化computers品类的配送时效(高价值商品对延迟最敏感);旺季考虑临时运费补贴,降低用户运费感知。
诊断路径:跨州率 → 品类重量 → 卖家地区 → 具体路线
核心发现:
整改建议:对于SP→RR等超远路线,评估是否设置最低订单金额或加收偏远地区附加费;年初与物流商签订Q1运力保障协议。
| 指标 | H1 | H2 | 绝对变化 | 相对变化 | 方向 |
|---|---|---|---|---|---|
| GMV月均(BRL) | 307,463.46 | 806,888.67 | +499,425.21 | +162.4% | 改善 ↑ |
| 月均订单量 | 2,232.60 | 5,899.40 | +3,666.80 | +164.2% | 改善 ↑ |
| 客单价(BRL) | 137.72 | 136.77 | -0.95 | -0.7% | 恶化 ↓ |
| 取消率(%) | 0.59 | 0.42 | -0.17 | -28.8% | 改善 ↑ |
| 运费占比(%) | 13.75 | 14.46 | +0.71 | +5.2% | 恶化 ↓ |
| 平均评分 | 4.16 | 4.02 | -0.14 | -3.4% | 恶化 ↓ |
| 跨州配送率(%) | 67.37 | 62.65 | -4.72 | -7.0% | 改善 ↑ |
| 平均配送(h) | 291.80 | 302.10 | +10.30 | +3.5% | 恶化 ↓ |
| 按时交付率(%) | 95.70 | 90.70 | -5.00 | -5.2% | 恶化 ↓ |
| 品类 | GMV变化 | H1评分 | H2评分 | 评分变化 |
|---|---|---|---|---|
| construction_tools_construction | +3535.5% | 4.11 | 4.08 | -0.03 |
| drinks | +1320.3% | 4.16 | 4.07 | -0.08 |
| christmas_supplies | +1181.7% | 4.64 | 4.02 | -0.61 |
| industry_commerce_and_business | +1148.3% | 4.28 | 4.09 | -0.19 |
| agro_industry_and_commerce | +897.9% | 3.92 | 4.03 | +0.10 |
| 品类 | GMV变化 | H1评分 | H2评分 | 评分变化 |
|---|---|---|---|---|
| fashion_male_clothing | -21.9% | 3.37 | 4.24 | +0.87 |
| market_place | -38.4% | 4.14 | 3.97 | -0.17 |
| home_comfort_2 | -49.7% | 4.58 | 2.87 | -1.72 |
| dvds_blu_ray | -50.6% | 4.04 | 4.30 | +0.27 |
| tablets_printing_image | -60.4% | 4.15 | 4.09 | -0.07 |
| 方案 | 基线数据 | 预期目标 | ||
|---|---|---|---|---|
| 催收1笔漏收款 | 1笔 delivered 订单无支付记录,3件商品应付 BRL 143.46 | 核查支付日志确认漏收 → 催收或修复数据同步,消除财务红线 | ||
| 1笔有支付无商品核查 | 1笔 shipped 订单有支付(BRL 77.73)但 order_items 无商品记录 | 核查商品记录为何缺失,确认是数据同步问题还是业务流程漏洞 |
| 方案 | 基线数据 | 预期目标 |
|---|---|---|
| 多付265笔分段处理 | 265笔实付>应付,合计多付 BRL 3,265,其中差异>BRL 50的约20笔 | 差异 |
| 运费超标品类差异化处理 | 5个品类运费超标率>10%:electronics(22.0%, 2,537单)、DVD(37.1%, 57单)、Christmas(22.0%, 125单)等 | DVD量小砍掉;Christmas旺季提价;signaling_security优化包装 |
| 方案 | 基线数据 | 预期目标 |
|---|---|---|
| 取消订单支付自动清理 | 625笔cancelled订单保留支付记录 BRL 143,256,其中164笔幽灵订单(BRL 37,338),月均新增~25笔 | IT增加取消后24h自动清理/退款逻辑;历史数据批量清理。消除 BRL 143k 风险敞口,阻断新增 |
| 低效品类清理 | DVD(57单, 运费超标37.1%) + Christmas(125单, 运费占GMV 22%),合计年化运费 BRL 4,436 | DVD下架释放运费;Christmas旺季提价15%覆盖成本。年化节省+增收约 BRL 2,556 |
| 方案 | 基线数据 | 预期目标 |
|---|---|---|
| C类品类分级清理 | 14个C类品类,合计GMV BRL 42,403(占0.3%),503单(占0.5%),取消率高于均值2-3倍 | 按根因分类处理:低价型→提价/组合销售,高取消型→排查描述与库存,综合弱势型→评估清退。改善整体取消率0.1-0.2pp,评分提升~0.05 |
| 774笔空数据月度清理 | 774笔订单无商品无支付记录,为历史遗留空数据 | 建立月度自动清理机制,每月1号清理上月空数据订单 |
电商平台财务数据质量与对账分析报告 · Olist Brazilian E-Commerce Dataset
分析框架:数据探查 → 对账计算 → 异常诊断 → 业务洞察 → 持续改进 · 数据期间:2016-09~2018-09
本项目基于Kaggle公开数据集(Olist Brazilian E-Commerce)进行分析,改进方案预期目标基于数据测算,非已验证结果。