日报这件事,很多分析师都做过:每天早上打开订单表,筛选昨天、去掉未支付、算 GMV、
复制进 Excel、截图发群。做三个月,闭着眼都能点;可只要有一天请假、换一次文件名、
改一次口径,报表就断了。自动化的价值不是“显得会写代码”,而是把这条链路变成一件
不会忘、可检查、出错会喊的事。
本章从零写一个「每日经营日报」脚本:先把取数、清洗、计算、输出四段拆清楚,再补上
异常处理、日志和定时任务,最后讨论 AI 能帮你写哪一段、哪三件事必须你自己验。
自动化不是把鼠标动作录下来。录屏式宏换一个文件名就废;真正的脚本,是把业务规则写成 一段可重复执行的程序。这一段先讲清楚程序长什么样,后面写代码时你才知道每一行在守哪条规则。
不管报表多复杂,拆到最底层都是四段:取数 → 清洗 → 计算 → 输出。 它们是四个“责任边界”:来源、类型与口径、指标定义、交付格式。
把所有逻辑塞进一个 main() 也能跑,但下个月要加“按渠道拆分”就无处下手。
更常见的是段间契约破了:status 带尾随空格("已支付 "),
计算段用 == "已支付" 过滤,一行都匹配不上。
如果不这样会怎样:脚本不报错,GMV 输出 0,而 6 月 30 日真实的 239,114.60 就这样“消失”了。
脚本一定会遇到四种异常。它们不是“万一”,是“早晚”:
| 异常 | 触发条件 | 处理动作 |
|---|---|---|
| 文件不存在 | 路径变了、上游没落盘 | 日志写清缺哪个文件,退出码 2 |
| 数据为空 | 只有表头,或当天零单 | 空文件算错误(3);零订单算警告(6),仍输出 0 并提示人工确认 |
| 编码错误 | ERP 导出 GBK;或文件带 BOM | 先试 utf-8-sig,再试 gbk;都失败退出码 4 |
| 除零 | 零单仍算客单价 | 先判断 orders > 0,否则客单价记 0 并告警 |
最危险的不是报错,是“假装没报错”。except: pass 会把“文件没读到、
字段改名、编码错”统统变成“空结果”,最后输出一份看起来正常的空报表。正确做法是给每种
异常一个明确出口:写清日志、返回约定退出码;处理不了就让异常抛出去。
如果不这样会怎样:上游连续 7 天延迟落盘,脚本每天输出 0,退出码也是 0。 第 8 天你才发现,而月初复盘已经用这些数做完了。
| 退出码 | 含义 | 调度器上看到什么 |
|---|---|---|
| 0 | 正常完成 | 绿色对勾;仍需抽查数字 |
| 2 | 数据文件不存在 | 红色;先查路径和上游落盘 |
| 3 | 数据不合格(空文件、缺字段、日期格式错) | 红色;查导出配置和字段名 |
| 4 | 编码错误 | 红色;查导出编码,UTF-8 与 GBK 都试过 |
| 5 | 未预期异常 | 红色;看 log.exception 的堆栈 |
| 6 | 零订单,已输出 0 值日报 | 黄色;必须人工确认是“真没单”还是“上游断了” |
Windows 用「任务计划程序」,Linux / macOS 用 cron。它们只做一件事: 到点替你敲一次回车。Windows 图形界面选“每天”“启动程序”, 填 Python 绝对路径和脚本路径;等价命令是:
schtasks /create /tn "青柠每日日报" ^
/tr "C:\Python311\python.exe D:\report\daily_report.py" ^
/sc daily /st 08:30 /ru SYSTEM
Linux / macOS:执行 crontab -e,加一行:
30 8 * * * cd /home/analyst/report && /usr/bin/python3 daily_report.py >> logs/cron.log 2>&1
>> logs/cron.log 2>&1 不能省:cron 的报错默认发本地邮箱,
而服务器通常没配邮件,等于扔进黑洞。cd 也不能省,否则相对路径找不到 data/。
调度器不知道你的业务口径,只记录:有没有启动、何时结束、退出码多少。所以 “任务显示成功”不等于“报表正确”,日志和校验得你自己补。
如果不这样会怎样:任务配在 8:30,电脑 8:00 还在休眠,任务没触发; 或服务器时区是 UTC,你的 8:30 实际是北京时间 16:30。调度器不会提醒, 因为它认为自己没错。
日志要回答三个问题:跑没跑(有没有今天的日志文件)、成功没(最后一行是 INFO 还是 ERROR,退出码多少)、数对不对(读了多少行、写了哪个文件、 三个指标是多少)。
好的日志一句话能定位问题:取数失败: 数据文件不存在,而不是 Error
或一整页堆栈。堆栈放 log.exception 里,第一行永远是给人看的结论。
如果不这样会怎样:只 print 到控制台,计划任务窗口一关什么也没留下;
同事问“昨天怎么是 0”,你只能重跑,而昨天的现场已经没了。
窗口一关,什么都不剩;第二天无法复盘。
按天一个文件,随时能查“昨天跑没跑、数是多少”。
所谓“静默失败”,是三个条件同时成立:退出码 0、文件生成了、数字错了,且没人报警。 它比崩溃危险,因为崩溃至少留下痕迹。
| 原因 | 现场长什么样 | 怎么证实 | 怎么改 |
|---|---|---|---|
| 空数据 | 只有表头;或当天确实零单,输出 0 | 看日志“读入 0 行”;对比源表当天行数 | 空文件直接失败(退出码 3);零订单输出 0 但告警(退出码 6) |
| 异常被吞 | except: pass、errors="ignore"、空 DataFrame 直接跳过 |
搜代码里的 except;在异常分支加日志 |
至少 log.exception;能处理的处理,不能处理的往上抛 |
| 路径变了 | 本机正常,计划任务找不到;或换电脑、文件夹被同步走 | 在计划任务里打印 os.getcwd();看报错里的绝对路径 |
用 Path(__file__).resolve().parent 定位脚本目录,不依赖当前工作目录 |
| 邮件没发出去 | 报表生成了,收件人没收到;SMTP 认证失败、附件超限 | 单独测一次发送;看 SMTP 返回码;检查垃圾箱 | 发送失败必须让脚本非零退出;不要把“发送”放在 try 的最后一行然后不管 |
退出码 0,daily_20240630.csv 生成了,日志最后一行是“已写入”。
这只证明程序走完了,不证明数字对。
退出码 0,且 GMV 239,114.60、订单 27、客单价 8,856.10 与源表逐项对得上。
这才叫“今天的日报可以发”。
四种原因里,空数据和异常被吞通常一起出现:上游没落盘 → 空表 → 异常被吞 → 输出 0。破法是区分“空文件”(错误)和“零订单”(业务事实), 但两者都必须让人看见。
下面从零写一个每天能跑的脚本:读 orders.csv,算指定日期的 GMV、订单数、
客单价,输出 CSV,全过程写进日志。六步,顺序不能乱。
环境:Python 3.10+、pandas(输出 Excel 再加 openpyxl)。
数据是 orders.csv:20,000 行、9 列,日期范围 2023-01-01 至 2024-06-30。
脚本、data/、out/、logs/ 放在同一个项目文件夹下:
report/
├─ daily_report.py
├─ data/
│ └─ orders.csv
├─ out/
└─ logs/
每一步仍然按“做什么 → 为什么 → 怎么做 → 看到什么”四段写。“为什么”对应 28.1 的规则编号。
orders.csv,确认行数、列名、状态取值。report,里面建 data、out、logs 三个子文件夹orders.csv 放进 data/report/ 下新建 daily_report.py,先写五行探路代码:import pandas as pd
df = pd.read_csv("data/orders.csv", encoding="utf-8-sig")
print(df.shape)
print(df.columns.tolist())
print(df["status"].value_counts())
load_orders():检查存在、编码回退、空表、必需字段、日期类型。path.exists() 判断文件是否存在read_csv 先试 utf-8-sig,捕获 UnicodeDecodeError 后换 gbkdf.empty,再检查四个必需字段是否都在parse_dates=["order_date"] 让日期变成 datetime,后面才能按天比较build_report(df, day),返回日期、GMV、订单数、客单价四个值。df["order_date"].dt.date == day,再筛 status == "已支付"round(float(one["pay_amount"].sum()), 2)int(len(one))if orders,否则记 0,避免除零amount 是原价,pay_amount 是实付。已支付订单两者的差额合计 511,931.50,这就是优惠金额。用错字段,GMV 会虚高 51 万。
out/daily_YYYYMMDD.csv,金额保留两位小数。pd.DataFrame([row]).to_csv(out, index=False, encoding="utf-8-sig", float_format="%.2f")to_csv 换成 to_excel(out.with_suffix(".xlsx"), index=False),并安装 openpyxlExcel 在 Windows 上默认按本地编码猜 CSV。带 BOM 的 UTF-8 能让它认出中文;不带 BOM 时常出现“鏃ユ姤”这类乱码。代价只是文件头多三个字节。
logging,同时写文件和控制台;用 try/except 把四类异常映射成 2/3/4/5/6 五个退出码。logging.basicConfig 配两个 handler:FileHandler 写 logs/report_YYYYMMDD.log,StreamHandler 打屏%(asctime)s | %(levelname)-7s | %(message)smain() 的异常分支sys.exit(main()) 把返回值变成进程退出码logs/ 下出现当天的日志文件;正常跑退出码 0,零订单 6,缺文件 2。
python daily_report.py --date 2024-06-30python daily_report.py --date 2024-07-01,看是否输出 0 且退出码为 6data/orders.csv 临时改名,再跑一次,看是否退出码 2
完整脚本 88 行非空代码。建议先按上面六步自己写一遍——手写过,才知道每个
except 在防什么。
# daily_report.py
import argparse
import logging
import sys
from datetime import date, datetime
from pathlib import Path
import pandas as pd
BASE = Path(__file__).resolve().parent
DATA = BASE / "data" / "orders.csv"
OUT_DIR = BASE / "out"
LOG_DIR = BASE / "logs"
log = logging.getLogger("daily")
def setup_log():
LOG_DIR.mkdir(exist_ok=True)
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s | %(levelname)-7s | %(message)s",
datefmt="%Y-%m-%d %H:%M:%S",
handlers=[
logging.FileHandler(LOG_DIR / f"report_{date.today():%Y%m%d}.log",
encoding="utf-8"),
logging.StreamHandler(sys.stdout),
],
)
def load_orders(path):
if not path.exists():
raise FileNotFoundError("数据文件不存在: data/orders.csv")
try:
df = pd.read_csv(path, encoding="utf-8-sig", parse_dates=["order_date"])
except UnicodeDecodeError:
log.warning("UTF-8 解码失败,改用 GBK 重试")
df = pd.read_csv(path, encoding="gbk", parse_dates=["order_date"])
if df.empty:
raise ValueError("数据文件没有数据行")
need = {"order_id", "order_date", "status", "pay_amount"}
missing = need - set(df.columns)
if missing:
raise ValueError(f"缺少字段: {sorted(missing)}")
return df
def build_report(df, day):
one = df[(df["order_date"].dt.date == day) & (df["status"] == "已支付")]
gmv = round(float(one["pay_amount"].sum()), 2)
orders = int(len(one))
aov = round(gmv / orders, 2) if orders else 0.0
return {"日期": day.isoformat(), "GMV": gmv, "订单数": orders, "客单价": aov}
def main():
ap = argparse.ArgumentParser(description="每日经营日报")
ap.add_argument("--date", default=date.today().isoformat(),
help="统计日期,格式 YYYY-MM-DD,默认今天")
args = ap.parse_args()
setup_log()
try:
day = datetime.strptime(args.date, "%Y-%m-%d").date()
except ValueError:
log.error("日期格式应为 YYYY-MM-DD,收到: %s", args.date)
return 3
log.info("开始生成 %s 日报", day)
try:
df = load_orders(DATA)
log.info("读入 %d 行,字段 %d 个", len(df), len(df.columns))
row = build_report(df, day)
if row["订单数"] == 0:
log.warning("%s 没有已支付订单,按 0 输出,请人工确认上游", day)
OUT_DIR.mkdir(exist_ok=True)
out = OUT_DIR / f"daily_{day:%Y%m%d}.csv"
pd.DataFrame([row]).to_csv(out, index=False,
encoding="utf-8-sig", float_format="%.2f")
log.info("已写入 out/%s", out.name)
log.info("GMV=%.2f | 订单数=%d | 客单价=%.2f",
row["GMV"], row["订单数"], row["客单价"])
return 6 if row["订单数"] == 0 else 0
except FileNotFoundError as e:
log.error("取数失败: %s", e)
return 2
except UnicodeDecodeError as e:
log.error("编码错误,UTF-8 与 GBK 都解不开: %s", e)
return 4
except pd.errors.EmptyDataError:
log.error("数据文件是空的,一行都没有")
return 3
except ValueError as e:
log.error("数据不合格: %s", e)
return 3
except Exception as e:
log.exception("未预期异常: %s", e)
return 5
if __name__ == "__main__":
sys.exit(main())
正常日期:
> python daily_report.py --date 2024-06-30 2026-11-20 14:28:58 | INFO | 开始生成 2024-06-30 日报 2026-11-20 14:28:58 | INFO | 读入 20000 行,字段 9 个 2026-11-20 14:28:58 | INFO | 已写入 out/daily_20240630.csv 2026-11-20 14:28:58 | INFO | GMV=239114.60 | 订单数=27 | 客单价=8856.10
日志行首是运行时间,日报日期看 --date。
生成的 CSV:
| A | B | C | D | |
|---|---|---|---|---|
| 1 | 日期 | GMV | 订单数 | 客单价 |
| 2 | 2024-06-30 | 239114.60 | 27 | 8856.10 |
再注入几种故障:零订单会输出 0 值日报,日志是 WARNING,退出码 6; 文件缺失不生成文件,日志是 ERROR,退出码 2。关键日志行见下表。
| 场景 | 日志关键行 | 退出码 | 结论 |
|---|---|---|---|
| 正常数据 | GMV=239114.60 ... | 0 | 可直接发送 |
| 日期无订单 | WARNING ... 按 0 输出 | 6 | 文件生成,人工确认上游 |
| 文件被改名 | ERROR 取数失败 | 2 | 不生成文件,修路径 |
| 文件为空 | ERROR 数据文件是空的 | 3 | 不生成文件,查导出 |
| 编码为 UTF-16 | ERROR 编码错误 | 4 | 不生成文件,改导出编码 |
| 缺少 pay_amount 列 | ERROR 缺少字段 | 3 | 不生成文件,查上游字段 |
AI 能写出很像样的 SQL 和 pandas 代码。它的价值是把“查语法”压到几秒;风险是不知道 你公司的口径,却会用很肯定的语气编一个。这一节讲:怎么问、验什么、什么不能给它看。
一句“帮我写个查 GMV 的 SQL”只能得到通用答案。把表结构、口径、输出、边界说清, 才会得到能跑的查询:
你是数据分析师。请根据下面的表结构写一条 PostgreSQL 查询。
【表】
orders(order_id, user_id, order_date, status, channel,
amount, discount, pay_amount, city)
users(user_id, register_date, city, channel, member_level)
【口径】
GMV = status = '已支付' 的 pay_amount 之和
订单数 = 同一筛选下 order_id 的去重计数
客单价 = GMV / 订单数
【输出】
月份、渠道、GMV、订单数、客单价;按月份升序、GMV 降序
【边界】
- 时间范围 2024-01-01 至 2024-06-30,左闭右开
- 金额保留 2 位小数;订单数为 0 时客单价输出 0,不报错
- 不要 SELECT *,不要假设字段有默认值
- 请同时给出 3 条你自己会用来验数的检查 SQL
最后一句很关键:它逼 AI 把“怎么证明结果对”也写出来。拿到后先跑那三条检查,再决定用不用。
AI 写的 SQL 可以通过语法检查,但下面三件事它替不了你:
| 验证项 | 怎么查 | 本书对应的坑 |
|---|---|---|
| ① 口径 | SELECT status, COUNT(*) FROM orders GROUP BY 1; 确认状态值无空格、用 pay_amount |
第 1 章:GMV 两种算法差 511,931.50;第 6 章:文本金额不转数值,SUM 少算 93,807.29 |
| ② 行数与总额 | 先跑 SELECT COUNT(*), SUM(pay_amount) FROM orders WHERE status='已支付'; 得 15,615 / 157,363,380.14;再跑分组查询,各组之和必须等于总数 |
第 8 章:透视表少算一类,总额对不上;第 16 章:WHERE 把 NULL 组过滤掉 |
| ③ NULL 与重复 | join 前查主键唯一(users 62 行只有 60 个 ID,U012、U027 重复);join 后行数不能变多;13 行 U901–U905 在用户表不存在 |
第 13 章:VLOOKUP 的 #N/A;内连接丢掉 13 行,总额少 20,124.81 |
第三条最容易被忽略。AI 写的 JOIN 通常是内连接,跑出来不报错,但订单数从
120 变成 107——它不会告诉你少了 13 行。join 前后必须对比行数。
LIMIT 10,确认口径和行数,再谈上线。AI 擅长写 SQL / pandas 初版、解释报错、把循环改成向量化、生成测试数据;它不能替你 定义业务口径、判断异常真假、承担合规责任,也不能替你向老板解释“为什么和财务差 3 万”。
一句话:AI 负责“怎么写”,你负责“写什么”和“对不对”。语法可以外包,业务不能。
先核对三个数,再做五道选择题。数字不对,回 28.3;选择题错,回 28.1–28.2。
凭第一反应选,选完出解析。
锘縪rder_id。最可能的原因和修法是?utf-8 读会留在第一个列名里;改用 utf-8-sig,pandas 会自动去掉。System32 启动。用 Path(__file__).parent 拼绝对路径,或在“起始于”填脚本目录。按“现象 → 原因 → 解决”整理,先查表。
| 现象 | 原因 | 解决 |
|---|---|---|
| 计划任务到点没跑 | 电脑休眠、任务被禁用、触发器时间设错 | 勾选“如果错过计划开始时间,尽快启动”;改到常开服务器 |
| 任务显示成功,但没有输出文件 | 工作目录不对,文件写到了 System32 | “起始于”填脚本目录;代码里用 Path(__file__).parent |
| 日报 GMV 是 0 | 状态值带空格;日期边界漏了当天;上游没落盘 | 先 value_counts() 看状态;用 .dt.date == day;查源表行数 |
| CSV 中文乱码 | 写文件用了 utf-8,Excel 按本地编码猜 | 写文件用 utf-8-sig |
客单价为 0 或 NaN | 订单数为 0 时直接相除 | 先判断 orders > 0,否则记 0 并告警 |
| cron 手动跑正常,定时跑失败 | cron 的 PATH 和当前目录与登录 shell 不同 | 写 Python 绝对路径;命令前加 cd /home/analyst/report |
| 邮件没收到,脚本却成功 | SMTP 认证失败被 except 吞掉 | 发送失败必须返回非零;单独写一个发送测试 |
amount”,跑 2024-06-30,GMV 会变成多少?和 pay_amount 差多少?--channel 参数,只统计指定渠道(如“信息流”)。6 月 30 日信息流的 GMV 和订单数是多少?.xlsx),需要改哪一行、装哪个库?如果服务器上没有 Excel,文件还能生成吗?1. 用 amount 得到原价合计,差额等于当天 amount - pay_amount 之和;换成原价,GMV 必然高于实付。
2. 在 build_report 的筛选里加 & (df["channel"] == channel),默认 None 时不加。6 月 30 日的值用脚本跑。
3. 把 to_csv 换成 to_excel(out.with_suffix(".xlsx"), index=False),装 openpyxl。不装 Excel 也能写 xlsx。
4. 放在“计算”之后、“输出”之前;保存上一次 GMV(JSON 或小表),连续两天为 0 时返回专门退出码并告警。