日志与重试#

当模型调用失败时，你需要知道失败发生在哪里。日志负责记录事实，重试负责处理短暂故障。

基础日志#

1
import logging
2

3
logging.basicConfig(level=logging.INFO)
4
logger = logging.getLogger(__name__)
5

6
logger.info("开始调用模型")
7
logger.warning("请求耗时较长")
8
logger.error("模型调用失败")

LLM 项目应该记录什么#

使用的模型。
请求开始时间。
请求耗时。
输入和输出 token。
错误状态码。
是否重试。

注意：不要把 API Key 和敏感用户数据写进日志。

简单重试#

1
import time
2

3
def retry(fn, times=3, delay=1):
4
    last_error = None
5
    for attempt in range(times):
6
        try:
7
            return fn()
8
        except Exception as error:
9
            last_error = error
10
            time.sleep(delay * (attempt + 1))
11
    raise last_error