iFood 如何围绕延迟设计 Rosie 客服 Agent

Rosie 服务数百万用户。他们的第一个架构决策是：一切默认异步。与其对抗延迟，不如拥抱它。

核心要点

• 一切默认异步。他们把栈里的每个 agent 都描述成「浪费时间来回答」的东西。
• 不能让一个 agent 的延迟卡住整条流水线。也不能因为某个服务偶尔慢，就给整个系统设一个全局超时。
• 通信方式：agent 之间通过回调和事件监听器通信，而不是同步等待。
• 这个框架改变了整个架构：不是优化延迟，是承认延迟存在并围绕它设计。