评测先行的工程节奏.
没有评测集的时候,每一次改动都是凭感觉。有了它,才谈得上迭代。
扫码在手机上阅读。朗读正文内容,不包含页面工具和目录。
问 AI
复制正文和提示词,让 AI 生成摘要与要点。复制正文和提示词,让 AI 提取结构和心智模型。复制正文和提示词,让 AI 以问答方式帮助理解。
凭感觉的迭代不是迭代.
改一版提示词,跑两个例子,觉得「好像好了一点」,于是提交。第二天换了个例子,又觉得不如从前。这不是迭代,这是随机游走。
区别只有一个:有没有一组固定的题目,让两个版本可以在同一把尺子下比较。
二十条真实样例就够开始.
评测集不需要一开始就完美。从线上日志里挑二十条真实请求,人工写下期望的输出,就已经足够拦住大部分明显的退步。
尤其要收进去那些曾经出过错的例子。它们是你花代价买来的,不该只留在记忆里。
分数只需要可比较.
很多人卡在「怎么给自然语言输出打分」上,迟迟不开始。其实分数不必绝对准确,它只需要在两个版本之间保持一致的偏好。
哪怕只是人工快速判断「对/错/不确定」,只要每次都用同一套题、同一套标准,你就已经拥有了一条基线。有了基线,改动才第一次变得可讨论。
— 讨论
GitHub评论.
评论由 GitHub Discussions 承载。请围绕文章内容交流,并保持克制、友善。
评论暂时没有加载出来。可以稍后刷新重试,或直接到 GitHub Discussions 参与讨论。