Jev 模型调研 — TypeSafe AI 的 System One 模型 #

1. 背景 #

• 公司：TypeSafe AI，隐身（stealth）两年后公开。
• 创始人：Diogo Almeida，曾在 OpenAI 参与构建让语言模型遵循指令/与人对话的研究（即 ChatGPT 背后的方法）。他认为"聊天模型已经超人好几年了，自动化在哪里？"是核心驱动力。
• 发布时间：2026-09-14，目前为 early access（早期访问）。
• 官方文档：https://docs.typesafe.ai/introduction
• 发布公告：https://typesafe.ai/blog/introducing-system-one-models-and-jev

2. System One 是什么 #

命名来源于 Kahneman《思考，快与慢》的双过程理论：

• System 1（快思考）：快速、直觉、聚焦。System One 模型专为"快速、结构化、软件可直接使用的判断"而设计。
• System 2（慢思考）：更慢、更审慎的多步推理。

TypeSafe 选择做 System 1 这一层的模型：不写回复、不写代码、不生成推理过程，只做"在给定上下文下，专家几秒钟内就能做出的直觉判断"。复杂评估应分解为多个原子问题，再在代码中组合——而非让模型一次性给出一长串推理。

核心思想：每个问题只问"一件具体的、范围明确的事"（a gut-check determination）。

3. Jev 模型 vs 传统 LLM #

4. 三大原语（Primitives / 问题类型） #

Jev 不生成文本，而是回答三种类型化问题：

4.1 Noul（布尔/概率） #

判断一个命题是否为真，返回 0–1 之间的值。

{ "type": "noul", "instructions": "Does this message express urgency?" }

响应：{ "noul": 0.999 }

4.2 Choice（分类/选择） #

从一组选项中选择，返回 choice、全部选项的 probabilities、以及 confidence。

{
  "type": "choice",
  "instructions": "Classify this support message",
  "criteria": {
    "billing": "Payment or subscription issues",
    "technical": "Bugs or integration problems",
    "sales": "Pricing or account questions"
  }
}

响应：{ "choice": "technical", "probabilities": {...}, "confidence": 0.92 }

4.3 Score（评分） #

按量规打分，返回 score（浮点）、legend（锚点映射）、confidence。

{
  "type": "score",
  "instructions": "How angry is this customer?",
  "criteria": ["Calm, just stating facts", "...", "Very angry, strong language"]
}

5. API 用法 #

• 端点：POST https://api.typesafe.ai/v1/systemone
• 鉴权：Authorization: Bearer $TYPESAFE_API_KEY（key 在 console.typesafe.ai/settings/keys 获取）
• 模型名：jev-latest

请求体 #

{
  "state": "<要评估的输入文本>",
  "model": "jev-latest",
  "questions": {
    "<question_id>": {
      "type": "noul|choice|score",
      "instructions": "<问题文本>",
      "criteria": "..."
    }
  }
}

响应体 #

{
  "model": "jev-latest",
  "answers": {
    "<question_id>": { "...": "见上文各原语响应" }
  },
  "usage": { "input_tokens": 0, "output_tokens": 0 }
}

cURL 示例 #

curl -X POST https://api.typesafe.ai/v1/systemone \
  -H "Authorization: Bearer $TYPESAFE_API_KEY" \
  -H "Content-Type: application/json" \
  -d @- <<'EOF'
{
  "state": "I'm frustrated, my Stripe integration keeps failing...",
  "model": "jev-latest",
  "questions": {
    "urgent": { "type": "noul", "instructions": "Does this message express urgency?" },
    "category": {
      "type": "choice",
      "instructions": "Classify this support message",
      "criteria": {
        "billing": "Payment or subscription issues",
        "technical": "Bugs or integration problems",
        "sales": "Pricing or account questions"
      }
    }
  }
}
EOF

Python SDK #

pip install typesafe-sdk   # 或 uv add typesafe-sdk (Python >= 3.10)

from typesafe_sdk import Choice, Noul, Score, TypeSafeClient

client = TypeSafeClient()  # 自动读取 TYPESAFE_API_KEY

resp = client.system_one(
    state="I'm frustrated, my Stripe integration keeps failing...",
    questions={
        "urgent":   Noul(instructions="Does this message express urgency?"),
        "category": Choice(instructions="Classify this support message",
                           criteria={"billing": "...", "technical": "...", "sales": "..."}),
        "anger":     Score(instructions="How angry is this customer?",
                           criteria=["Calm", "...", "Very angry"]),
    },
)

print(resp.answers["urgent"].noul)      # 0.999
print(resp.answers["category"].choice)  # "technical"
print(resp.answers["anger"].score)

还有 JavaScript SDK、Playground（console.typesafe.ai/playground），以及 Claude Code / 其他编码 agent 的 skill（claude plugin install typesafe@typesafe-ai）。

6. 性能与基准 #

• 对比对象：GPT-5.6 Terra（默认 reasoning），作者认为其在平均智能上与 Jev 最可比。
• Side-by-side demo：Jev 并行输出全部概率，而 GPT 逐 token 生成。记录运行中唯一与 GPT-5.6 Terra 不一致的项是"流失可能性等级"，且该答案本身确实模棱两可。
• Workflow evals：新型评测——不追求 ground truth 分类，而是假设存在正确的计算图（workflow），用最贵最聪明的外部模型（Astra、Fable）的预测均值作为参考概率，比较各模型。
  • 结果：Jev 几乎占据 Pareto 前沿近两个数量级。
  • 即便让 LLM 在 prompt 中用 chain-of-thought 完成所有逻辑，效果也显著劣于直接用 workflow 本身。
• 可快速自证的声明：速度（70–500ms）、价格（$0.042/MTok，输出免费）、无类型错误（数学上不可能产生类型错误，一个反例即可证伪但不存在）。

7. 适用场景 / 模式 #

System One 模型定位为软件中的模糊决策规则（smart if-statements），而非对话 agent：

• AI 驱动的工作流：分类、路由、评分、抽取、分支——手写规则太脆的地方。
• 大数据 map-reduce：把 PB 级数据变成特征与洞察。
• 实时应用：100ms 级延迟，UX 敏感场景可用。
• 验证一切：对 LLM 的 prompt、推理轨迹、输出做评分/评判/守卫/检测越狱。
• 置信度门控路由（confidence-gated routing）：confidence 低则升级到 System Two / 人工。

官方提供大量 cookbook：self-consistency、parallel questions、re-ranking、function calling、entity alignment、RAG 段落分类、引用核查、LLM guardrails、SDE cascade、日期抽取、层级分类等。详见 文档索引（共 111 页）。

8. 局限与注意 #

• 不生成文本：Jev 主动放弃了 string generation，不能做聊天回复、写代码、写解释——这是设计取舍换来的"超能力"（并行、无幻觉、类型安全）。
• 早期访问阶段，服务目前部署在西海岸，官方公布的 eval 多从笔电在西海岸跑出。
• 定价是否补贴需长期验证（官方预期会降不会升）。
• 单个问题应保持原子化、范围明确；复杂判断靠代码组合多个问题，而非塞给模型一长串。

9. 我的理解 #

Jev 本质上是把 LLM 的"生成"能力切掉，只保留"判断"这一层，并用 RLCD 让输出的概率是校准的（epistemically honest）。这使它能像普通函数一样被组合进软件系统——输入非结构化状态，输出可直接 if/switch/sort/route 的类型化决策。

类比：传统 LLM 是"会写文章的实习生"，Jev 是"只做判断题、但概率可信、速度快两个数量级、且永不乱编的评审函数"。它不是要替代 LLM 做对话/生成，而是填补自动化决策层这块空白。

10. 参考链接 #

• 官方文档：https://docs.typesafe.ai/introduction
• Quick Start：https://docs.typesafe.ai/introduction/quickstart
• System One 概念：https://docs.typesafe.ai/concepts/system-one
• Primitives：https://docs.typesafe.ai/primitives
• 发布博客：https://typesafe.ai/blog/introducing-system-one-models-and-jev
• Confidence 文档：https://docs.typesafe.ai/confidence
• 模型 jaggedness：https://docs.typesafe.ai/model-jaggedness/jev-1.13
• 文档全索引（111 页）：https://docs.typesafe.ai/llms.txt