跳到主要内容
文档导航
本页目录

Playground

Playground 用于在浏览器里直接和已部署的模型对话,验证效果。请求经 console 转发到推理网关,网关密钥保存在服务端,不会下发到浏览器。

对话​

打开「Playground → 对话」:

  1. 在顶部选择模型。列表就是「模型服务 → 推理服务」里的部署,就绪的排在前面,显示为「服务名 · 模型名」;还不能对话的置灰并注明原因。如果显示「还未部署模型」,先去部署一个,就绪后会自动出现。
  2. 在下方输入框输入消息,Enter 发送,Shift+Enter 换行。生成过程中可以点 停止。
  3. 每条回答下方显示性能数据:首字延迟(TTFT)、用时、输入/输出 tokens、tok/s、缓存命中率。

消息操作:

  • 编辑、删除任意一条消息,或让模型重新生成最后的回答。
  • 输入框可切换为「助手」身份:添加 只把这条消息追加到对话,发送 追加后请模型续写。适合构造多轮示例。
  • 推理模型的思考过程会单独折叠显示。

同一个对话使用固定的会话 ID,网关会把整段对话固定在同一个推理实例上,前缀缓存因此保持命中。点 新建对话 开始新的会话。

参数​

点 参数 打开参数面板:

  • 系统提示词:作为 messages 里的 system 消息发送。
  • 最大输出 tokens,以及「更多参数」里的 temperature、top_p、seed、停止序列等。
  • 留空的参数不发送,由推理引擎使用自己的默认值。
  • 恢复默认参数 会保留系统提示词。

查看代码​

点 查看代码 可以得到用当前模型、参数和对话调用 OpenAI 兼容接口的代码(cURL、Python、Node.js)。运行前需要把环境变量 MODELSPHERE_API_KEY 设为一个 API 密钥,见调用 API。