Playground
Playground 用于在浏览器里直接和已部署的模型对话,验证效果。请求经 console 转发到推理网关,网关密钥保存在服务端,不会下发到浏览器。
对话
打开「Playground → 对话」:
- 在顶部选择模型。列表就是「模型服务 → 推理服务」里的部署,就绪的排在前面,显示为「服务名 · 模型名」;还不能对话的置灰并注明原因。如果显示「还未部署模型」,先去部署一个,就绪后会自动出现。
- 在下方输入框输入消息,Enter 发送,Shift+Enter 换行。生成过程中可以点 停止。
- 每条回答下方显示性能数据:首字延迟(TTFT)、用时、输入/输出 tokens、tok/s、缓存命中率。
消息操作:
- 编辑、删除任意一条消息,或让模型重新生成最后的回答。
- 输入框可切换为「助手」身份:添加 只把这条消息追加到对话,发送 追加后请模型续写。适合构造多轮示例。
- 推理模型的思考过程会单独折叠显示。
同一个对话使用固定的会话 ID,网关会把整段对话固定在同一个推理实例上,前缀缓存因此保持命中。点 新建对话 开始新的会话。
参数
点 参数 打开参数面板:
- 系统提示词:作为 messages 里的 system 消息发送。
- 最大输出 tokens,以及「更多参数」里的 temperature、top_p、seed、停止序列等。
- 留空的参数不发送,由推理引擎使用自己的默认值。
- 恢复默认参数 会保留系统提示词。
查看代码
点 查看代码 可以得到用当前模型、参数和对话调用 OpenAI 兼容接口的代码(cURL、Python、Node.js)。运行前需要把环境变量 MODELSPHERE_API_KEY 设为一个 API 密钥,见调用 API。
