聊天接口
POST
https://api.chatkore.com/v1/chat/completions给定一个提示,该模型将返回一个或多个预测的完成,并且还可以返回每个位置的替代标记的概率。
为提供的提示和参数创建完成
请求参数
以聊天格式生成聊天完成的消息。
此消息正在响应的工具调用。
聊天完成时生成的最大令牌数。 输入标记和生成标记的总长度受模型上下文长度的限制。
一种替代温度采样的方法,称为核采样,其中模型考虑具有 top_p 概率质量的标记的结果。所以 0.1 意味着只考虑构成前 10% 概率质量的标记。 我们通常建议改变这个或temperature但不是两者。
修改指定标记出现在完成中的可能性。 接受一个 json 对象,该对象将标记(由标记器中的标记 ID 指定)映射到从 -100 到 100 的关联偏差值。从数学上讲,偏差会在采样之前添加到模型生成的 logits 中。确切的效果因模型而异,但 -1 和 1 之间的值应该会减少或增加选择的可能性;像 -100 或 100 这样的值应该导致相关令牌的禁止或独占选择。
代表您的最终用户的唯一标识符,可以帮助我们监控和检测滥用行为。
为每个输入消息生成多少个聊天完成选项。
API 将停止生成更多令牌的最多 4 个序列。
如果设置,将发送部分消息增量,就像在聊天中一样。当令牌可用时,令牌将作为纯数据服务器发送事件data: [DONE]发送,流由消息终止。
-2.0 和 2.0 之间的数字。正值会根据到目前为止是否出现在文本中来惩罚新标记,从而增加模型谈论新主题的可能性。
使用什么采样温度,介于 0 和 2 之间。较高的值(如 0.8)将使输出更加随机,而较低的值(如 0.2)将使输出更加集中和确定。 我们通常建议改变这个或top_p但不是两者。
-2.0 和 2.0 之间的数字。正值会根据新标记在文本中的现有频率对其进行惩罚,从而降低模型逐字重复同一行的可能性。
指定模型必须输出的格式的对象。 设置为{“type”:“json_object”}可以启用json模式,从而保证模型生成的消息是有效的json。 重要提示:使用JSON模式时,还必须指示模型通过系统或用户消息自己生成JSON。如果没有这一点,模型可能会生成一个无休止的空白流,直到生成达到令牌限制,从而导致长时间运行且看起来“卡住”的请求。还要注意,如果finish_reason=“length”,则消息内容可能会被部分切断,这表示生成超过了max_tokens或会话超过了最大上下文长度。
必须是text或json_object之一。
此功能处于测试版。如果指定,我们的系统将尽最大努力进行确定性采样,这样具有相同种子和参数的重复请求应该返回相同的结果。不能保证确定性,您应该参考system_fingerprint响应参数来监控后端的更改。
模型可能调用的工具列表。目前,仅支持函数作为工具。使用它可以提供模型可能为其生成JSON输入的函数列表。
工具的类型。目前,只支持function。
控制模型调用的函数(如果有)。none表示模型不会调用函数,而是生成一条消息。auto意味着模型可以在生成消息或调用函数之间进行选择。通过{“type:”function“,“function”:{“name”:“my_function”}}指定特定函数会强制模型调用该函数。 当不存在函数时,none是默认值。如果存在功能,则自动为默认设置。
none表示模型不会调用函数,而是生成一条消息。auto意味着模型可以在生成消息或调用函数之间进行选择。
{
"model": "string",
"messages": [
{
"content": "string",
"role": "string",
"tool_call_id": "string"
}
],
"max_tokens": 0,
"top_p": 0,
"logit_bias": null,
"user": "string",
"n": 0,
"stop": "string",
"stream": true,
"presence_penalty": 0,
"temperature": 0,
"frequency_penalty": 0,
"response_format": {
"type": "string"
},
"seed": 0,
"tools": [
{
"type": "string",
"function": {
"description": "string",
"name": "string",
"parameters": {}
}
}
],
"tool_choice": "string"
}
示例代码
返回响应
{
"id": "string",
"object": "string",
"created": 0,
"choices": [
{
"index": 0,
"message": {
"role": "string",
"content": "string",
"tool_calls": [
{
"id": "string",
"type": "string",
"function": {
"name": "string",
"arguments": "string"
}
}
]
},
"finish_reason": "string"
}
],
"usage": {
"prompt_tokens": 0,
"completion_tokens": 0,
"total_tokens": 0
},
"system_fingerprint": "string"
}