Context Caching 正式公测

from openai import OpenAI
import requests
import json
 
client = OpenAI(
    api_key = "$MOONSHOT_API_KEY",
    base_url = "https://api.moonshot.cn/v1",
)
 
res = requests.post(
    url = "https://api.moonshot.cn/v1/caching",
    headers = {
        "Authorization": "Bearer $MOONSHOT_API_KEY"            
    },
    json = {
        "model": "moonshot-v1",
        "messages": [
            {
                "role": "system",
                "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"
            },
        ],
        "tools": [{
            "type": "function",
            "function": {
                "name": "CodeRunner",
                "description": "代码执行器，支持运行 python 和 javascript 代码",
                "parameters": {
                    "properties": {
                        "language": {
                            "type": "string",
                            "enum": ["python", "javascript"]
                        },
                        "code": {
                            "type": "string",
                            "description": "代码写在这里"
                        }
                    },
                    "type": "object"
                }
            }
        }],
        "name": "CodeRunner",
        "ttl": 3600
    }
)
 
print(json.loads(res.text))
 

 
{'id': 'cache-essqmysd6h1111dauub1', 'object': 'context_cache_object', 'model': 'moonshot-v1', 'messages': [{'role': 'system', 'content': '你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。'}], 'tools': [{'function': {'name': 'CodeRunner', 'description': '代码执行器，支持运行 python 和 javascript 代码', 'parameters': {'properties': {'code': {'description': '代码写在这里', 'type': 'string'}, 'language': {'enum': ['python', 'javascript'], 'type': 'string'}}, 'type': 'object'}}, 'type': 'function'}], 'name': 'CodeRunner', 'description': '', 'metadata': None, 'expired_at': 1718847499, 'status': 'pending', 'tokens': 72}
 

from openai import OpenAI
 
client = OpenAI(
    api_key = "$MOONSHOT_API_KEY",
    base_url = "https://api.moonshot.cn/v1",
)
 
completion = client.chat.completions.create(
    model="moonshot-v1-8k",
    messages=[  
        {
            "role": "cache",
            "content": "cache_id=cache-essqmysd6h1111dauub1;reset_ttl=3600",
        },
        {
            "role": "user",
            "content": "编程判断 3214567 是否是素数。",
        },
    ],
    temperature=0.3,
)
 
print(completion.choices[0].message)
 

ChatCompletionMessage(content='判断一个数是否是素数，我们可以使用一个简单的算法：检查从2到该数的平方根之间的所有整数是否能整除该数。如果有一个能整除，那么这个数就不是素数。如果没有任何数能整除它，那么它就是素数。\n\n对于给定的数3214567，我们可以编写一个程序来实现这个算法。下面是一个使用Python语言的示例代码：\n\n```python\nimport math\n\ndef is_prime(number):\n    if number <= 1:\n        return False\n    for i in range(2, int(math.sqrt(number)) + 1):\n        if number % i == 0:\n            return False\n    return True\n\nnumber_to_check = 3214567\nprint(is_prime(number_to_check))\n```\n\n这段代码定义了一个函数`is_prime`，它接受一个整数作为参数，并返回一个布尔值，表示这个数是否是素数。然后，我们使用这个函数来检查3214567是否是素数。', role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='CodeRunner:0', function=Function(arguments='{\n    "code": "import math\\n\\ndef is_prime(number):\\n    if number <= 1:\\n        return False\\n    for i in range(2, int(math.sqrt(number)) + 1):\\n        if number % i == 0:\\n            return False\\n    return True\\n\\nnumber_to_check = 3214567\\nis_prime(number_to_check)"\n}', name='CodeRunner'), type='function', index=0)])