LLMのToolコーリングの動作原理

{
  "tool": "get_weather",
  "args": {
    "city": "Tokyo"
  }
}

import os
import json
import requests

# APIキーとエンドポイント
API_KEY = os.getenv("LLM_API_KEY")
API_URL = "https://your-llm-endpoint.example.com/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {API_KEY}"
}

# 1. ツール定義
system_prompt = """
あなたは天気案内アシスタントです。以下のツールが使えます。

[TOOL] get_weather
  説明: 指定都市の現在の天気を取得する
  引数: {"city": "<都市名>", "unit": "<celsius|fahrenheit>"}

出力：
- ツールを呼び出す必要がある場合は、必ず JSON 文字列だけを返してください。
  例: {"tool":"get_weather","args":{"city":"大阪","unit":"celsius"}}
- 直接回答できる場合は、平文の自然言語で答えてください。
"""

# 2. ユーザーからの質問
user_prompt = "札幌の現在の天気を教えてください。"

# 3. 初回リクエスト
payload = {
    "model": "your-model-name",
    "messages": [
        {"role": "system", "content": system_prompt},
        {"role": "user",   "content": user_prompt}
    ]
}
resp = requests.post(API_URL, headers=headers, data=json.dumps(payload))
resp.raise_for_status()
assistant_msg = resp.json()["choices"][0]["message"]["content"]

# 4. 応答が JSON 形式かチェック
try:
    cmd = json.loads(assistant_msg)
    tool_name = cmd["tool"]
    args = cmd["args"]
except (json.JSONDecodeError, KeyError):
    # JSON でなければそのまま出力
    print("Assistant:", assistant_msg)
    exit()

# 5. ツールを実行
def get_weather(city: str, unit: str = "celsius"):
    # 実際には外部API呼び出しを想定
    return {"city": city, "temp": 15, "unit": unit, "desc": "くもり"}

if tool_name == "get_weather":
    result = get_weather(**args)
else:
    result = {"error": f"Unknown tool: {tool_name}"}

# 6. 実行結果をLLMにフィードバック
feedback = {
    "role": "tool",
    "name": tool_name,
    "content": json.dumps(result)
}
followup_payload = {
    "model": "your-model-name",
    "messages": [
        {"role": "system", "content": system_prompt},
        {"role": "user",   "content": user_prompt},
        {"role": "assistant", "content": assistant_msg},
        feedback
    ]
}
followup_resp = requests.post(API_URL, headers=headers, data=json.dumps(followup_payload))
followup_resp.raise_for_status()
final_answer = followup_resp.json()["choices"][0]["message"]["content"]

print("Assistant:", final_answer)