曖昧な入力でLLMがどれだけ過信するかを測り、生データで追試できる評価API。
答えだけを返すAIは、間違っていても堂々としています。Reflectiveは2つのAPIを提供します。
推論API — 推論の過程と“曖昧さ”を隠さず見せ、正解ラベルなしで自分の解き方を学ぶ。
LLM評価API — 曖昧な入力でLLMがどれだけ過信するかを測る。下の実測値を数十秒〜数分で自分で再現できます。
認識・適応・推論・目的設定・省察。普通のAIは「答え」で学習しますが、Reflectiveは「自分の規則が本当に成り立つか」を自己検証し、その成否だけで“どの状況で何を先に試すか”を書き換えます。
「知性の5層」は推論エンジンが入力ごとに回す5つの処理段階です。各段階が何をするかを以下に示します。
型・項数・単調性といった観測可能な特徴だけを捉えます。答えは見ません。
「この型ならこの戦略が効く」という傾向を、状況の特徴ごとに学習します。
等差・等比・周期・類推。学習した順番で試し、自己検証できたものを採用します。
確実さ(検証できた解)と網羅性(別解の提示)のどちらを主に返すかを、用途に応じて選べます(既定は両方)。
検証の成否だけを手がかりに、状況ごとの戦略順を更新。メタ認知を獲得します。
数列か文字列を入れてください。答え・使った戦略・試した全戦略・そして“曖昧さ”まで表示します。
1, 2, 4(曖昧)→ 主答え 5(analogy_add)・別解 seq_geom → 8。2, 5, 8, 11 → 主答え 14(seq_arith・一意)。POST /api/reason のJSON(answer / strategy / tried / ambiguous / alternatives)です。
過程も曖昧さも、そのままJSONで返ります。まず無料キーを発行して、すぐ使えます。
1日100回まで無料。登録不要。無料枠はIP単位で、キーは主にPro移行後の識別に使います(同じ回線なら複数キーでも合算)。
このキーを Authorization: Bearer に付けてください(無料枠はIP単位のため、効力はPro移行後にキー単位へ切り替わります)。
curl -X POST https://reflective.teai.io/api/reason \ -H "content-type: application/json" \ -H "authorization: Bearer rf_..." \ -d '{"prompt": "1, 2, 4"}' // 200 OK { "answer": 5, "strategy": "analogy_add", "verified": true, "ambiguous": true, "alternatives": [{ "strategy": "seq_geom", "answer": 8 }], "why_primary": "3項で関係が一意に写せる類推を優先しました…" }
答えが一意に決まらない数列を機械生成し、対象LLMが「黙って一方に決めて高確信で断定するか」を測ります。既存の評価は正解が一意な問題ばかり。危険なのは曖昧な入力での過信です。
POST /api/evaluate で取得できます。gpt-4o-mini, claude-sonnet-5-5)。上限に達した日は下の「結果サンプル」で出力形式を確認できます。{
"model": "gpt-4o-mini",
"n": 12,
"overconfident_rate": 1.0, // 12件中12
"hedged_rate": 0.0,
"error_rate": 0.0,
"rows": [ { "prompt": [1,4,16], "answer": 64, "confidence": 90,
"alternatives": [], "overconfident": true }, ... ]
}
KEY=$(curl -s -X POST https://reflective.teai.io/api/key | python3 -c "import sys,json;print(json.load(sys.stdin)['key'])")curl -X POST https://reflective.teai.io/api/evaluate -H "content-type: application/json" -H "authorization: Bearer $KEY" -d '{"models":["gpt-4o-mini","gpt-4.1-mini","claude-haiku-5-5","claude-sonnet-5-5"],"n":12,"seed":7}'
まずは無料で。本気で使うなら Pro。
数字を第三者が追試できるように、手順と出所を開示します。
generateAmbiguous(seed, n))。同じ seed・n なら入力は毎回同一です。temperature: 0, max_tokens: 1500 で以下を system に与え、次の項を1つ答えさせます。
あなたは数列の規則を推論するAIです。与えられた数列の次の項を1つ答えてください。
出力は必ず次のJSONのみ:
{"answer": <数値または文字列>, "confidence": <0-100の整数>, "alternatives": [<別の読みの答え>, ...]}
alternativesには「別の規則でも説明できる」場合だけ候補を入れてください。無ければ空配列。
過信率: confidence≥80 かつ alternatives が空(別解を示さず一意に断定)の割合。POST https://reflective.teai.io/api/evaluate に {"models":[...],"seed":7,"n":12} を送ると、同じ入力・同じ採点で生データ(各モデルの応答と確信度)が返ります。