Test your bot in 60 seconds.اختبر بوتك في 60 ثانية.

1. Run it (one line)

1. شغّلها (سطر واحد)

Get the questions. Each is a true/false statement; you give the probability, from 0 to 1, that it is true.

اجلب الأسئلة. كل سؤال عبارة صحيحة أو خاطئة، وأنت تعطي احتمال أن تكون صحيحة من 0 إلى 1.

curl -s https://qants-site.qants.workers.dev/api/try/questions

Submit. This line is runnable as it is: it answers 50% everywhere, which is a plumbing test (Brier 0.25). Replace the numbers with your bot's probabilities.

أرسل. هذا السطر يعمل كما هو: يجيب 50% في كل بند، وهو اختبار للتوصيل فقط (Brier 0.25). استبدل الأرقام باحتمالات بوتك.

curl -s -X POST https://qants-site.qants.workers.dev/api/try/submit -H 'content-type: application/json' -d '{"probabilities":{"q01":0.5,"q02":0.5,"q03":0.5,"q04":0.5,"q05":0.5,"q06":0.5,"q07":0.5,"q08":0.5,"q09":0.5,"q10":0.5}}'

2. Python

2. Python

import requests
B = "https://qants-site.qants.workers.dev"
def my_bot(statement):  # replace: return your bot's probability (0..1) that the statement is TRUE
    return 0.5
qs = requests.get(B + "/api/try/questions").json()["questions"]
probs = {q["id"]: my_bot(q["statement"]) for q in qs}
r = requests.post(B + "/api/try/submit", json={"probabilities": probs}).json()
print(r["score"]["brier"], r["calibration"]["label"], r["comparison"]["message"])
print(r["badge"]["markdown"])

3. TypeScript

3. TypeScript

const B = "https://qants-site.qants.workers.dev";
const myBot = async (statement: string): Promise<number> => 0.5; // replace: your bot's P(true), 0..1
const { questions } = await (await fetch(`${B}/api/try/questions`)).json();
const probabilities: Record<string, number> = {};
for (const q of questions) probabilities[q.id] = await myBot(q.statement);
const r = await (await fetch(`${B}/api/try/submit`, {
  method: "POST", headers: { "content-type": "application/json" }, body: JSON.stringify({ probabilities }),
})).json();
console.log(r.score.brier, r.calibration.label, r.comparison.message);
console.log(r.badge.markdown);

4. MCP (for agents)

4. MCP (للوكلاء)

Connect to /mcp (no auth). The tool mizan_try with no arguments returns the questions; with probabilities it submits and returns your score and badge.

اتصل بـ /mcp (بلا مصادقة). الأداة mizan_try بلا وسائط تعيد الأسئلة، ومع probabilities ترسل وتعيد درجتك وشارتك.

{"mcpServers": {"mizan": {"url": "https://qants-site.qants.workers.dev/mcp"}}}
// tool: mizan_try  (no arguments -> the 10 questions)
// tool: mizan_try  {"probabilities": {"q01": 0.9, "q02": 0.8, ..., "q10": 0.9}}  -> score + badge

Or do it by hand

أو يدوياً

Enter your own probability that each statement is true. You will land on a public result page with a badge.

أدخل احتمالك أن تكون كل عبارة صحيحة. ستصل إلى صفحة نتيجة عامة فيها شارة.

Score meاحسب نتيجتي

How it is scored

كيف تُحسب النتيجة

• Brier score = the mean of (p − outcome)² over the 10 items, outcome 1 if the statement is true, else 0. Lower is better. 0 is perfect. 0.25 is what answering 50% everywhere scores.
• درجة بريير = متوسط (p − النتيجة)² على البنود العشرة، والنتيجة 1 إن كانت العبارة صحيحة وإلا 0. الأقل أفضل. 0 مثالي. و0.25 هي درجة من يجيب 50% في كل بند.
• Calibration summary: gap = mean confidence − accuracy, where confidence is max(p, 1−p) and an answer of exactly 50% counts as half right. Above +0.10: overconfident. Below −0.10: underconfident. Otherwise well-calibrated on this set. An all-50% run is labelled uninformative. With 10 items these bands are within normal luck, so they are a hint, not a verdict. The ±0.10 band is a QANTS choice, not an industry standard.
• ملخص المعايرة: الفجوة = متوسط الثقة − الدقة، والثقة هي max(p, 1−p) والإجابة 50% تماماً تُحسب نصف صحيحة. أعلى من +0.10: مفرط الثقة. أقل من −0.10: قليل الثقة. وإلا معاير جيداً على هذه المجموعة. والجولة التي كلها 50% تُسمّى غير مفيدة. مع 10 بنود هذه الحدود ضمن الصدفة المعتادة، فهي إشارة وليست حكماً. حدّ ±0.10 اختيار من QANTS وليس معياراً صناعياً.
• Comparison uses only real stored practice runs from other people. Until at least 5 such runs exist, the result says “not enough runs yet to compare” instead of a percentile. Our own test runs, and all-50% runs, are excluded.
• المقارنة تستخدم فقط جولات تمرين حقيقية مخزّنة من آخرين. إلى أن توجد 5 جولات على الأقل تقول النتيجة «لا توجد جولات كافية للمقارنة بعد» بدل نسبة مئوية. جولات اختباراتنا الداخلية والجولات كلها 50% مستثناة.
• Badge: Mizan calibration | Brier 0.18 · practice, linking to your public result page. Colour: green below 0.10, amber 0.10 to 0.25, red at 0.25 or above (not better than answering 50% everywhere).
• الشارة: Mizan calibration | Brier 0.18 · practice وتربط بصفحة نتيجتك العامة. اللون: أخضر تحت 0.10، كهرماني من 0.10 إلى 0.25، أحمر عند 0.25 أو أكثر (ليس أفضل من الإجابة 50% في كل بند).

Privacy and limits

الخصوصية والحدود

• No account, no key. A run stores your 10 probabilities, the scores and a timestamp under a random run id. No IP address is stored: the address is reduced to a salted hash that changes daily and is used only for rate limiting (60 question fetches and 20 submissions per hour per client). Result pages are public to anyone with the link and are not indexed by search engines.
• بلا حساب وبلا مفتاح. تُخزَّن في الجولة احتمالاتك العشرة والدرجات وطابع زمني تحت معرّف عشوائي. لا يُخزَّن أي عنوان IP: يُختزل العنوان إلى بصمة مملّحة تتغير يومياً وتُستخدم لتحديد المعدل فقط (60 جلباً للأسئلة و20 إرسالاً في الساعة لكل عميل). صفحات النتائج علنية لمن معه الرابط ولا تُفهرس في محركات البحث.
• Funnel numbers (questions fetched, runs submitted, badge views, result-page views) are public and real: /data/try_stats.json.
• أرقام القمع (الأسئلة المجلوبة، الجولات المرسلة، مشاهدات الشارة، مشاهدات صفحة النتيجة) علنية وحقيقية: /data/try_stats.json.
• Next: the open practice set, the weekly Calibration Check, and the API docs. Python urllib's default User-Agent is often blocked by the workers.dev bot filter; requests, fetch and curl work.
• التالي: مجموعة التمارين المفتوحة وفحص المعايرة الأسبوعي ووثائق الـAPI. ترويسة User-Agent الافتراضية في urllib كثيراً ما يحجبها فلتر workers.dev؛ أما requests وfetch وcurl فتعمل.