QANTS Labs · download · educational / مختبر QANTS · تنزيل · تعليمي
Agent Drift Watchمراقب انحراف الوكيل
Compare two agent versions' calibration on your own question set and flag a regression only when it is bigger than noise.
قارن معايرة نسختين من وكيلك على مجموعة أسئلتك أنت، ولا يُرفع تحذير تراجع إلا حين يتجاوز التغيّر الضجيج.
From $29 · one-timeمن 29$ · دفعة واحدة Digital download (zip)تنزيل رقمي (zip) English + Arabic guideدليل بالعربية والإنجليزية
Buy Standard · $29اشترِ Standard · 29$ See plansالخطط View on Whopعلى Whop
What you get
ماذا تحصل
- drift_watch.py: one Python file, standard library only
- Exit code for CI release gates (--fail-on-regression)
- 16 tests, synthetic two-version sample and report
- README, SPEC, HONEST_LIMITS, usage guide in English and Arabic; license file
- drift_watch.py: ملف بايثون واحد بالمكتبة القياسية فقط
- رمز خروج لبوابات الإصدار (--fail-on-regression)
- 16 اختباراً وعيّنة تركيبية لنسختين وتقرير
- README وSPEC وHONEST_LIMITS ودليل بالعربية والإنجليزية وملف الرخصة
Everything runs on your machine. Examples are synthetic and labelled. You receive a zip on Whop after payment.
كل شيء يعمل على جهازك. الأمثلة تركيبية ومعنونة. تستلم ملف zip على Whop بعد الدفع.
What it does
ماذا يفعل
Changed your agent's model, prompt or tools? Give it a CSV of your own questions with each version's confidence and whether it was right. It computes Brier score, the overconfidence gap (mean confidence minus accuracy) and how often each version declines trap questions that no one can answer, with bootstrap 95% intervals of the difference. It flags a regression only when the move passes a threshold and the interval excludes zero, and it gives no verdict below 40 answered items per side.
غيّرت نموذج وكيلك أو تعليماته أو أدواته؟ أعطه ملف CSV من أسئلتك مع ثقة كل نسخة وهل أصابت. يحسب درجة بريير وفجوة الثقة الزائدة (متوسط الثقة ناقص الدقة) وعدد مرات امتناع كل نسخة عن أسئلة الفخ التي لا جواب لها، مع فواصل ثقة 95% للفرق. لا يرفع تراجعاً إلا إذا تجاوز التغيّر العتبة واستبعد الفاصل الصفر، ولا يعطي حكماً دون 40 بنداً مجاباً لكل جانب.
Example output (synthetic data)
مثال على المخرجات (بيانات تركيبية)
loading…
Use
الاستخدام
python3 drift_watch.py compare data.csv --baseline v1 --candidate v2 --md report.md --fail-on-regression
One Python file, standard library only, no network; your data stays on your machine. Exit code 1 on a regression, so it can gate a release. 16 tests.
ملف بايثون واحد بالمكتبة القياسية فقط وبلا شبكة، وتبقى بياناتك على جهازك. رمز الخروج 1 عند التراجع فيصلح كبوابة إصدار. 16 اختباراً.
Honest limits
- A flag says the numbers moved beyond noise on your question set, not why.
- Thresholds (Brier +0.10, gap +0.16, n ≥ 40 per side) are QANTS proposals, not pre-registered.
- It does not measure honesty, usefulness or future performance. If your labels are wrong, the comparison is wrong.
حدود صريحة
- العلامة تقول إن الأرقام تحركت فوق الضجيج على مجموعة أسئلتك، لا لماذا.
- العتبات (بريير +0.10، الفجوة +0.16، n ≥ 40 لكل جانب) اقتراحات من QANTS وغير مسجّلة مسبقاً.
- لا يقيس الأمانة ولا الفائدة ولا الأداء المستقبلي. وإذا كانت تسمياتك خاطئة فالمقارنة خاطئة.
Pricing
الأسعار
| Plan / الخطة | Price / السعر | Licence / الترخيص | |
|---|---|---|---|
| Standard | $29 one-timeدفعة واحدة | One person, own use. Same zip in both plans.شخص واحد للاستخدام الخاص. الملف نفسه في الخطتين. | Buy $29اشترِ 29$ |
| Team | $79 one-timeدفعة واحدة | Up to 15 people in one organisation. Same zip in both plans.حتى 15 شخصاً في جهة واحدة. الملف نفسه في الخطتين. | Buy $79اشترِ 79$ |
Prices in USD, charged by Whop at checkout (taxes and card fees may apply). The licence file is inside the zip: no resale or redistribution. Payment, receipts and refunds are handled through Whop. The package is provided as is, with no support or uptime commitment. Prices are unvalidated hypotheses; see the pricing rationale.
الأسعار بالدولار، وتُحصَّل عبر Whop عند الدفع (قد تُضاف ضرائب ورسوم بطاقات). ملف الرخصة داخل الـzip: لا إعادة بيع ولا توزيع. الدفع والإيصالات والاسترداد عبر Whop. الحزمة كما هي بلا التزام بدعم أو جاهزية. الأسعار فرضيات غير مُختبرة؛ انظر أساس التسعير.
Educational. Not financial advice. Testnet only; tQNT has no cash value. Examples are synthetic.
تعليمي وليس نصيحة مالية. شبكة تجربة فقط، وtQNT بلا قيمة نقدية. الأمثلة تركيبية.