AimRank Ranking System · darbojas vietnē app.aimrank.io
Preferences iekšā, kalibrēti reitingi ārā, ar pievienotiem pierādījumiem
Salīdzināt divas lietas var jebkurš. AimRank šos salīdzinājumus pārvērš reitingos, kas iztur: reitingu dzinēji, kas nes savu nenoteiktību, saskaņas statistika starp vērtētājiem, ticamības intervāli un datu karte, kas pasaka, kā datu kopa tapusi.
Šis ir mūsu pašu, ne klienta izstrāde. Mēs to darbinām, tas ir publisks kopš 2026. gada jūlija, un bezmaksas līmenis ir viss produkts, izņemot komplektēto eksportu un MCP galapunktu ar atslēgu. Maksas plāni vēl nav atvērti. Aģenti saņem 21 tikai lasāmu rīku caur MCP bez atslēgas un bez konta.
Bezmaksas reģistrācija ir atvērta. Bez ielūguma, bez pārdošanas sarunas.
Ko tas dara
Divas puses, kas baro viena otru. Viena vāc preferences, otra tās izmanto, lai novērtētu AI sistēmu.
Ranžējiet jebko, pa pāriem
Teksts, attēls, audio un video. Katrs balsojums ir viena izvēle A pret B. Reitingus rēķina seši dzinēji: Glicko-2 pēc noklusējuma, ar Elo, Bradley-Terry, TrueSkill, OpenSkill un Elo-MMR, izvēlamiem katram reitingam. Plackett-Luce un CrowdBT darbojas kā bezsaistes audita agregatori un nekad neraksta reitingus.
Preferenču dati, uz kuriem var trenēt
Balsojumi iznāk kā RLHF gatava preferenču datu kopa ar izcelsmi katram paraugam, gatava atlīdzības modeļa vai preferenču optimizācijas trenēšanai. Komplektētais eksports ir ārpus bezmaksas līmeņa, līdzās MCP galapunktam ar atslēgu, un maksas plāni vēl nav atvērti.
Novērtējumi jūsu pašu AI
Komplekti, uzdevumi un gājieni, vērtēti ar koda pārbaudēm, LLM tiesnesi, cilvēku pārskatītāju ar kappa rādītāju vai aģenta izvēlēto trajektoriju. Uzticamība atgriežas kā pass^k ar Vilsona intervālu, blakus izmaksām un latentumam, ne kā viens veiksmīgs gājiens.
Ieraksts, ko auditors var izlasīt
Katrs reitings nes datu karti, vērtētāju saskaņas paneli un ar jaucējfunkciju ķēdi saistītu audita žurnālu, kā arī metodoloģijas kravu IV pielikuma tehniskās dokumentācijas formā. Neinstrumentētais tiek ziņots kā nezināms, nekad kā nulle.
Ko bezmaksas līmenis patiesi dod
Reģistrācija ir atvērta, un ceļā nav maksas sienas. Šie ir skaitļi, ko bezmaksas konts patiesi sasniedz.
Bezmaksas konts nevar izveidot API atslēgu. Tas padara nepieejamu 56 rīku MCP galapunktu ar atslēgu un komplektēto RLHF eksportu, jo katrs rīks ar atslēgu to saņem kā argumentu. Nekas cits šajā lapā nav aiz tās, un 21 tikai lasāmajam MCP rīkam konts nemaz nav vajadzīgs. Maksas plāni vēl nav atvērti, tāpēc, ja kādu no tiem vajag tagad, sazinieties ar mums.
Lietojams aģentiem
Tas runā MCP, un 21 rīkam atslēga nav vajadzīga
Publiskais galapunkts jebkuram aģentam bez API atslēgas un bez konta sniedz 21 tikai lasāmu rīku: pārlūkot katalogu, lasīt jebkuru publisku reitingu un tā kvalitātes pierādījumus, paņemt pāra salīdzinājumu, saņemt uzvaras prognozi un tās skaidrojumu. Galapunkts ar atslēgu sniedz 56, kas pievieno balsošanu, reitingu veidošanu, novērtējumu gājienus un eksportu. Privāti reitingi publiskajā galapunktā atgriežas kā neatrasti, un reitings nekad nav redzamāks par domēnu, kurā tas atrodas.
Rīku skaits ir 56 ar atslēgu un 21 publisks. Resursi un uzvednes nav rīki un tam netiek pieskaitīti.
Statistika, nosaukta vārdā
Katram skaitlim, ko platforma izdrukā, aiz tā ir metode. Šīs ir tās, ko tā darbina.
Saskaņa starp vērtētājiem
Fleisa kappa, Skota pi un Krippendorfa alfa, kad vērtētāju ir daudz. Koena kappa arī ir, un tā ir ierobežota tieši diviem vērtētājiem, kam tā ir definēta.
Intervāli, ne punkta novērtējumi
Vilsona 95% ticamības intervāli biežumiem, lai trīs balsojumi ar 100% nevarētu izlikties par pierādītu. Pārklājošies intervāli tiek ziņoti kā atšķirības pierādījumu trūkums, ne kā vienādības pierādījums.
Kalibrācija, taisnīgums un novirze
Brier rādītājs un gaidāmā kalibrācijas kļūda prognozētajai uzvaras varbūtībai, četru piektdaļu nevienlīdzīgās ietekmes pārbaude starp vērtētāju segmentiem un PSI un KS novirzes uzraudzība.
Komplementaritāte
Vai cilvēks un modelis kopā pārspēj katru atsevišķi. Saskaņas statistika uz to atbildēt nevar: modelis, kas perfekti atkārto cilvēku, saņem perfektu kappa un komandai nepievieno neko.
pass^k
Aģenta uzticamība kā iespēja, ka k neatkarīgi gājieni visi izturēs, ar Vilsona intervālu, ziņota blakus izmaksām un p95 latentumam, lai uzticamības skaitlis nevarētu slēpt regresiju.
Pret viltojumiem aizsargāts ieraksts
Audita žurnāls ir saistīts ar jaucējfunkciju ķēdi. Izmainiet rindu, un ķēde pārtrūkst, un pārbaude to pasaka.
Kur tas darbojas
Platforma darbojas OVHcloud Vācijā (DE1). LLM tiesnesis darbojas OVH AI Endpoints, modelis Qwen3.5-397B-A17B, tāpēc tiesāts salīdzinājums paliek ES. Suverenitāte šeit ir noklusējums, ne papildinājums, ko pērkat.
Pirms reģistrējaties
Vispirms izlasiet šo. Tā ir lētāk mums abiem.
- Publiskais katalogs ir trīs demo reitingi Tie nosaukti Demo, un to pašu apraksti saka, ka balsojumi tika iesēti formāta parādīšanai, ne doti reālu cilvēku. Produkts darbojas. Katalogs paliek godīgs un plāns, līdz tajā būs kaut kas, par ko vērts strīdēties.
- Maksas plāni vēl nav atvērti Lietotnes cenu lapa to saka pati saviem vārdiem. Bezmaksas līmenis ir tas, ko varat saņemt šodien, un tas ir apzināti dāsns. Ja komplektēto eksportu vai galapunktu ar atslēgu vajag tagad, sazinieties ar mums.
- Datu karte ir apkopota Tā apraksta datu kopu kopumā un nav kriptogrāfiski parakstīta. Izcelsme katram paraugam dzīvo RLHF eksportā, ne kartē.
- Tikai e-pasts un parole Nav Google vai GitHub pieslēgšanās, un nav dzīvas balsojumu plūsmas.
Ejiet un lietojiet
Bez ielūguma un bez pārdošanas sarunas. Pārlūkojiet bez konta, balsojiet bez konta vai reģistrējieties bez maksas un veidojiet savu reitingu.
Vajag komplektēto eksportu vai galapunktu ar atslēgu tagad? Sazinieties ar mums.