AimRank reitingų sistema · veikia app.aimrank.io
Preferencijos į vidų, kalibruoti reitingai į išorę, su prisegtais įrodymais
Palyginti du dalykus gali bet kas. AimRank paverčia tuos palyginimus reitingais, kurie atlaiko patikrą: reitingavimo varikliai, nešantys savo neapibrėžtį, vertintojų sutarimo statistika, pasikliautinieji intervalai ir duomenų kortelė, kuri pasako, kaip duomenų rinkinys sukurtas.
Šis produktas yra mūsų, ne kliento užsakymas. Mes jį valdome, nuo 2026 m. liepos jis viešas, o nemokamas planas apima visą produktą, išskyrus mašinai skaitomus eksportus. Agentai gauna 21 tik skaitymo įrankį per MCP be rakto ir be paskyros.
Nemokama registracija atvira. Be pakvietimo ir be pardavimo skambučio.
Ką jis daro
Dvi pusės, kurios maitina viena kitą. Viena renka preferencijas, kita jomis vertina AI sistemą.
Reitinguokite bet ką poromis
Tekstas, vaizdas, garsas ir vaizdo įrašas. Kiekvienas balsas yra vienas pasirinkimas A prieš B. Reitingus skaičiuoja šeši varikliai: Glicko-2 pagal nutylėjimą, o Elo, Bradley-Terry, TrueSkill, OpenSkill ir Elo-MMR pasirenkami kiekvienam reitingui atskirai. Plackett-Luce ir CrowdBT veikia kaip audito agregatoriai ir reitingų niekada nerašo.
Preferencijų duomenys, kuriais galima mokyti
Balsai pavirsta RLHF paruoštu preferencijų rinkiniu su kiekvieno įrašo kilme, tinkamu atlygio modelio ar preferencijų optimizavimo mokymui. Supakuotas eksportas yra vienintelis dalykas, kurio nemokamas planas nepasiekia.
Evalai jūsų pačių AI
Rinkiniai, užduotys ir vykdymai, vertinami kodo patikromis, LLM teisėju, žmogumi vertintoju su kappa įverčiu arba agento nueitu keliu. Patikimumas grįžta kaip pass^k su Wilson intervalu, šalia kainos ir vėlinimo, o ne kaip vienas laimingas vykdymas.
Įrašas, kurį perskaitys auditorius
Kiekvienas reitingas turi duomenų kortelę, vertintojų sutarimo skydelį ir maišos grandine susietą audito žurnalą, taip pat metodologijos duomenis, sudėliotus kaip Annex IV techninė dokumentacija. Neišmatuota rodoma kaip nežinoma, niekada kaip nulis.
Ką iš tikrųjų duoda nemokamas planas
Registracija atvira ir jokia mokėjimo siena netrukdo. Štai skaičiai, į kuriuos nemokama paskyra iš tikrųjų atsiremia.
Nemokama paskyra negali susikurti API rakto. Todėl 56 įrankių raktinis MCP taškas ir supakuotas RLHF eksportas lieka nepasiekiami, nes kiekvienas raktinis įrankis raktą priima kaip argumentą. Nieko daugiau už tos sienos nėra, o 21 tik skaitymo MCP įrankiui paskyros iš viso nereikia.
Prieinama agentams
Jis kalba MCP, ir 21 įrankiui rakto nereikia
Viešasis taškas bet kuriam agentui pateikia 21 tik skaitymo įrankį be API rakto ir be paskyros: naršyti katalogą, skaityti bet kurį viešą reitingą ir jo kokybės įrodymus, gauti porą palyginimui, gauti pergalės prognozę ir ją paaiškinantį atsakymą. Raktinis taškas pateikia 56 įrankius, kurie prideda balsavimą, reitingų kūrimą, evalų vykdymą ir eksportą. Privatūs reitingai viešajame taške atsako nerasta, o reitingas niekada nėra matomesnis už sritį, kurioje jis yra.
Įrankių skaičius yra 56 raktiniame ir 21 viešajame taške. Resources ir Prompts nėra įrankiai ir prie to skaičiaus nepridedami.
Statistika, įvardyta
Už kiekvieno platformos rodomo skaičiaus stovi metodas. Štai kuriuos ji naudoja.
Vertintojų sutarimas
Fleiss kappa, Scott pi ir Krippendorff alfa, kai vertintojų daug. Cohen kappa taip pat yra ir griežtai ribojama iki lygiai dviejų vertintojų, nes būtent tam ji ir apibrėžta.
Intervalai, o ne taškiniai įverčiai
Wilson 95% pasikliautinieji intervalai, todėl trys balsai su 100% negali apsimesti įrodymu. Persidengiantys intervalai rodomi kaip skirtumo įrodymų nebuvimas, o ne kaip lygybės įrodymas.
Kalibravimas, sąžiningumas ir dreifas
Brier įvertis ir tikėtina kalibravimo paklaida prognozuojamai pergalės tikimybei, keturių penktadalių taisyklė vertintojų segmentams ir PSI bei KS dreifo stebėjimas.
Komplementarumas
Ar žmogus ir modelis kartu pranoksta bet kurį iš jų atskirai. Sutarimo statistika to atsakyti negali: modelis, tobulai atkartojantis žmogų, gauna tobulą kappa ir komandai neprideda nieko.
pass^k
Agento patikimumas kaip tikimybė, kad visi k nepriklausomų vykdymų praeina, su Wilson intervalu, rodomu šalia kainos ir p95 vėlinimo, kad patikimumo skaičius negalėtų paslėpti regresijos.
Įrašas, kurio klastotė matoma
Audito žurnalas susietas maišos grandine. Pakeitus eilutę grandinė nutrūksta, ir patikra tai pasako.
Kur jis veikia
Platforma veikia OVHcloud Vokietijoje (DE1). LLM teisėjas veikia OVH AI Endpoints, modelis Qwen3.5-397B-A17B, todėl vertinamas palyginimas lieka ES viduje. Suverenumas čia yra numatytoji būsena, o ne priedas, kurį perkate.
Prieš registruojantis
Perskaitykite tai pirma. Abiem pigiau.
- Viešame kataloge yra trys demo reitingai Jie pavadinti Demo, o jų pačių aprašymai sako, kad balsai buvo suvesti formatui parodyti, o ne atiduoti tikrų žmonių. Produktas veikia. Katalogas lieka sąžiningai plonas tol, kol jame atsiras kas nors, dėl ko verta ginčytis.
- Mokami planai dar neatidaryti Programos kainodaros puslapis tai pasako savo žodžiais. Nemokamas planas yra tai, ką galite turėti šiandien, ir jis sąmoningai dosnus. Jei eksporto ar raktinio taško reikia dabar, parašykite mums.
- Duomenų kortelė yra apibendrinta Ji aprašo visą duomenų rinkinį ir nėra kriptografiškai pasirašyta. Kiekvieno įrašo kilmė yra RLHF eksporte, ne kortelėje.
- Tik el. paštas ir slaptažodis Google ar GitHub prisijungimo nėra, taip pat nėra tiesioginio balsų srauto.
Eikite ir naudokite
Be pakvietimo ir be pardavimo skambučio. Naršykite be paskyros, balsuokite be paskyros arba nemokamai užsiregistruokite ir susikurkite savo reitingą.
Reikia supakuoto eksporto ar raktinio taško dabar? Parašykite mums.