Gebruiksinformatie: de AI-beoordeling

Bedoeld om je te helpen kiezen welke uitwerkingen van je casus je leest, en om talenten feedback op hun werk te geven.

Niet bedoeld om:

• een score of advies te gebruiken als enige reden om iemand aan te nemen of af te wijzen;
• scores te vergelijken tussen verschillende casussen: elke casus heeft zijn eigen maatstaf;
• iets te zeggen over iemands persoonlijkheid of over meer dan deze ene uitwerking.

• Als de casus sluit, beoordeelt de AI alle ingeleverde uitwerkingen tegelijk, elk 2 keer los van elkaar. Tot dan kunnen talenten hun uitwerking aanpassen; de AI beoordeelt de laatste versie. Meestal staat het advies binnen een uur na de sluiting klaar; tot dan kies je nog niet. De AI meet hoe aannemelijk de uitwerking maakt dat hij jouw succescriteria haalt (de oplossingsscore): een plan kan de toekomst niet bewijzen, dus telt een onderbouwde schatting vanuit de beginsituatie, met de aannames erbij. Ook geeft hij per competentie een niveau volgens een vaste rubric, met een letterlijk citaat als bewijs.
• Tijdens het uitwerken reageert de AI één keer op de eerste versie van de oplossing van elk talent: wat werkt, wat mist of wringt, en welke vragen een beslisser zou stellen. Zonder cijfer of oordeel; het talent schrijft zelf wat het ermee doet. Kan de AI op dat moment niet reageren, dan mag die stap leeg blijven.
• Vlak voor het inleveren kan een talent de AI laten nakijken of de uitwerking behandelt wat je vraagt: wat het talent inlevert en elk van jouw succescriteria, en of het die voorrekent vanuit de beginsituatie, met de aannames erbij. Hooguit twee keer. De AI zegt alleen óf iets erin staat, niet hoe goed. Die uitkomst is alleen voor het talent: jij ziet hem niet, en hij telt niet mee in de beoordeling.
• Beantwoord je een vraag in de vragenronde, of vul je zelf iets aan, dan krijgt de AI dat mee als deel van het casuskader: bij de beoordeling alles wat er bij de sluiting stond, voor elke uitwerking hetzelfde, en ook bij de reactie en het nakijken. Zo oordeelt de AI met hetzelfde kader als de talenten hadden. Wie een vraag stelde, krijgt de AI nooit.
• De AI krijgt geen naam, e-mailadres, school of foto. Talenten wordt gevraagd hun naam, afkomst of geloof niet in hun uitwerking te zetten. De instructie aan de AI zegt dat wie iemand is nergens meetelt.

• Per uitwerking de kern, die het talent zelf schrijft: één of twee zinnen. Talenten mogen daarbij zelf AI gebruiken. De kern telt mee in de beoordeling.
• Per uitwerking ook een samenvatting in twee korte delen: wat het talent voorstelt, en waarom dat werkt. Die stelt de AI van TalentProof op; het talent past hem aan en keurt hem goed. Lukte dat de AI niet, dan schreef het talent hem zelf, of liet het hem leeg. Wie hem schreef, staat erbij. De samenvatting telt niet mee in de beoordeling. Lees hem als de pitch van het talent, niet als een oordeel: het werk zelf lees je nadat je de shortlist hebt vastgesteld.
• Per uitwerking een advies als band, bijvoorbeeld “plek 2–4”, in plaats van een cijfer. Een band laat zien hoe zeker de AI is: overlappen twee banden, dan kan de AI die uitwerkingen niet echt onderscheiden.
• Tot de uitslag definitief is geen namen, alleen “Uitwerking 1”, “Uitwerking 2”, enzovoort.
• In de volledige uitwerking ook de reactie van de AI op de eerste versie van de oplossing (de stap “De AI ernaast”), met daaronder wat het talent ermee deed. Lees hem als hulp voor het talent, niet als een oordeel over de uitwerking: dat oordeel is van jou.
• Geen competentiecijfers of -niveaus van de AI. De competenties van talenten beoordeel je zelf, met dezelfde rubric. Om je op weg te helpen staan bij een competentie soms een of meer passages die de AI erbij relevant vond: de alinea uit de uitwerking waarin het citaat van de AI staat, met het onderdeel waar die staat. Zonder oordeel: of een passage sterk of zwak is, bepaal jij.
• Na de definitieve uitslag, als het talent het invulde: hoe het zelf AI gebruikte bij de uitwerking. Dat is vrijwillig, telt niet mee en gaat niet naar de AI. Je leest het pas na de uitslag, zodat het je keuze niet kleurt.

• Twee beoordelingen van dezelfde tekst verschillen soms een beetje. Daarom werkt het advies met een marge: de halve spreiding tussen de rondes, en minstens 0,25 punt.
• Elk citaat van de AI wordt vergeleken met wat het talent echt schreef. Een citaat dat er niet in staat, telt niet als bewijs.
• Een biastest controleert of de AI anders oordeelt bij spelfouten, eenvoudig Nederlands, geslacht, herkomst, religie, leeftijd of een beperking. Spelling telt bewust alleen mee bij de competentie Communicatie. De laatste uitslag stuurt TalentProof op verzoek.
• De AI leest alleen geschreven tekst: hij ziet geen gesprek, geen ervaring en geen persoonlijkheid. Wie minder vlot schrijft, kan lager uitkomen bij Communicatie.
• Het advies is zo goed als je succescriteria en je beginsituatie: vage criteria, of een beginsituatie zonder cijfers, geven een vaag advies. De AI krijgt de beginsituatie mee als deel van het casuskader.
• Lukt de beoordeling van een uitwerking niet, dan zie je haar toch, zonder advies. Vindt TalentProof een ernstig probleem met de beoordeling, dan zetten we het advies voor iedereen uit (de noodrem). Je ziet dat op je casuspagina, en je kiest en rangschikt dan zonder advies verder.

• Kies zelf. Het advies is een startpunt. Je kiest zelf je shortlist, zoveel als je casus winnaars heeft; niets staat vooraf aangevinkt. Lees de uitwerkingen die je kiest helemaal.
• Beoordeel zelf. Beoordeel de competenties met de rubric, vóór de uitslag en zonder namen. Lees daarvoor de hele uitwerking, niet alleen de passages die de AI aanwijst.
• Beantwoord vragen op tijd, zonder de opdracht te veranderen. Tijdens de vragenronde stellen deelnemers vragen zonder naam. Antwoord binnen drie dagen; je antwoord geldt voor iedereen en gaat mee naar de AI. Verduidelijk, maar voeg geen nieuwe eisen of criteria toe: dan meet de AI de vroege inzendingen langs een andere lat dan de late.
• Laat het doen door wie het kan. Wie namens jouw bedrijf kiest en beoordeelt, kent de casus en weet wat deze AI wel en niet kan (deze pagina).
• Meld wat niet klopt. Zie je een advies dat nergens op slaat, of een patroon waarbij een groep steeds lager uitkomt, meld het dan bij TalentProof. Bij een ernstig incident melden wij het aan de toezichthouder.
• Informeer wie het raakt. TalentProof informeert talenten namens jou: in de privacyverklaring, de voorwaarden en bij het inleveren. Zet je een casus uit voor je eigen medewerkers, informeer die en je ondernemingsraad dan zelf vooraf.
• Uitleg op verzoek. Vraagt een talent uitleg over een besluit, stuur het verzoek dan door naar TalentProof; wij leveren de gegevens.