Een team van professoren en ervaren advocaten kozen vijf non-disclosure agreements (NDA’s) uit het Enron corpus, een grote hoeveelheid documenten die openbaar beschikbaar zijn geworden na het Enron-schandaal. De experts signaleerden dertig kwesties die doorgaans voorkomen in een standaard NDA.
Twintig advocaten werd gevraagd de geheimhoudingsverklaringen te doorlopen zoals zij dat ook in hun dagelijkse werk doen. Deelnemers aan het onderzoek waren bedrijfsjuristen, eenpitters en advocaten bij grote internationale kantoren en bedrijven. Ze schreven hun uren en kregen een compensatie alsof het onderzoek een betaalde opdracht betrof.
Via een dropdownmenu werd de deelnemers gevraagd de juiste kwestie te identificeren en te vermelden waar in elk van de vijf contracten die zich voordeed. De advocaten kregen vier uur de tijd om alle vijf NDA’s te doorlopen. De grootte van de stukken varieerde van een tot vijf pagina’s.
Man vs Machine
Gemiddeld hadden de advocaten 92 minuten nodig om alle vijf NDA’s te beoordelen. De AI-oplossing van LawGeex deed de review daarentegen in 26 seconden. Ook bleek het algoritme beter in staat kwesties te spotten dan de ervaren advocaten. Gemiddeld had de software 94 procent van de issues correct gedetecteerd. De advocaten bleven gemiddeld steken op 85 procent.
LawGeex liet het onderzoek uitvoeren onder auspciën van advocaat en consultant Christopher Ray. De startup heeft de software sinds de oprichting in 2015 tienduizenden NDA’s laten reviewen, daarbij gebruikmakend van machine learning- en deep learning- technologie.
Het is niet voor het eerst dat mensen en AI tegen elkaar strijden op juridisch gebied. Eerder zijn er ‘Man vs Machine’-wedstrijden geweest, waarbij deelnemers en software bijvoorbeeld uitspraken moesten voorspellen. Volgens LawGeex is het wel voor het eerst dat advocaten, ervaren op het onderzochte rechtsgebied, exact dezelfde taken uitvoeren.
