Kontrollo burimet e AI-së para se të dalë

Në këtë numër

Një mjet AI shkruan në pak sekonda një tekst të rrjedhshëm, me emra, data dhe burime që duken në rregull. Disa prej tyre nuk janë. Kur ai tekst del me emrin e ekipit, ekipi përgjigjet për të. Ky numër pyet sa shpesh burimet janë të gabuara, në cilat mënyra, dhe çfarë duhet të mbulojë kontrolli para dërgimit.

Një gjykatë në Nju Jork sanksionoi avokatë që në dokumentin e tyre citonin gjashtë vendime që nuk ekzistojnë. Në 84 tekste të shkruara më 2023, 55% e referencave të GPT-3.5 dhe 18% e atyre të GPT-4 ishin të shpikura, dhe shumë të vërteta kishin numra të gabuar. Mjetet ligjore të ndërtuara mbi bazat e tyre të të dhënave dhanë prapë përgjigje të rreme ose me burim të gabuar për 17% deri në 33% të pyetjeve të vështira. Gjashtë pyetje për çdo burim dhe një kartë e mbyllin numrin.

Stiven Janaqi, Redaktor

Tema kryesore

Gjashtë raste që s'kanë qenë kurrë

Një pasagjer paditi një linjë ajrore për një lëndim në gju nga një karrocë shërbimi. Kundër një kërkese për rrëzimin e padisë, avokatët e tij cituan vendime gjykatash që i kishte prodhuar ChatGPT. Avokati që nënshkroi nuk kishte lexuar asnjë prej tyre; e kishte parë tekstin vetëm për stilin.

• 1 mars Dokumenti me vendimet shkon në gjykatë.
• 15 mars Avokatët e linjës ajrore shkruajnë se nuk i gjejnë shumicën e rasteve. Askush nuk e tërheq dokumentin.
• Prill Gjykata urdhëron kopje; avokatët dorëzojnë fragmente dhe thonë se një rast nuk gjendet.
• 25 maj Pranimi i parë se rastet i prodhoi ChatGPT.
• 22 qershor Sanksionet: 5.000 dollarë, dhe letra për klientin dhe për çdo gjyqtar të përmendur si autor i një vendimi të rremë.

E pyetur “A është Varghese një rast i vërtetë”, chatbot-i tha që ishte dhe që gjendej në bazat e të dhënave ligjore. Gjykata peshoi më shumë qëndrimin pas rasteve të rreme pas paralajmërimeve se gabimin e parë.

Leximi ynë

Ta pyesësh mjetin nëse burimi i tij është i vërtetë nuk është kontroll. Kontroll është ta hapësh burimin.

Nga vendimi i Gjykatës Federale të Distriktit Jugor të Nju Jorkut, 22 qershor 2023, lexuar i plotë; të gjitha datat janë të 2023-s. Avokatët nuk përmenden me emër këtu. Gjykata gjeti keqbesim, dhe gjeti se edhe rastet e vërteta të cituara kryesisht nuk e mbështetnin argumentin.

Burimi: United States District Court for the Southern District of New York, 2023

Shifrat

636 referenca, të kontrolluara një nga një

Në prill 2023, William Walters dhe Esther Isabelle Wilder i vunë GPT-3.5 dhe GPT-4 të shkruanin përmbledhje të shkurtra literature me burime për 42 tema, nga cigaret elektronike te Brexit-i, pastaj kërkuan secilën nga 636 veprat e cituara.

Vepra të cituara që nuk ekzistojnë, sipas llojit, 84 përmbledhje (2023): Të gjitha veprat: GPT-3.5 55%, GPT-4 18%; Artikuj në revista: GPT-3.5 73%, GPT-4 18%; Kapituj librash: GPT-3.5 70%, GPT-4 70%; Libra: GPT-3.5 23%, GPT-4 8%.

Nga veprat që ekzistojnë, 43% (GPT-3.5) dhe 24% (GPT-4) u cituan me një gabim thelbësor, më shpesh te numrat: viti i gabuar në 22% dhe 16%, vëllimi, numri ose faqet të gabuara në 34% dhe 13% të artikujve dhe kapitujve. Pesë përmbledhje u paraqitën si studime, me metoda dhe rezultate të sajuara.

Leximi ynë

Një model më i ri shpiku më pak burime, jo zero. Numrat e një reference janë pjesa që kontrollohet shifër për shifër.

Walters & Wilder (2023), lexuar i plotë: pjesë nga 222 (GPT-3.5) dhe 414 (GPT-4) vepra të cituara; një vepër u numërua e vërtetë nëse titulli dhe autorët përputheshin ose gati përputheshin. Provë e versioneve të 2023-s, jo e mjeteve të sotme.

Burimi: William H. Walters & Esther Isabelle Wilder, Scientific Reports 13, 2023

Modeli

I gabuar, apo me burim të gabuar

Varun Magesh, Daniel Ho dhe kolegët në Stanford dhe Yale e gjykojnë një përgjigje të AI-së për dy gjëra: a është e saktë, dhe a e mbështetin burimet e saj? Një rast i shpikur është dështimi që duket. Një rast i vërtetë i cituar për diçka që nuk e thotë shihet më vështirë.

Halucinacion

• E pasaktë: çdo pohim i rremë
• Me burim të gabuar: cituar një burim që nuk e mbështet pohimin

E paplotë

• Refuzim: pa përgjigje, ose një e palidhur
• Pa burim: e saktë, por pohimet kryesore s'kanë burim

E pyetur për vendimet e shquara të gjyqtarit Luther A. Wilgarten, një gjyqtar që nuk ka ekzistuar kurrë, një mjet ktheu një rast të vërtetë të një gjyqtari tjetër. Citimi ishte i vërtetë; përgjigjja ishte e rreme. Autorët i quajnë këto gabime potencialisht më të rrezikshme se një rast i shpikur, “sepse janë më delikate dhe më të vështira për t'u vënë re”.

Leximi ynë

Që burimi ekziston është kontrolli i parë, jo i fundit. I dyti është nëse thotë atë që pohon teksti.

Përkufizimet nga Magesh et al. (parapublikim, 2024). Përgjigjet pjesërisht të sakta numërohen të sakta; burimi gjykohet vetëm te përgjigjet e sakta. Dy kolonat janë etiketat e autorëve; fjalët janë të redaksisë.

Burimi: Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning & Daniel E. Ho, preprint arXiv:2405.20362 (published 2025 in the Journal of Empirical Legal Studies 22(2)), 2024

Çfarë thotë kërkimi

Të ndërtuara për ligjin, prapë gabim

Shitësit thoshin se mjetet e tyre të kërkimit ligjor, që përgjigjen nga bazat e veta të të dhënave, i shmangin ose i zhdukin halucinacionet. Në pranverën e 2024-s, i njëjti ekip u bëri 202 pyetje të vështira ligjore, të regjistruara para provës, tri mjeteve të tilla dhe GPT-4, dhe kontrolloi me dorë çdo përgjigje.

Përgjigje me halucinacion, pjesë e të gjitha përgjigjeve për 202 pyetje (2024): Lexis+ AI 17%, Ask Practical Law AI 17%, Westlaw AI-Assisted Research 33%, GPT-4, pa bazë të dhënash 43%.

Mjeti më i mirë u përgjigj saktë dhe me burime të vlefshme në 65%; një tjetër la 63% të paplota. Mjeti i Westlaw-it, me më shumë gabime nga të tre, shkroi edhe përgjigjet më të gjata, mesatarisht 350 fjalë kundrejt 219 dhe 175: më shumë pohime, dhe më shumë për të kontrolluar. Përfundimi i autorëve: përdoruesit “duhet të vazhdojnë të verifikojnë që pohimet kryesore mbështeten saktë nga citimet”.

Leximi ynë

Përgjigjja nga një bazë të dhënash i uli gabimet kundrejt një chatbot-i të përgjithshëm. Nuk e hoqi nevojën për ta lexuar burimin.

Magesh et al., parapublikimi u lexua i plotë; versioni i revistës (2025) nuk u lexua. Pyetjet u zgjodhën të vështira, prandaj pjesët nuk janë norma për përdorimin e përditshëm; mjetet ndryshojnë me kohën. Përdoret grafiku i përditësuar i autorëve.

Burimi: Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning & Daniel E. Ho, preprint arXiv:2405.20362 (published 2025 in the Journal of Empirical Legal Studies 22(2)), 2024

Si matet

Hape çdo burim

Magesh dhe kolegët e përshkruajnë çfarë kërkon kontrolli: të hapësh burimin, ta lexosh, të gjykosh autoritetin e tij, ta krahasosh me pohimin. Gjashtë pyetje e kthejnë këtë në një numërim që një ekip mund ta mbajë për çdo tekst të shkruar me AI.

• Ekziston. burimi hapet; fjala e mjetit që ekziston nuk vlen
• E thotë. pasazhi e mbështet pohimin, me zërin e autorit, jo të një pale
• Vlen ende. nuk është rrëzuar, zëvendësuar ose vjetruar
• Vlen këtu. vendi, periudha dhe rasti i duhur
• Numrat përputhen. vitet, faqet dhe shifrat me origjinalin
• Është shënuar. çfarë kontrolloi një person, veç asaj që u gjenerua

Leximi ynë

Numëro pohimet e kontrolluara me një burim të hapur, jo minutat e shpenzuara. Një draft i shkurtër i kontrolluar plotësisht vlen më shumë se një i gjatë i shfletuar.

Pyetjet mbështeten te llojet e gabimeve të studimit ligjor, te gjetja e Walters & Wilder se më shpesh gabohen numrat, dhe te vendimi i gjykatës; përzgjedhja është e redaksisë. AI në punë është te Nr. 10, 51 dhe 86; besimi te sinjalet automatike te vëllimi 3 i traktatit.

Burimet: Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning & Daniel E. Ho, preprint arXiv:2405.20362 (published 2025 in the Journal of Empirical Legal Studies 22(2)), 2024; William H. Walters & Esther Isabelle Wilder, Scientific Reports 13, 2023; United States District Court for the Southern District of New York, 2023

Mjeti i numrit

Karta e kontrollit para dërgimit

Një kartë për çdo tekst që del nga ekipi me ndihmën e një makine: një raport, një përmbledhje, një letër. Mjeti Ops Report e shkruan raportin e periudhës nga regjistrat e vetë ekipit; karta është hapi mes draftit dhe dërgimit.

1. Çfarë del, te kush teksti, lexuesi, vendimi që do të ushqejë
2. Pohimet që mbështeten te një burim sa janë; secili kontrollohet, nuk merret nga mjeti
3. Burime të hapura dhe të lexuara n nga N; ai që nuk hapet e lë pohimin pa burim
4. Numrat të kontrolluar me origjinalin data, shuma, versione, faqe
5. Shtuar nga mjeti emra, orë ose një “zgjidhur” që nuk ishin te shënimet
6. Kontrolluar nga, dhe kur një emër; kush nënshkruan e ka lexuar

Karta është propozim i redaksisë, jo instrument i testuar; mbështetet te tri burimet dhe te eseja e lidhur, që tregon rregullin e vetë autorit për tekstet e shkruara me AI. Mbaji të dhënat personale dhe konfidenciale jashtë mjeteve që nuk janë miratuar.

Burimet: Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning & Daniel E. Ho, preprint arXiv:2405.20362 (published 2025 in the Journal of Empirical Legal Studies 22(2)), 2024; William H. Walters & Esther Isabelle Wilder, Scientific Reports 13, 2023; United States District Court for the Southern District of New York, 2023

Më shumë te eseja: Raporti që e shkroi një makinë

Hape mjetin: Raporti i operacioneve

Burimet dhe metoda

Çdo shifër ka një burim.

Shifrat e këtij numri vijnë nga burimet më poshtë. Viti tregon sa e re është secila.

• United States District Court for the Southern District of New York, “Mata v. Avianca, Inc., No. 22-cv-1461 (PKC): Opinion and Order on Sanctions”, 2023. https://storage.courtlistener.com/recap/gov.uscourts.nysd.575368/gov.uscourts.nysd.575368.54.0.pdf
• William H. Walters & Esther Isabelle Wilder, Scientific Reports 13, “Fabrication and errors in the bibliographic citations generated by ChatGPT”, 2023. https://doi.org/10.1038/s41598-023-41032-5
• Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning & Daniel E. Ho, preprint arXiv:2405.20362 (published 2025 in the Journal of Empirical Legal Studies 22(2)), “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools”, 2024. https://arxiv.org/abs/2405.20362

Metoda editoriale

Çdo shifër u kontrollua për vitin, botuesin dhe çfarë mat, te teksti i plotë kur u hap. Burimi i lexuar vetëm te një përmbledhje, një abstrakt ose copa shënohet me “përmes”. Shifra që nuk u konfirmua te ajo që u lexua shënohet si e tillë në faqen e vet, ose lihet jashtë. Interpretimi i redaktorit shënohet “Leximi ynë”.

Redaktuar nga Stiven Janaqi, që përgjigjet për të; “redaksia” në këtë botim është ai. Tekstet, përkthimet, faqosja dhe kontrolli i shifrave te burimet e tyre bëhen në seanca pune me Claude, një model AI i Anthropic. Si bëhet kjo faqe