Revisorsexamen knäckte ChatGPT

ChatGPT, AI-chatboten som har tagit världen med storm, har lyckats få godkänt resultat på en rad olika prov, exempelvis MBA-examen på ansedda Wharton School och amerikansk så kallad Bar Exam inom juridik. Men när branschtidningen Accounting Today lät ChatGPT sätta tänderna i det amerikanska revisorsprovet CPA Exam misslyckades boten. Experimentet ägde rum på Accounting Todays redaktion i New York den 13 april och gjordes i samarbete med utbildningsföretaget Surgent. CPA-provet har fyra sektioner, nedan listas andelen godkända svar för AI-boten.

Regulation (REG): 39%
Auditing and Attestation (AUD): 46%
Financial Accounting and Reporting (FAR): 35%
Business Environment and Concepts (BEC): 48%

Testat visar att ChatGPT misslyckades på samtliga delar av CPA-provet. Vad som är godkänt resultat på de olika delarna varierar men gränsen för godkänt brukar ligga kring 50 procent. Jack Castonguay, vice vd för innehållsutveckling på Surgent Accounting & Financial Education, deltog i experimentet och är förvånad över att AI-boten inte lyckades bättre, särskilt på matematiktunga delprovet FAR. Han tror att ChatGPT kan ha svårt för redovisning och revison eftersom det inte bara handlar om kunskap. Det gäller att dra rätt slutsatser också.

“Om jag ska räkna ut något ur ekonomisk synvinkel eller skattesynvinkel kan jag läsa Internal Revenue Code, eller dra fram FASB-kodifieringen. Men CPA-provet handlar mycket om tolkning och där misslyckades ChatGPT kapitalt”, säger Jack Castonguay till Accounting Today.

“När du läser rapporterna om (hur ChatGPT klarade) Bar Exam är det tydligt att boten är bra på att redogöra för vad lagen säger, men när den faktiskt behöver tillämpa lagen blir saker och ting svårare”, fortsätter Castonguay. När ChatGPT klarade Bar Exam hade den tillgång till hundratals år av rättspraxis (domar), medan det finns väsentligt mindre öppet källmaterial om revision.

Wes Bricker, som arbetar på PwC i USA, är inte förvånad över resultatet. När det gäller botens svaga resultat i delprovet FAR pekar Bricker på att ChatGPT är en AI utvecklad för språk snarare än matematik. Han anser att CPA-examen inte bara handlar om kunskap inom redovisning. Provet kräver även professionellt omdöme och erfarenhet, vilket ChatGPT saknar.