ChatGPT to kłamczuch. Na testach wymyślał własne "fakty" żeby zdobyć lepszy wynik

ChatGPT kłamał na egzaminach z rachunkowości

ChatGPT od debiutu w listopadzie 2022 r. stał się najszybciej rozwijającą się platformą technologiczną w historii, osiągając 100 milionów użytkowników w mniej niż dwa miesiące. Naukowcy z Uniwersytetu Brighama Younga (BYU) oraz 186 innych uczelni postanowili sprawdzić, jak ChatGPT wypada na egzaminach z rachunkowości.

Chociaż wydajność sztucznej inteligencji chatbota była imponująca, uczniowie radzili sobie od niego lepiej.

Studenci uzyskali ogólną średnią 76,7%, w porównaniu z wynikiem ChatGPT wynoszącym 47,4%.

W 11,3% przypadków, ChatGPT osiągnął wynik lepszy niż średnia uczniów, zwłaszcza w zakresie systemów informacji księgowej (AIS) i audytu. Największe problemy chatbot miał w zakresie ocen podatkowych, finansowych i zarządczych.

ChatGPT wykorzystuje uczenie maszynowe do generowania tekstu w języku naturalnym i nie idzie mu to najlepiej na testach. W pytaniach z krótką odpowiedzią udzielił od 28,7% do 39,1% poprawnych odpowiedzi. Znacznie lepiej radził sobie z pytaniami typu prawda/fałsz (68,7% poprawnych odpowiedzi) oraz pytaniami wielokrotnego wyboru (59,5% poprawnych odpowiedzi).

Naukowcy w przeprowadzonym badaniu odkryli ciekawostkę na temat sztucznej inteligencji zastosowanej w chatbocie. Okazuje się, że ChatGPT to kłamczuch — często wymyśla wyjaśnienia swoich odpowiedzi, nawet jeśli są one niepoprawne. Ponadto ChatGPT czasami tworzy własne „fakty” na poparcie swojej tezy. Na przykład, dostarczając referencję do swoich odpowiedzi, generuje realnie wyglądające dane, które są całkowicie sfabrykowane.

8 zdjęć