Forscher in den Vereinigten Staaten führten eine gründliche Bewertung der Fähigkeit von ChatGPT durch, Programmierfragen zu beantworten und Codebeispiele bereitzustellen. Die Leistung des KI-Chatbots wurde jedoch als enttäuschend eingestuft und blieb hinter den Erwartungen zurück.
Forscher an der Purdue University haben festgestellt, dass der generative KI-Chatbot ChatGPT von OpenAI Grenzen als Antwortgeber für Programmierfragen hat. Während der Tests lieferte das Tool eine signifikante Anzahl von falschen Ergebnissen, insbesondere bei der Verwendung von Stack Overflow. Dies unterstreicht die Bedeutung von Vorsicht beim Verlassen auf ChatGPT für Codefragmente in Softwareprojekten.
Die Ergebnisse der Testreihe sind entmutigend, da der Chatbot weniger als die Hälfte der Fragen korrekt beantwortet hat und nur 48 Prozent erzielt hat. Darüber hinaus wiesen erstaunliche 78 Prozent der Antworten des Chatbots im Vergleich zu menschlichen Antworten auf verschiedenen Ebenen Inkonsistenzen auf. Die Antworten des Chatbots waren jedoch durch einen formaleren und analytischeren Ton gekennzeichnet, mit einer geringeren negativen Stimmung. Bemerkenswerterweise stimmten nur etwa ein Fünftel der Ergebnisse (22 Prozent) mit den Antworten überein, die von Menschen gegeben wurden.
ChatGPT zeichnet sich durch seine Verständlichkeit aus und hat eine beeindruckende Verständlichkeitsbewertung von 65 Prozent. Die bereitgestellten Antworten sind mühelos lesbar. Allerdings liegt das anhaltende Problem in dem Überschuss an irrelevanten Informationen, die geliefert werden.
Vergleiche Stack Overflow mit einem Stapel, der überläuft
Stack Overflow hat einige ermutigende Nachrichten. Im Jahr 2018 wurde es wegen der Bereitstellung von ungenauen Code-Schnipseln in etwa 15 Prozent von 1,3 Millionen Android-Apps kritisiert. Eine kürzlich durchgeführte Studie ergab jedoch, dass 60 Prozent der Befragten die Antworten, die vermutlich von Menschen geschrieben wurden, als genauer, prägnanter und hilfreicher empfanden. Dies unterstreicht die Bedeutung von zuverlässigen und wertvollen Informationen auf der Plattform.
However, there has been a noticeable decrease in the usage of Stack Overflow, although the exact scale of this decline is a subject of debate. According to a report by SimilarWeb in April, website traffic has been consistently declining by six percent each month since January 2022, with a significant drop of 13.9 percent in March. Interestingly, the report also suggested that the growing popularity of ChatGPT may be playing a role in contributing to this decline.
Miteder der Stack Exchange Community, zu der Q&A-Websites wie Stack Overflow gehören, scheinen zu einem ähnlichen Konsens gekommen zu sein. Dies ist an einem Rückgang der Anzahl neuer Fragen, Antworten und Benutzerregistrierungen auf der Plattform erkennbar.