Experten sind mit dem Konzept des „katastrophisches Vergessen“ vertraut. Dieses Phänomen tritt auf, wenn KI-Systeme kürzlich gelernten Elementen mehr Gewicht geben und dadurch das zuvor erworbene Wissen überlagern. Als Folge können die Einführung neuer Elemente in einem Kontext zu unvorhergesehenen Ergebnissen in einem anderen führen.
Eine kürzlich durchgeführte wissenschaftliche Studie zeigt die explizite Auswirkung dieses Phänomens auf OpenAI’s beliebte ChatGPT-Systeme. Mit dem Titel „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?“ untersucht die von Forschern der Stanford University und UC Berkeley durchgeführte Studie die sich entwickelnden Antworten verschiedener KI-Generationen. Die Wissenschaftler verglichen die gestellten Fragen im März und Juni mit OpenAI’s GPT-Systemen. Anfangs zeigte Chat GPT-4 eine höhere Zuverlässigkeit, aber das System hat kürzlich zunehmende Fehler aufgewiesen. Ähnlich verzeichnete das frei zugängliche GPT-3.5-System eine verringerte Zuverlässigkeit, wenn auch nicht in demselben Ausmaß wie sein Nachfolger.
However, the AI system that has garnered the greatest success thus far and is now widely adopted by numerous companies in Germany has exhibited significant deterioration in several scrutinized areas. Furthermore, during the month of June, GPT-4 displayed a diminished inclination to address sensitive inquiries.
The potential for degradations exists as unintended consequences of optimizations implemented by OpenAI. However, it is crucial to bear in mind that these security measures might affect the overall usefulness of ChatGPT for various tasks.
Scientists have made a fascinating discovery: language models can undergo significant behavioral changes in a remarkably short time. OpenAI has faced criticism for its lack of transparency in this regard. While ChatGPT has enjoyed its status as the preferred choice, companies are now exploring alternative options. For instance, Meta’s Llama 2 model provides the advantage of being freely available under an open source license. This allows companies to download it locally and independently determine when and how to implement model updates. Furthermore, Google is also making notable progress with Bard.