ChatGPT yanıtlar üretme konusunda ne kadar doğru?

OpenAI tarafından geliştirilen yapay zeka sohbet botu ChatGPT, doğruluğu ve performansıyla çeşitli alanlarda dikkatleri üzerine çekiyor. Ancak bilinmesi gereken ChatGPT'nin bilgisi 2021 yılına kadar olan verilerle sınırlı olduğudur. Doğruluğunun bir testi, ChatGPT'nin bir MBA sınavı vererek test edilmesi amacıyla Pennsylvania Üniversitesi'nden Profesör Christian Terwiesch tarafından yapılmıştır.

Sınav, işlem analizi, stok dönüşleri ve sıra analizi gibi çeşitli iş kavramlarını kapsayan yedi sorudan oluşuyordu. Bu, gerçek bir insan ortamını taklit etmek için tasarlanmıştı ve sorular tam olarak bir insan öğrenciye soruldu. Profesör Terwiesch'in şaşkınlığına göre, ChatGPT işlem analizinde bir darboğaz kavramı ile ilgili ilk soruya verdiği cevapla A + aldı.

Chatbot, bazı daha karmaşık sorularla mücadele etse de, profesör hala performansından etkilendi. Profesör Terwiesch, MBA sınavını ChatGPT'de yaparak, yapay zekanın B ve B- arasında bir not alacağı sonucuna vardı.

ChatGPT'nin doğruluğu açıklandı

ChatGPT'nin doğruluğunun başka bir gösterimi, sohbet botunun ABD Tıp Lisanslama Sınavı (USMLE) 'ni geçebilmesi alanında oldu. Araştırmalara göre, ChatGPT tüm sınavlarda %50'den fazla doğruluk elde etti ve cevapları için bilgi ve açıklamalar bile sundu.

Tıbbi başlangıç ​​şirketi Ansible Health tarafından yönetilen ayrı bir çalışmada, ChatGPT, ABD'de doktor lisansı almak için gereken üç sınavın tümünde geçme eşiğine yakın performans gösterdi. ChatGPT'nin doğruluğu kesinlikle dikkat çekici olsa da, performansı verilen bağlama ve çağrışıma bağlı olarak değişebileceğini akılda tutmak önemlidir.

Modeli eğitmek için kullanılan eğitim verileri, kullanılan metin kaynaklarının önyargılarını ve sınırlamalarını içerdiğinden, modelin sorumlu bir şekilde kullanılması hayati önem taşır.

Bu duygu OpenAI'in CEO'su tarafından yankılandı ve "ChatGPT'nin son derece sınırlı olduğunu ve "Şu anda önemli herhangi bir şeye güvenmek bir hatadır" şeklinde bir tweet'te belirtildi.

00:48

01:12

Chat GPT ile Test Konuşması Başarısız Oldu

Yukarıdaki ekran görüntüsünde görüldüğü gibi, ChatGPT ile yapılan bir test konuşması AI sohbet botunun performansının her zaman tutarlı olmadığını ortaya çıkardı.

ChatGPT'a kaç kez Arjantin'in FIFA Dünya Kupası'nı kazandığı sorulduğunda, ChatGPT başlangıçta "Arjantin, 1986 yılında FIFA Dünya Kupası'nı bir kez kazandı." yanıtını verdi. Ancak, "1978 FIFA Dünya Kupası'nda kim kazandı" diye sorulduğunda, ChatGPT "Arjantin, 1978 FIFA Dünya Kupası'nı kazandı." şeklinde yanıt verdi.

Bu, Argentina'nın Dünya Kupası'nı iki kez kazandığı sonucuna yol açtı. Ancak aynı soru tekrar sorulduğunda, "Şimdi tekrar soruyorum, kaç kez Argentina Dünya Kupası'nı kazandı?" ChatGPT önceki konuşmaya rağmen aynı cevabı verdi: "Argentina FIFA Dünya Kupası'nı bir kez, 1986'da kazandı".

Bu, Chat GPT'nin doğruluğunu vurgular ve sürekli geliştirme ve iyileştirme ihtiyacını ortaya koyar.

ŞİMDİ OKU: Chat GPT kod yazabilir ve kod düzeltebilir mi?

ChatGPT herkese aynı cevabı mı veriyor?

ChatGPT'den gelen cevaplar biraz değişebilir, ancak kullanıcılar aynı soruyu sorduğunda genellikle benzer cevaplar verildiğini görüyoruz.

ChatGPT güvenilir mi?

ChatGPT'nin sınırları vardır, bazen yanlış veya hatalı sonuçlar verebilir, bu nedenle dikkatli olun.