ChatGPT İçeriğinin 11 Dezavantajı

Vurgular

• Neden düşük kaliteli ChatGPT içeriği insan gözünden geçiyor.
• ChatGPT özlü olması gerektiği zaman bile kapsamlıdır.
• Profesör ChatGPT üretilen makaleleri bozan bir kusuru anlatıyor.
• ChatGPT, kurgusal Voight-Kampff android tespit testinden başarısız olur ve bunun nedeni şaşırtıcıdır.

ChatGPT, kapsamlı ve gerçekçi içerikler üretir.

Ancak araştırmacılar, sanatçılar ve profesörler, içeriğin kalitesini düşüren dikkat edilmesi gereken bazı eksikliklere dikkat çekiyorlar.

Bu makalede, ChatGPT içeriğinin 11 dezavantajına bakacağız. Dalalım.

1. Tabir Kullanımı Onu İnsan Dışı Olarak Algılanabilir Kılıyor

Makine tarafından üretilen içeriği nasıl tespit edeceğine dair araştırma yapanlar, nesneliği bozan kalıplar keşfettiler.

Bu tuhaflıklardan biri, yapay zekanın deyimlerle başa çıkamamasıdır.

Bir deyim, örneğin "her bulutun içinde gümüş bir aydınlık vardır" gibi mecazi bir anlamı olan bir ifade veya sözdür.

Bir içerikte deyimsizlik, içeriğin makine tarafından oluşturulduğuna dair işaret olabilir - ve bu, bir tespit algoritmasının bir parçası olabilir.

2022 araştırma makalesi Generative Transformers'ın Tespitinde Sinir-Istatistiksel Özelliklerin Adversarial Robustness ile ilgili bu özelliği makine tarafından üretilen içerik hakkında diyor:

“Karmaşık sözcüksel özellikler, insan metinlerinde daha sık kullanılan belirli kelimeler ve ifadelerin frekansına dayanır.

…Bu karmaşık phrasal özellikler içinde, idyom özellikleri mevcut üretken modellerin tespitinde en fazla tahmin yeteneğini korurlar.”

Bu deyimleri kullanamama, ChatGPT'nin çıktısının yapay ve doğal olmayan bir şekilde seslenmesine ve okunmasına katkı sağlar.

2. ChatGPT İfade Yeteneği Eksikliği Gösteriyor

Bir sanatçı,

çıktısının sanatın ne olduğunu taklit ettiğini, ancak sanatsal ifadenin gerçek özelliklerinden yoksun olduğunu yorumladı.

İfade etmek, düşünceleri veya duyguları iletmek için yapılan bir eylemdir.

ChatGPT çıktısı ifadeler içermez, sadece kelimeler içerir.

Gerçek düşünceleri veya duyguları olmadığı için, insanların duygusal olarak dokunabileceği içerikler üretemez.

Müzik sanatçısı Nick Cave, Red Hand Files bülteninde yayınlanan bir makalede, ona gönderilen Nick Cave tarzında oluşturulmuş bir ChatGPT söz yazısına yorum yaptı.

Yeni AI-Powered İçerik Pazarlama Aracı
Rakiplerinizden önce gelecek nesil teknolojileri benimseyin. Sonuçları üç kat daha hızlı sağlayan iyi optimizasyonlu ve hedeflenmiş içerik hazırlayın.

O yazdı:

"Bir şarkıyı harika yapan şey, tanınabilir bir esere yakın benzerliği değil."

...kendi savunmasızlığıyla, tehlikeli durumuyla, küçüklüğüyle yüzleşmesi, ani ve şok edici bir keşifle karşı karşıya kalmasıdır; dinleyicinin yüreğini harekete geçiren kurtarıcı sanatsal bir eylemdir, burada dinleyiciler şarkının iç işleyişlerinde kendi kanlarını, kendi mücadelelerini, kendi acılarını tanırlar.

Cave, ChatGPT şarkı sözlerini alay konusu yaptı.

Bu, Nick Cave sözlerine benzeyen ChatGPT şarkı sözüdür:

"Meleklerin kanı ellerimde
Gözlerimde cehennem ateşi var
Ben bir uçurum kralıyım, karanlığın yöneticisiyim
Gölgelerde korktukları kişiyim."

Bu gerçek bir Nick Cave şarkı sözüdür (Brother, My Cup Is Empty):

"Yağmurda kayarken gökkuşaklarından aşağı kaydım
Yıldızlardan sarkarken sallandım
Şimdi ise dilencinin çürük elbisesinin içindeyim
Bardağımı duvarda çarpıyorum
Görüyor musun, bardağım boş!
Arzularımı kaybetmişim gibi görünüyor
Tüm önceki ateşlerimin küllerini topluyorum."

Makine tarafından oluşturulan sözlerin sanatçının sözlerine benzediği kolayca görülebilir ancak gerçekte hiçbir şey iletişim kurmaz.

Nick Cave'in sözleri, şarkıda konuşan kişinin patos, arzu, utanç ve kasıtlı aldatmasına ulaşan bir hikaye anlatıyor. Düşünceleri ve hisleri ifade ediyor.

Nick Cave'nin bunu bir alay olarak adlandırmasının nedenini anlamak kolaydır.

3. ChatGPT Anlayışlar Üretmez

Bir Insider'da yayınlanan makalede, bir akademisyen konuyla ilgili bilgilerin ChatGPT tarafından oluşturulan akademik makalelerde eksik olduğunu belirtti.

ChatGPT konuyu özetliyor ancak konu hakkında benzersiz bir içgörü sunmuyor.

İnsanlar, bilgi aracılığıyla yaratırlar, ancak aynı zamanda kişisel deneyimleri ve öznel algıları aracılığıyla da yaratırlar.

The Insider'da Profesör Christopher Bartel, ChatGPT bir makalesinin yüksek dilbilgisi özellikleri ve sofistike fikirler sergilemesine rağmen, hala bir içgörü eksikliği olduğunu söyledi.

Bartel dedi ki:

"Gerçekten kabarık. Hiç bağlam yok, derinlik veya içgörü yok."

İçgörü, iyi yapılmış bir makalenin nişanesidir ve ChatGPT bu konuda özellikle iyi değildir.

Bu anlayışsızlık, makine tarafından üretilen içerikleri değerlendirirken akılda tutulması gereken bir şeydir.

4. ChatGPT Çok Lafazan

Ocak 2023'te yayınlanan bir araştırma makalesi, ChatGPT içeriğindeki desenleri keşfetti ve bu gibi kritik uygulamalar için uygun olmadığını belirtti.

Makale başlığı, ChatGPT'nin insan uzmanlara ne kadar yakın olduğu? Karşılaştırma Külliyatı, Değerlendirme ve Tespit.

Araştırma finans ve psikoloji ile ilgili cevaplanan soruların daha %50'sinden fazlasında, insanların ChatGPT'den aldığı cevapları tercih ettiğini gösterdi.

Fakat ChatGPT, insanların tercih ettiği doğrudan cevapları sağlamayan bir AI olduğu için tıbbi soruları yanıtlamada başarısız oldu.

Araştırmacılar şöyle yazdı:

“...ChatGPT, İngilizce ve Çince'deki tıbbi alan için yardımcı olma konusunda zayıf bir performans sergiliyor."

ChatGPT, toplanan veri kümemizde tıbbi danışmanlıklara uzun cevaplar verirken, insan uzmanlar doğrudan net cevaplar veya öneriler verebilirler, bu da gönüllülerin tıbbi alanda insan cevaplarını daha faydalı bulmalarının kısmen nedeni olabilir.

ChatGPT, konuyu farklı açılardan ele almayı tercih eder, bu nedenle en iyi cevap doğrudan olan durumlarda uygun değildir.

ChatGPT kullanan pazarlamacılar, doğrudan cevap gerektiren site ziyaretçilerinin uzun bir web sayfasından memnun olmayacaklarını unutmamalıdır.

Ve Google Öne Çıkan Snippet'lerinde uzun süslü bir sayfanın sıralamasında şansınızı deneyebilirsiniz fakat Google Voice'ta iyi çalışabilecek açık ve öz bir cevaptan daha uzun bir cevap daha az şansı olabilir.

ChatGPT'nin üreticisi olan OpenAI, ayrıntılı yanıtlar vermenin bir bilinen kısıtlama olduğunu kabul etmektedir.

OpenAI tarafından yapılan açıklama makalesi şöyle diyor:

"Model sıklıkla aşırı sözcük kullanıyor..."

ChatGPT'nin uzun lafın özeti vermek konusundaki önyargısı, ChatGPT çıktısını kullanırken daha kısa ve daha doğrudan cevapların daha iyi olduğu durumlarla karşılaşabileceğiniz konusunda dikkatli olmanız gereken bir şeydir.

5. ChatGPT İçeriği Net Mantıkla Yüksek Düzeyde Organize Edilmiştir

ChatGPT'in yazım stili sadece ayrıntılı değil, ayrıca içeriğe benzersiz bir insan dışı tarz veren bir şablonu takip etme eğilimindedir.

Bu insana özgü nitelik, insanlar ve makinelerin soruları nasıl yanıtladıkları arasındaki farklarda ortaya çıkar.

Blade Runner filmi, yanıtları veren kişinin bir insan mı yoksa android mi olduğunu ortaya çıkarmayı amaçlayan bir dizi soru içeren bir sahneye sahiptir.

Bu sorular "Voigt-Kampff testi" adlı kurgusal bir teste aitti.

Bir soru şöyle seslenir:

"Televizyon seyrediyorsunuz. Birden kolunuzda gezinen bir yaban arısı olduğunu farkedersiniz. Ne yaparsınız?"

Bir insanın normal tepkisi, çığlık atmak, dışarı çıkıp onu vurmak vb. şeklinde bir şeyler söylemek olurdu.

Ancak bu soruyu ChatGPT'ye sorduğumda, soruyu özetleyen ve ardından mantıklı birden fazla olası sonuç sunan özenle düzenlenmiş bir cevap sundu - asıl soruyu cevaplamayı başaramadı.

ChatGPT'in bir Voight-Kampff test sorusunu cevapladığı bir ekran görüntüsü

Cevap son derece organize ve mantıklıdır, bu da yapay bir his verir ve istenmez.

6. ChatGPT Aşırı Detaylı ve Kapsamlıdır

ChatGPT, insanlar cevaptan memnun kaldığında makineye ödül verilen bir şekilde eğitilmiştir.

İnsan derecelendiriciler, daha fazla detay içeren cevapları tercih etmeye meyilliydi.

Ancak bazen, tıbbi bir bağlamda olduğu gibi, doğrudan bir cevap kapsamlı bir cevaptan daha iyidir.

Bu, özellikle bu nitelikler önemli olduğunda makinenin daha az kapsamlı ve daha doğrudan olması için yönlendirilmesi gerektiği anlamına gelir.

OpenAI'dan:

"Bu sorunlar, eğitim verilerindeki önyargılardan kaynaklanır (eğitmenler daha kapsamlı görünen daha uzun cevapları tercih eder) ve iyi bilinen aşırı optimizasyon sorunlarındandır."

7. ChatGPT Yalan Söyler (Hayalî Gerçekler Yaratır)

Yukarıda bahsi geçen araştırma makalesi "ChatGPT, İnsan Uzmanlara Ne Kadar Yakın?" ChatGPT'nin yalan söyleme eğiliminde olduğunu belirtmiştir.

Rapor veriyor:

“Bir özel alan gerektiren soruya cevap verirken ChatGPT, yanıt vermeyi sağlamak için gerçekleri uydurabilir…

Örneğin, hukuki sorularda, ChatGPT soruyu yanıtlamak için mevcut olmayan yasal hükümler icat edebilir.

…Ayrıca, bir kullanıcı mevcut bir cevabı olmayan bir soru sorarsa, ChatGPT cevap vermek için gerçek dışı bilgiler uydurabilir.”

Futurism web sitesi, CNET'te yayınlanan makine tarafından oluşturulan içeriklerin yanlış ve "aptalca hatalarla" dolu olduğunu belgeledi.

CNET'nin bu olabileceğine dair bir fikri olmalıydı, çünkü OpenAI yanlış çıktı hakkında bir uyarı yayınladı:

"ChatGPT bazen mantıklı görünse de yanlış veya anlamsız cevaplar yazabilir."

CNET, makine tarafından üretilen makaleleri yayınlamadan önce insan incelemesine sunduğunu iddia ediyor.

İnsan değerlendirmesiyle ilgili bir sorun, ChatGPT içeriğinin ikna edici bir doğrulukla tasarlanmış olmasıdır, bu da konu uzmanı olmayan bir değerlendiriciyi yanıltabileceği anlamına gelir.

8. ChatGPT Üretilmiş Çünkü Farklılaşmıyor

Araştırma makalesi "ChatGPT, İnsan Uzmanlara Ne Kadar Yakın?" da insan iletişiminin dolaylı anlamlara sahip olabileceği, anlamak için konu değişikliğine ihtiyaç duyulduğuna dikkat çekmiştir.

ChatGPT çok harfiyatçı, bu nedenle yapay zeka gerçek konuyu göz ardı ettiği için cevaplar bazen hedefi kaçırır.

Araştırmacılar şöyle yazdı:

"ChatGPT'in yanıtları genellikle verilen soruya sıkı bir şekilde odaklanır, oysa insanların yanıtları farklı konulara kolayca kayabilir."

İçerik zenginliği açısından, insanlar farklı yönlerde daha çeşitlidir, ChatGPT ise soruya odaklanmayı tercih eder.

İnsanlar kendi sağduyuları ve bilgilerine dayanarak sorunun gizli anlamını yanıtlayabilirler, ancak ChatGPT elindeki sorunun kelime anlamlarına dayanır..."

İnsanlar, "ne hakkında" tarzı soruları cevaplamak için özellikle önemli olan doğrudan sorudan sapma kabiliyetine daha iyi sahiptirler.

Örneğin, eğer ben sorarsam:

"Atlar ev hayvanı olmak için çok büyükler. Peki rakunlar?"

Yukarıdaki soru, bir rakunun uygun bir evcil hayvan olup olmadığını sormuyor. Soru, hayvanın boyutuyla ilgilidir.

ChatGPT, boyutuna değil rakunu evcil hayvan olarak uygunluğuna odaklanmaktadır.

Çok Harfli Bir ChatGPT Yanıtının Ekran Görüntüsü

9. ChatGPT Taraflı Olmamaya Yönelik Bir Önyargı İçermektedir

ChatGPT'un çıktısı genellikle tarafsız ve bilgilendiricidir. Yardımcı görünebilen ancak her zaman öyle olmayabilen bir çıktıda önyargı olabilir.

Yukarıda tartıştığımız araştırma makalesi, hukuki, tıbbi ve teknik sorular söz konusu olduğunda tarafsızlığın istenmeyen bir nitelik olduğunu belirtmiştir.

İnsanlar bu tür görüşleri sunarken genellikle bir taraf seçerler.

10. ChatGPT Resmi Olmak İçin Önyargılı

ChatGPT'nin çıktısında, sıradan ifadelerle cevap vermekten kaçınan bir önyargı bulunmaktadır. Bunun yerine, cevapları genellikle resmi olma eğilimindedir.

Öte yandan, insanlar daha kolay anlaşılır bir tarzda sorulara cevap verme eğilimindedirler ve günlük dil ve argo kullanırlar - resmi dilin aksine.

ChatGPT, GOAT veya TL;DR gibi kısaltmaları kullanmaz.

Cevaplar aynı zamanda ironi, metafor ve mizaha dair örnekleri de eksik, bu da ChatGPT içeriğini bazı içerik türleri için aşırı resmi hale getirebilir.

Araştırmacılar yazıyor:

"...ChatGPT, genellikle "Genel olarak", "Diğer yandan", "İlk olarak", "İkincisi", "Son olarak" gibi bağlaçlar ve zarflar kullanarak düşünceleri mantıklı bir şekilde iletmeyi tercih eder."

11. ChatGPT Hala Eğitimde

ChatGPT şu anda eğitim ve geliştirme sürecinde.

OpenAI, bir en iyi uygulama olarak, ChatGPT tarafından oluşturulan tüm içeriğin bir insan tarafından gözden geçirilmesini önermektedir.

OpenAI, insanları döngünün içinde tutmayı öneriyor:

"Mümkün olduğunca, uygulamada kullanılmadan önce çıktıların bir insan tarafından incelenmesini öneriyoruz."

Özellikle yüksek riskli alanlarda ve kod üretiminde bunun son derece önemli olduğuna dikkat edilmelidir.

İnsanlar sistem sınırlamalarının farkında olmalı ve çıktıları doğrulamak için gereken bilgilere erişim sağlamalıdır (örneğin, uygulama notları özetliyorsa, bir insanın geriye dönmek için orijinal notlara kolayca erişimi olmalıdır)."

ChatGPT'nin İstenmeyen Özellikleri

ChatGPT'nin gözetimsiz içerik oluşturması için uygun olmadığını gösteren birçok sorununun olduğu açıktır. Önyargılar içermekte ve doğal hissettiren veya gerçek içgörüler içeren içerik oluşturamamaktadır.

Ayrıca, duygu hissetmeme veya orijinal düşünceler oluşturma yeteneğine sahip olmaması, sanatsal ifadelerin oluşturulması için zayıf bir seçim yapar.

Kullanıcılar, çıktısı varsayılan içerikten daha iyi olan ayrıntılı ipuçları uygulamalıdır.

Nihayetinde, makine tarafından oluşturulan içeriğin insan denetimi her zaman yeterli değildir, çünkü ChatGPT içeriği doğru görünmesi için tasarlanmıştır, ancak böyle olmayabilir.

Bu, belirli bir konuda doğru ve yanlış içerik arasındaki farkı ayırt edebilecek konu uzmanları tarafından insan incelemesinin önemli olduğu anlamına gelir.