Chat GPT nasıl eğitildi?

Eğer ChatGPT ile tanışıksanız, muhtemelen geniş veri kümesi üzerinde eğitildiğini duymuşsunuzdur. Ancak bu tam olarak ne anlama geliyor? Bu makalede, ChatGPT'nin nasıl eğitildiğine dair ayrıntılara gireceğiz."

ChatGPT, gözetimli ve takviyeli öğrenme tekniklerinin bir kombinasyonu ile ayarlanmış bir önceden eğitilmiş dil modelidir. ChatGPT'nin eğitim süreci, büyük miktarda metin verisinin modeline input edilmesi ve parametrelerinin ayarlanmasıyla, eğitim kütüphanesindeki metinlere benzer metinler üretebilmesi için gerçekleştirildi.

Bu işlem için gözetimsiz öğrenme yaklaşımı kullanıldı, yani model üretilen metnin doğru mu yoksa yanlış mı olduğu konusunda açık geri bildirim almadı. Bunun yerine, model üretilen metnin, eğitim kümesindeki metine benzer olma olasılığına dayalı olarak parametrelerini ayarlar.

ChatGPT-3'ün ana modeli olan GPT-3, 175 milyar parametreye ve 2048 token uzunluğunda bir bağlama sahip, bugüne kadar yaratılmış en büyük dil modellerinden biridir. İngilizce'de Common Crawl, WebText2, Books1/2, Wikipedia'daki birçok milyar kelime ve CSS, JSX, Python ve diğer programlama dillerindeki kod örnekleri üzerinden eğitilmiştir.

GPT-3 için kullanılan eğitim yöntemi, girdi cümlesindeki sonraki belirteci veya kelimeyi tahmin etmek için eğitilmiş yaratıcı ön eğitimdir.

En İyi Chat GPT alternatifi

Gözetimli Öğrenme

ChatGPT modeli, insan eğitmenler tarafından denetimli öğrenme süreciyle ince ayarlandı. Bu eğitmenler, kullanıcı ve yapay zeka yardımcısı rolünü üstlenerek konuşmalara dahil oldular.

Verilen önerilerle yanıtlarını oluşturmak için modele rehberlik edildiler ve ardından İnstructGPT veri kümesi, diyalog formatına dönüştürüldü ve karıştırıldı.

Güçlendirme öğrenimi

Model, daha önceki bir konuşmadan oluşturulan yanıtları değerlendiren insan eğitmenler tarafından değerlendirildi ve ödül modelleri geliştirmek için bu değerlendirmeler kullanılarak Proximal Policy Optimization (PPO) kullanılarak takviye öğrenme yoluyla daha da geliştirildi. Daha sonra model, bu ödül modellerine göre ayarlandı.

İyi performans elde etmek için detaylandırma işlemi birkaç kez yapıldı. PPO algoritmaları diğer algoritmalara kıyasla maliyet-effektif ve daha hızlı performansa sahiptir, bu da onları bu işlem için mükemmel hale getirir.

OpenAI, ChatGPT ile etkileşimde bulunan kullanıcılardan bilgi toplamaya devam ediyor, böylece modeli daha da geliştirmek ve detaylandırmak için kullanılabiliyor.

Kullanıcılar, ChatGPT'nin cevaplarına üst oy veya alt oy vererek ve ek geri bildirim sağlayarak oy kullanma seçeneğine sahiptir. Bu veriler, modelin performansını daha da geliştirmek ve insan benzeri metinler oluşturma konusundaki becerisini artırmak için kullanılır.

Modeli Eğitmek İçin Kullanılan Veriler

ChatGPT-3, Azure AI süper bilgisayar altyapısı kullanılarak eğitilmiş ve GPT-3.5 serisinden ince ayarlanmış bir dil modelidir. İnternetten toplanan kitaplar, sohbet forumları, makaleler, web siteleri, akademik çalışmalar, kodlar ve diğer kaynaklar gibi büyük bir metin miktarı üzerinde eğitilmiştir.

ChatGPT-3 için eğitimde kullanılan metin veri kümesi 45 terabaytın üzerindeydi ve bu çok büyük bir boyuta sahipti. Bu da modelin, bir gazetecinin veya yazarın üretebileceği metinlere benzer metinler üretme yeteneğine katkıda bulunur.