Bugün sabah kahvenizi içerken ChatGPT’ye bir e-posta yazdırdınız veya Gemini’a karmaşık bir kod bloğunu düzelttirdiniz. Artık yapay zekanın insan gibi “anlaması” ve “üretmesi” bize normal geliyor. Ancak çok değil, sadece 7-8 yıl önce bu teknoloji emekleme aşamasındaydı.
Modern yapay zeka tarihinin, milattan önce ve milattan sonrası gibi keskin bir ayrımı vardır. O ayrım noktası, 2017 yılında Google araştırmacılarının yayınladığı, başlığıyla bile meydan okuyan o makaledir: “Attention Is All You Need” (İhtiyacınız Olan Tek Şey Dikkat).
Peki, bu makale neyi değiştirdi de bugün bilim kurgu filmlerini aratmayan bir çağda yaşıyoruz?
Unutkan Yapay Zekadan “Büyük Resmi Gören” Zekaya
2017 öncesinde dil modelleri (RNN ve LSTM’ler), metinleri tıpkı okumayı yeni öğrenen bir çocuk gibi okurdu: Soldan sağa, kelime kelime…
Bu yöntemin çok büyük iki sorunu vardı:
- Yavaşlık: Bir kelimeyi işlemeden diğerine geçemiyordu.
- Unutkanlık: Uzun bir paragrafın sonuna geldiğinde, cümlenin başındaki özneyi unutabiliyordu.
Eski sistemler “bağlamı” hafızada tutmakta zorlanıyordu. İşte “Attention Is All You Need” makalesi, masaya yumruğunu tam bu noktada vurdu ve dedi ki: “Sıralı okumayı bırakın. Hepsine aynı anda bakın!”
Transformer Mimarisi: Kelimelerin Dansı
Makalenin önerdiği “Transformer” mimarisi ve onun kalbi olan “Self-Attention” (Öz-Dikkat) mekanizması, yapay zekaya metni bir bütün olarak görme yeteneği kazandırdı.
Bunu basit bir örnekle açıklayalım. Şu cümleyi ele alalım: “Hayvan, çok yorgun olduğu için yolu geçemedi.”
Biz insanlar bu cümleyi okurken, sondaki gizli öznenin veya “o” zamirinin “yola” değil “hayvana” ait olduğunu şak diye anlarız. Çünkü beynimiz “yorgun” kelimesi ile “hayvan” kelimesi arasında anlık bir bağlantı kurar.
İşte Transformer mimarisi tam olarak bunu yapıyor. Cümledeki her kelimenin, diğer tüm kelimelerle olan ilişkisine matematiksel bir “dikkat” puanı veriyor. Model, “yorgun” kelimesine odaklandığında, dikkatinin büyük kısmını “hayvan” kelimesine veriyor. Bunu kelime kelime değil, tüm cümle için aynı anda (paralel olarak) yapıyor.
Neden Bu Bir Devrim?
Bu mimari sayesinde yapay zeka modelleri artık sadece cümleleri değil, koca kitapları, internetin tamamını hafızasında bir bağlam olarak tutabiliyor.
Eğer bu makale yazılmasaydı;
- Bugün GPT-4, Claude veya Gemini olmayacaktı.
- Proteinlerin nasıl katlandığını çözen AlphaFold geliştirilemeyecekti.
- Metinden video üreten Sora gibi teknolojiler hayal kalacaktı.
Çünkü hepsi, temelinde bu makalenin sunduğu “Transformer” bloklarını kullanıyor.
Kişisel Notlar: Basitliğin İnanılmaz Gücü
Bir teknoloji meraklısı olarak bu makalede beni en çok etkileyen şey, sunduğu çözümün “cüretkarlığı” oldu.
Bilim tarihinde genelde karmaşık problemler, daha karmaşık denklemler eklenerek çözülür. 2017’de herkes yapay zeka mimarilerine daha fazla katman, daha fazla kural eklemeye çalışıyordu. Bu makalenin yazarları ise tam tersini yaptı. Var olan karmaşık yapıları (Recurrence/Convolution) çöpe attılar ve “Bize sadece Attention (Dikkat) mekanizması yeter, gerisi gürültü” dediler.
Bu, mühendislikte “az ama öz” felsefesinin en büyük kanıtlarından biri. Bazen ilerlemek için eklemek değil, eksiltmek ve temele odaklanmak gerekir.
Ayrıca bu makale bana şunu sorgulatıyor: 2017’den bu yana sadece 7 yılda geldiğimiz nokta buysa, önümüzdeki 7 yılda ne göreceğiz? Belki de Transformer mimarisi sadece bir basamaktı ve şu an bir yerlerde başka bir araştırmacı grubu, bizi Genel Yapay Zeka’ya (AGI) götürecek o yeni, basit ve devrimsel fikri kağıda döküyordur.
Sonuç
“Attention Is All You Need”, sadece teknik bir döküman değil, dijital çağın Magna Carta’sıdır. Bugün kullandığımız akıllı asistanların, kod yazan botların ve yaratıcı araçların doğum belgesidir.
Eğer bu tarihi belgeye göz atmak isterseniz, makalenin orijinaline buradan ulaşabilirsiniz.
https://arxiv.org/abs/1706.03762
Gelecek, dikkatimizi nereye verdiğimizle şekillenecek.
