Context vektörü nedir?

Bahdanau Attention mekanizması

Bu kod, Bahdanau Attention mekanizmasını uygulayan bir TensorFlow Keras katmanıdır. Bahdanau Attention yöntemi, “Neural Machine Translation by Jointly Learning to Align and Translate” makalesinde (Bahdanau et al., 2014) tanıtılmıştır. Bu yöntem, özellikle sequence-to-sequence (sıra tabanlı) modellerde encoder-decoder yapılarında kullanılır ve her zaman adımında hangi encoder çıktılarının dikkate alınması gerektiğini öğrenir.

Kod Açıklaması

1. Sınıf Tanımı ve __init__ Metodu

Context vektörü, bir attention mekanizmasının sonucu olarak oluşturulan, modelin mevcut durumda hangi bilgiyi daha önemli bulduğunu temsil eden bir özet vektörüdür. Bu vektör, genellikle bir encoder-decoder yapısında, decoder’ın her bir adımında oluşturulur ve o adıma özgü bilgileri içerir.

---

Context Vektörünün İşlevi

Context vektörünün temel işlevi, decoder’a bir sonraki çıktıyı üretirken ihtiyaç duyacağı en önemli bilgiyi sağlamaktır. Aşağıda, context vektörünün ne işe yaradığı ve neden önemli olduğu detaylı olarak açıklanmıştır:

---

1. Özet Bilgi Sağlama

• Tanım: Context vektörü, encoder çıktılarının (örneğin, bir cümlenin tüm kelimelerine karşılık gelen gizli durumlar) ağırlıklı bir özetidir.
• Amaç: Tüm encoder çıktılarından, decoder’ın o anda ihtiyaç duyduğu bilgiyi seçip odaklanmasını sağlar.
• Nasıl?:
  • Attention ağırlıkları, encoder’ın her zaman adımındaki çıktıları ne kadar önemli olduklarına göre ağırlıklandırır.
  • Bu ağırlıklandırılmış çıktılar toplanarak tek bir vektör (context vektörü) oluşturulur.

---

2. Encoder ve Decoder Arasında Köprü

• Encoder, bir diziyi anlamaya çalışır ve bu bilgiyi birçok gizli durum (hidden states) olarak tutar.
• Decoder, context vektörünü kullanarak bu bilgiyi çözümlemeye başlar ve uygun çıktıyı üretir.
• Örnek: İngilizce bir cümleyi Türkçe’ye çevirirken, decoder bir Türkçe kelime üretmeden önce encoder’dan gelen context vektörünü dikkate alır.

---

3. Uzun Dizilerde Bilgi Kaybını Önleme

• Geleneksel seq2seq modellerde, yalnızca encoder’ın son gizli durumu decoder’a aktarılırdı (yani sabit uzunlukta bir context vektörü).
• Bu, özellikle uzun cümlelerde bilgi kaybına yol açıyordu.
• Attention mekanizması sayesinde, decoder her adımdaki önemli bilgilere (encoder çıktılarından) ayrı ayrı erişebilir. Böylece, context vektörü o adıma özgü bir özet sağlar.

---

4. Dikkat (Focus) Sağlama

• Context vektörü, her bir decoder adımı için encoder’daki hangi kelimelere veya zaman adımlarına dikkat edilmesi gerektiğini belirler.
• Örnek:
  • İngilizce “The cat is on the mat” cümlesini Türkçe’ye çevirirken:
    • “Kedi” kelimesini üretmek için “cat” kelimesine,
    • “üzerinde” kelimesini üretmek için “on” kelimesine odaklanır.
  • Bu odaklanmayı sağlayan şey context vektörüdür.

---

5. Dönüşümün Kalitesini Artırır

• Seq2seq modellerde her zaman adımında farklı bir context vektörü hesaplanır.
• Bu dinamik yaklaşım, modelin çeviri, metin oluşturma, veya diğer sıralı işlemlerde daha doğru sonuçlar üretmesini sağlar.

---

Matematiksel Arka Plan

Context vektörü aşağıdaki şekilde hesaplanır:

1. Attention Ağırlıklarının Hesaplanması:
   Encoder’ın gizli durumlarına bir ağırlık atanır: Attention Weight(i)=Softmax(Score(st−1,hi))\text{Attention Weight}(i) = \text{Softmax}(\text{Score}(s_{t-1}, h_i))Attention Weight(i)=Softmax(Score(st−1​,hi​))Burada:
2. Ağırlıklı Ortalama:
   Encoder gizli durumları, bu ağırlıklarla ölçeklendirilip toplanarak context vektörü elde edilir: Context Vector=∑iAttention Weight(i)⋅hi\text{Context Vector} = \sum_i \text{Attention Weight}(i) \cdot h_iContext Vector=i∑​Attention Weight(i)⋅hi​

---

Özet

• Nedir?: Encoder çıktılarının ağırlıklı bir özeti.
• Ne İşe Yarar?: Decoder’a, her adımda hangi bilginin önemli olduğunu söyler.
• Avantajları:
  • Uzun dizilerde bilgi kaybını önler.
  • Daha doğru odaklanma (focus) sağlar.
  • Çeviri, özetleme, dil modelleme gibi görevlerde performansı artırır.