İstatistiksel Makine Çevirisi (SMT) ve Veri Çağı

Makine çevirisi tarihinde en keskin yön değişikliği 1990’larda yaşandı. Alan, dili kurallarla tarif etme çabasını bırakıp çevrilmiş metinlerden olasılık öğrenmeye yöneldi. Bu yaklaşıma istatistiksel makine çevirisi denir; kısaltması SMT’dir.

İçindekiler

Fikrin kökeni aslında çok daha eskidir. 1949 tarihli Weaver muhtırası, şifre çözmeden gelen istatistiksel yöntemlerin dile uygulanabileceğini önermişti (Pietrzak & Kornacki 2021, Bölüm 3). Fikrin uygulanabilir hâle gelmesi için gereken şey, yeterli işlem gücü ve yeterli metindi.

Bu yazıda istatistiksel yaklaşımın nasıl çalıştığını, sektörde neyi değiştirdiğini ve hangi noktada yerini sinirsel modellere bıraktığını inceliyoruz.

İstatistiksel makine çevirisi neye dayanır?

İstatistiksel yaklaşımın çıkış noktası şudur: bir ifadenin doğru çevirisini bilmiyorsanız, insanların onu daha önce nasıl çevirdiğine bakın. Yeterince çok örnek varsa, en sık kullanılan karşılık büyük olasılıkla doğru karşılıktır.

Sistem bu yüzden dilbilgisi bilmez. Bir cümlenin öznesini ya da yüklemini tanımaz. Yalnızca hangi dizinin hangi diziyle ne sıklıkta birlikte göründüğünü sayar ve bu sayımlardan olasılık tabloları üretir.

Yeni bir cümle geldiğinde sistem, mümkün çeviri adaylarını üretir ve her adaya bir olasılık puanı verir. En yüksek puanlı aday çıktı olarak seçilir. Bu, arama problemine dönüştürülmüş bir çeviri işlemidir.

Yaklaşımın çekiciliği, dil bağımsız olmasıdır. Aynı yöntem, elinizde yeterli veri olan herhangi bir dil çiftine uygulanabilir. Kural tabanlı sistemlerde her dil çifti için baştan yapılan uzman çalışması burada ortadan kalkar.

Yakıt: paralel derlem

İstatistiksel sistemin ihtiyaç duyduğu tek şey paralel derlemdir: aynı metnin iki dildeki sürümlerinin cümle cümle eşleştirilmiş hâli. Derlem ne kadar büyükse ve ne kadar temizse, sistem o kadar iyi öğrenir.

Bu ihtiyaç, alanın hangi dillerde ilerleyeceğini de belirledi. Çok dilli kurumların ürettiği resmî belgeler, ilk büyük derlemlerin kaynağı oldu. Avrupa Birliği kurumlarının ve Kanada parlamentosunun iki ya da daha çok dilde ürettiği metinler bu açıdan benzersizdi.

Sonuç, dillerarası bir eşitsizlik oldu. Kurumsal çok dilli üretimin yoğun olduğu diller hızla ilerledi; böyle bir kaynağı olmayan diller geride kaldı. Bu ayrım literatürde “kaynak zenginliği” başlığı altında tartışılır ve bugün de geçerliliğini koruyor.

Derlemin temizliği de en az büyüklüğü kadar önemlidir. Yanlış eşleştirilmiş cümleler, sistemin yanlış örüntü öğrenmesine yol açar. Bu yüzden hizalama işlemi, istatistiksel çeviri altyapısının en kritik adımlarından biridir.

Nasıl çalışır: üç bileşen

Yaygın kullanılan öbek temelli modellerde üç bileşen bulunur. Birincisi çeviri modelidir: hangi kaynak öbeğinin hangi hedef öbeğe hangi olasılıkla karşılık geldiğini tutar.

İkincisi dil modelidir. Bu bileşen kaynak dille hiç ilgilenmez; yalnızca hedef dilde hangi sözcük dizilerinin doğal olduğunu bilir. Çeviri modelinin ürettiği adaylar arasından hedef dilde en akıcı olanı seçmeye yarar.

Üçüncüsü yeniden sıralama bileşenidir. Diller arasında öge sırası farklı olduğu için, öbeklerin hedef cümlede hangi düzende yer alacağı ayrıca hesaplanır. Bu bileşen, yapısal olarak uzak dillerde en çok zorlanan parçadır.

Bileşen	Neyi öğrenir?	Zayıf kaldığı yer
Çeviri modeli	Öbek karşılıkları ve olasılıkları	Derlemde geçmeyen terimler
Dil modeli	Hedef dilde doğal dizilişler	Uzun mesafeli bağlar
Yeniden sıralama	Öbeklerin hedef cümledeki düzeni	Yapısal olarak uzak dil çiftleri

Hibrit sistemler: iki yaklaşımın birleşmesi

İstatistiksel yaklaşımın yaygınlaşması, kural tabanlı sistemleri bir gecede ortadan kaldırmadı. Uzun bir dönem boyunca iki yaklaşımın birleştirildiği hibrit kurgular kullanıldı.

En yaygın kurgu şuydu: istatistiksel motor çıktıyı üretir, kural tabanlı bir katman bu çıktıyı düzeltir. Terim karşılıkları zorlanır, sayı ve tarih biçimleri düzeltilir, biçimsel etiketler yerine oturtulur.

Bir başka kurgu tersinden işliyordu: kaynak metin, kural tabanlı bir ön işlemden geçirilerek istatistiksel motorun daha iyi başa çıkacağı hâle getiriliyordu. Uzun cümleler bölünüyor, belirsiz zamirler açık adla değiştiriliyordu.

Bu kurguların ortak dersi bugün de geçerlidir: motoru değiştirmek tek çözüm yolu değildir. Girdiyi düzenlemek ve çıktıyı kurallı biçimde denetlemek, çoğu zaman motor değişikliğinden daha büyük kazanç sağlar ve çok daha ucuzdur.

Sektörde neyi değiştirdi?

İstatistiksel yaklaşımın en görünür etkisi, makine çevirisini yeniden gündeme sokması oldu. ALPAC sonrasında sönen ilgi, kullanılabilir çıktı üreten sistemlerle birlikte geri döndü.

Bunun sektördeki karşılığı, makine çevirisinin çevirmenin iş akışına girmesiydi. 2012 tarihli bir sektör araştırmasında makine çevirisini en azından denemiş olduğunu belirten şirketlerin oranı %44,02, serbest çevirmenlerin oranı %55 olarak ölçülmüştü (DePalma 2012).

İkinci değişiklik iş tanımıyla ilgiliydi. Makine çıktısını düzeltmek, ayrı bir hizmet kalemi hâline geldi. Bu iş için gereken beceri, sıfırdan çeviri yapmaktan farklıdır ve zamanla kendi ölçütlerini ve fiyatlandırma mantığını geliştirdi.

Üçüncü değişiklik veri kültürüydü. Kurumlar, geçmiş çevirilerinin bir varlık olduğunu fark etti. Çeviri belleklerinin ve arşivlerin değeri, yalnızca yeniden kullanım için değil, motor eğitimi için de artmış oldu. Bu farkındalık, veri mülkiyeti tartışmasını da beraberinde getirdi.

Zayıf yönleri

İstatistiksel sistemlerin en bilinen kusuru, cümleyi parçalara bölerek işlemesiydi. Her parça tek tek makul çevrilse bile, birleşim bozuk olabiliyordu. Uzun ve iç içe geçmiş cümlelerde bu sorun belirgin hâle gelirdi.

İkinci kusur veri bağımlılığıydı. Derlemde geçmeyen bir terim ya da alan, sistem için görünmezdir. Genel metinlerle eğitilmiş bir motor, uzman bir alanda beklenenden çok daha kötü sonuç verir.

Üçüncü kusur uzun mesafeli bağlardı. Cümlenin başındaki bir ögeyle sonundaki bir ögenin ilişkisi, öbek temelli bir modelde çoğu zaman kaybolur. Türkçe gibi yüklemi sona alan dillerde bu sınır özellikle hissedilir.

Dördüncü kusur ise biçimbilimdi. Sistem sözcükleri bölünmez birimler olarak sayar. Bir gövdeden çok sayıda çekimli biçim türeyen dillerde her biçim ayrı bir sözcük sayıldığı için, veri hızla seyrekleşir ve öğrenme zorlaşır.

SMT’den sinirsel modellere

2010’ların ortasından itibaren sektör, yapay sinir ağlarına dayanan modellere geçti. Bu modeller cümleyi parça parça değil bütün olarak temsil ettiği için, öbek birleştirme sorunu büyük ölçüde ortadan kalktı.

Geçiş ani olmadı ve istatistiksel dönemin mirası kayıp da olmadı. Paralel derlem toplama, hizalama, veri temizleme ve değerlendirme pratiklerinin hepsi bu dönemde olgunlaştı ve bugünkü sistemlerin de altyapısını oluşturuyor.

Bir başka miras, düşünme biçimidir. İstatistiksel dönem, çeviri kalitesinin ölçülebilir bir şey olduğu fikrini yerleştirdi. Motorların birbiriyle karşılaştırılması, iyileştirmenin sayılarla gösterilmesi ve düzenli değerlendirme alışkanlığı buradan geliyor.

Üçüncü bir miras da uyarı niteliğindedir. İstatistiksel dönem, veri kalitesinin model seçiminden daha belirleyici olabileceğini gösterdi. Kirli bir derlemle eğitilmiş gelişmiş bir model, temiz bir derlemle eğitilmiş basit bir modelin gerisinde kalabilir.

Bu gözlem kurumsal düzeyde de geçerlidir. Kendi arşiviniz düzensizse, hangi aracı seçtiğinizin önemi azalır. Çeviri teknolojisine yapılacak ilk yatırım genellikle yazılım değil, veri düzenidir.

Bu geçişin bıraktığı kalıcı miras, çeviri kalitesinin artık yalnızca dil bilgisiyle değil, sistemin gördüğü veri havuzunun genişliğiyle de belirlendiği fikridir. Veri az olduğunda en gelişmiş yöntem bile sınırlı kalır; bu, dil çiftinizin neden farklı sonuçlar verdiğini açıklayan temel etkendir.

Türkiye bağlamı

İstatistiksel yaklaşımın iki temel varsayımı Türkçede zorlanır. Birincisi, sözcüğün bölünmez bir birim olduğu varsayımıdır. Türkçe sondan eklemeli bir dildir; bir gövdeye eklenen ek katmanlarıyla çok sayıda biçim üretilebilir. Her biçim ayrı bir sözcük sayıldığında, aynı hacimli bir derlemden İngilizceye göre çok daha az örnek düşer.

İkincisi, öge sırasının görece sabit olduğu varsayımıdır. Türkçede öge sırası vurguya göre değişebilir ve yüklem genellikle sona gelir. Öbekleri yeniden sıralayan bir bileşen için bu, hem daha uzun mesafeli hem de daha değişken bir görev demektir.

Buna bir de kaynak sınırı ekleniyor. Türkçe, işlenmiş paralel metin hacmi bakımından en büyük dillerin gerisinde kalır. Türkiye’de kurumsal çevirilerin önemli bölümü tekil dosyalar hâlinde saklanır, derlem hâline getirilmez. Bu nedenle kurum içi arşivin düzenlenmesi, Türkçe projelerde uluslararası ortalamadan daha büyük bir fark yaratır.

Bu sizin için ne anlama geliyor?

İstatistiksel dönemin size bıraktığı en somut şey şudur: geçmiş çevirileriniz bir varlıktır. Dağınık dosyalar hâlinde duran arşiv, düzenlendiğinde hem maliyeti düşürür hem tutarlılığı artırır.

Son üç yılın çeviri dosyalarını kaynak ve hedef eşleşmesi bozulmadan tek yerde toplayın.
Eşleşen dosya çiftlerini hizalatarak bir çeviri belleğine dönüştürün.
Belleğin mülkiyetinin size ait olduğunu tedarikçi sözleşmenize yazın.
Her yeni projede belleği önceden paylaşın ve tekrar eden bölümler için indirim talep edin.

Bu dört adım genellikle birkaç günlük bir çalışmadır ve etkisi kalıcıdır. Arşivinizin hizalanabilir durumda olup olmadığını birlikte değerlendirebiliriz; fiyatlandırmanın tekrar oranından nasıl etkilendiğini fiyatlar sayfamızda görebilir, dosyalarınızı buradan gönderebilirsiniz.

Sık sorulan sorular

İstatistiksel makine çevirisi nedir?

Çevrilmiş metin yığınlarından hangi ifadenin hangi karşılıkla ne sıklıkta eşleştiğini öğrenen ve yeni bir cümle için en olası çeviriyi hesaplayan yaklaşımdır. Kural yazımına değil sayıma dayanır.

Paralel derlem ne demek?

Aynı metnin iki dildeki sürümlerinin cümle cümle eşleştirilmiş hâlidir. İstatistiksel sistemler bu eşleşmelerden öğrenir; derlem ne kadar büyük ve temizse sonuç o kadar iyi olur.

SMT çıktısı neden bazen bozuk cümleler üretirdi?

Sistem cümleyi parçalara bölüp her parçayı ayrı ayrı eşleştirdiği için, parçalar tek tek doğru olsa bile birleşimleri bozuk olabiliyordu. Uzun ve iç içe geçmiş cümlelerde bu sorun daha görünürdü.

SMT bugün hâlâ kullanılıyor mu?

Ana akım yaklaşım artık sinirsel modeller. Ancak istatistiksel yöntemin getirdiği altyapı, özellikle paralel derlem toplama ve hizalama pratiği, bugünkü sistemlerin de temelini oluşturuyor.

Kaynaklar

Koehn, P. (2010). Statistical Machine Translation. Cambridge University Press, s. 3–35, 127–160.
Pietrzak, P. & Kornacki, M. (2021). Using CAT Tools in Freelance Translation. Routledge Focus, Bölüm 3.
DePalma, D. A. (2012). Translation Productivity Benchmarks. Common Sense Advisory.