Makine Çevirisi Kalite Ölçümü Nasıl Yapılır?

Bir çeviri motorunun iyi olup olmadığına nasıl karar verilir? Çoğu kurumda bu karar birkaç cümlelik denemeye ve genel bir izlenime dayanır. Oysa makine çevirisi kalite ölçümü, üzerine geniş bir literatür ve yerleşmiş yöntemler bulunan bir alandır.

İçindekiler

Ölçümün zor tarafı şudur: çevirinin tek bir doğru cevabı yoktur. Aynı cümlenin birden fazla geçerli karşılığı olabilir. Bu nedenle ölçüm, bir şıkkı doğrulamaktan çok bir aralığı değerlendirmeye benzer.

Bu yazıda üç ölçüm ailesini, her birinin ne işe yaradığını ve kendi belgelerinizle uygulanabilir bir test kurgusunu ele alıyoruz.

Makine çevirisi kalite ölçümü neden zordur?

Ölçümün ilk zorluğu çokluk sorunudur. Bir cümlenin çok sayıda geçerli çevirisi vardır; hangisinin daha iyi olduğu metnin amacına ve okur kitlesine göre değişir. Bir tanıtım metninde iyi sayılan serbestlik, bir sözleşmede kusurdur.

İkinci zorluk, kalitenin tek boyutlu olmamasıdır. Bir çıktı akıcı ama yanlış olabilir; ya da doğru ama kulağa yabancı gelebilir. Bu iki boyut ayrı ayrı ölçülmezse, tek bir “iyi” ya da “kötü” yargısı bilgi taşımaz.

Üçüncü zorluk örneklem sorunudur. Beş cümlelik bir deneme, motorun uzun cümlelerdeki, alan terimlerindeki ya da biçim ögelerindeki davranışı hakkında hiçbir şey söylemez. Örneklem küçük ve seçilmiş olduğunda sonuç, ölçüm değil izlenimdir.

Dördüncü zorluk ise değişkenliktir. Aynı motor farklı belge türlerinde farklı davranır. “Bu motor iyi” cümlesi eksiktir; doğru cümle “bu motor bu belge türünde iyi” biçimindedir.

İnsan değerlendirmesi

En eski ve hâlâ en güvenilir yöntem insan değerlendirmesidir. Klasik kurgu, iki boyutun ayrı ayrı puanlanmasıdır: yeterlilik ve akıcılık.

Yeterlilik, kaynak metindeki bilginin ne kadarının hedef metne aktarıldığını sorar. Bu boyutu ölçebilmek için değerlendiricinin kaynak metni görmesi gerekir. Akıcılık ise hedef metnin kendi başına ne kadar doğal olduğunu sorar; bunun için kaynağa bakmaya gerek yoktur.

İkisini ayırmak kritiktir. Sinirsel modellerin yaygınlaşmasıyla birlikte akıcılık puanları belirgin biçimde yükseldi; ancak akıcılık, yeterliliğin kanıtı değildir. Yalnızca çıktıyı okutarak yapılan değerlendirme, sistematik olarak iyimser sonuç verir.

İnsan değerlendirmesinin bedeli maliyettir ve tutarlılıktır. Farklı değerlendiriciler aynı metne farklı puan verebilir. Bu nedenle puanlama ölçeği ve talimatlar önceden yazılmalı, mümkünse birden fazla değerlendirici kullanılmalıdır.

Otomatik ölçütler

Otomatik ölçütler, insan değerlendirmesinin maliyetini aşmak için geliştirildi. Ortak mantıkları şudur: makine çıktısını, insan tarafından yapılmış bir referans çeviriyle karşılaştırıp benzerliği sayısallaştırmak.

Ölçüt	Neye bakar?	Güçlü olduğu yer
BLEU (Papineni vd. 2002)	Sözcük dizilerinin referansla örtüşmesi	Sistemler arası hızlı karşılaştırma
TER (Snover vd. 2006)	Referansa ulaşmak için gereken düzenleme sayısı	Düzeltme yükünü tahmin etme
chrF	Karakter düzeyinde örtüşme	Ek zengini diller
COMET (Rei vd. 2020)	Anlam yakınlığı, sinirsel model temelli	İnsan yargısıyla daha yüksek uyum

Bu ölçütlerin ortak avantajı ucuz ve tekrarlanabilir olmalarıdır. Bir motorda yapılan değişikliğin çıktıyı iyileştirip iyileştirmediği, dakikalar içinde ölçülebilir.

Karakter düzeyinde çalışan ölçütlerin ek zengini diller için önerilmesinin nedeni yapısaldır. Sözcük düzeyinde bakan bir ölçüt, yalnızca ekleri farklı olan iki biçimi tamamen farklı sayar ve haksız biçimde düşük puan verir.

Otomatik ölçütlerin sınırları

En temel sınır referans bağımlılığıdır. Ölçüt, çıktının doğru olup olmadığını değil, tek bir referansa ne kadar benzediğini ölçer. Referanstan farklı ama tamamen geçerli bir çeviri düşük puan alır.

İkinci sınır, hataların ağırlıklandırılmamasıdır. Bir sözcük dizisi kaymasıyla bir olumsuzluk kaybı, çoğu ölçütte benzer ağırlık taşır. Oysa ikincisi metnin anlamını tersine çevirir; birincisi yalnızca üslup meselesidir.

Üçüncü sınır karşılaştırılabilirliktir. Farklı metinler ve farklı dil çiftleri üzerinde alınan puanlar birbiriyle kıyaslanamaz. Aynı ölçütün bir dil çiftinde aldığı değer, başka bir çiftteki değerle aynı anlama gelmez.

Bu nedenle otomatik ölçütler, mutlak bir kalite yargısı için değil, göreli karşılaştırma için kullanılmalıdır. Aynı metin üzerinde iki motoru ya da bir motorun iki sürümünü karşılaştırmak makuldür; “şu puan yeterlidir” demek değildir.

Hata tipolojisine dayalı değerlendirme

Üçüncü aile, kaliteyi tek bir puana indirgemek yerine hataları türlerine ayırarak sayar. Sektörde bu yaklaşımın en yaygın çerçevesi hata tipolojisi temelli modellerdir; her hata bir kategoriye ve bir ağırlığa yerleştirilir.

Tipik kategoriler şunlardır: doğruluk hataları (atlama, ekleme, yanlış çeviri), akıcılık hataları (dilbilgisi, yazım, noktalama), terim hataları, biçim hataları ve yerel kullanım hataları (tarih, sayı, para birimi biçimi).

Bu yaklaşımın üstünlüğü, sonucun eyleme dönüştürülebilir olmasıdır. “Puan düşük” demek yerine “terim hataları yoğun” diyebilirsiniz; bu da doğrudan bir çözüme işaret eder, örneğin terim listesi kurmaya.

Bedeli emektir; sınıflandırma insan eliyle yapılır. Ancak küçük bir örneklemde bile yapılabilir ve sonucu, aynı örneklemden alınacak bir otomatik puandan çok daha bilgilendiricidir.

Referans çeviri: ölçümün gizli maliyeti

Otomatik ölçütlerin hepsi bir referans çeviriye ihtiyaç duyar. Bu referansın insan tarafından, ölçülecek metinden bağımsız olarak hazırlanmış olması gerekir. Yani ölçüm yapmadan önce, o metnin insan çevirisine sahip olmanız şarttır.

Bu, çoğu kurumun hesaba katmadığı bir maliyettir. Referans hazırlamak, ölçülecek örneklem kadar çeviri yaptırmak demektir. Örneklem büyüdükçe maliyet artar; küçüldükçe ölçümün güvenilirliği düşer.

İyi haber şu: çoğu kurumun elinde zaten kullanılabilir bir referans havuzu vardır. Geçmiş yıllarda insan eliyle çevrilmiş ve onaylanmış belgeler, tam olarak bu iş için uygundur. Arşivin düzenli tutulması burada da doğrudan karşılık verir.

Referansı seçerken bir noktaya dikkat etmek gerekir: referansın kendisi de bir yorumdur. Serbest çevrilmiş, uyarlanmış ya da kısaltılmış bir metni referans almak, ölçümü baştan bozar. Referans için mümkün olduğunca kaynağa sadık çeviriler seçilmelidir.

Ölçümü kim, ne sıklıkla yapmalı?

Ölçümün kim tarafından yapıldığı, sonucun geçerliliğini doğrudan etkiler. Değerlendirmeyi yapan kişinin hem hedef dili iyi bilmesi hem de metnin konusuna hâkim olması gerekir. Alan bilgisi olmayan bir değerlendirici, terim hatalarını fark edemez.

Sıklık konusunda tek bir kural yoktur; ancak ölçüm tek seferlik bir iş değildir. Motorlar güncellenir, belge türleriniz değişir ve tedarikçiniz süreçlerini değiştirebilir. Yılda bir yapılan küçük bir kontrol, kalite kaymalarını erken yakalar.

Ölçüm sonuçlarının saklanması da önemlidir. Zaman içinde biriken kayıtlar, tedarikçi görüşmelerinde ve iç raporlamada kullanılabilir bir kanıt tabanı oluşturur. Kalite tartışmasını izlenimden çıkarıp veriye taşıyan şey budur.

Son bir uyarı: ölçümün kendisi de bir maliyettir ve amacını aşmamalıdır. Yılda birkaç bin kelime çeviri yaptıran bir kurum için ayrıntılı bir değerlendirme çerçevesi kurmak anlamsızdır. Ölçümün derinliği, çeviri hacminizle ve hata riskinizle orantılı olmalıdır.

Ölçüm sonuçlarını okurken akılda tutulması gereken bir sınır var: bu göstergeler metnin akıcılığını ve referansa yakınlığını ölçer, belgenin amacına uygunluğunu ölçmez. Resmî bir başvuruda kabul edilip edilmeyeceği hiçbir otomatik ölçütün cevaplayabildiği bir soru değildir.

Türkiye bağlamı

Türkçe için kalite ölçümü, birkaç nedenle uluslararası uygulamadan daha dikkatli kurulmalıdır. Birincisi ölçüt seçimidir: sözcük düzeyinde çalışan ölçütler, Türkçenin ek yapısı nedeniyle sistematik olarak düşük puan üretme eğilimindedir. Karakter düzeyinde çalışan ölçütler bu açıdan daha adil sonuç verir.

İkincisi referans sorunudur. Türkçede öge sırası serbest olduğu için aynı cümlenin çok sayıda geçerli dizilişi vardır. Tek bir referansa dayalı ölçüm, bu çeşitliliği kusur olarak sayabilir. Bu nedenle Türkçede otomatik puanlar, insan değerlendirmesiyle birlikte okunmalıdır.

Üçüncüsü öncelik sorunudur. Türkçede anlamı tersine çeviren hataların çoğu küçük eklerde saklanır: olumsuzluk eki, kişi eki, soru eki. Bu yüzden Türkçe değerlendirme listesinin ilk maddeleri üslup değil, bu ekler olmalıdır. Resmî belgelerde ayrıca tarih, para birimi ve kimlik numarası biçimleri ayrı bir kontrol kalemidir.

Bu sizin için ne anlama geliyor?

Kalite ölçümü, büyük bir proje olmak zorunda değil. Bir günlük bir çalışmayla kurumunuz için anlamlı bir taban oluşturabilirsiniz. Önerilen sıra şu:

Arşivinizden rastgele beş belge seçin; en kolay olanları değil, tipik olanları alın.
Belgeleri hiç düzeltmeden çevirtin ve çıktıyı kaynakla yan yana koyun.
Konuyu bilen bir çalışanınıza okutun ve bulduğu her hatayı beş kategoriden birine yazsın: atlama, ekleme, terim, sayı-biçim, dilbilgisi.
Kategorilerin sayısını çıkarın; hangi kategori baskınsa çözüm de oradadır.
Aynı testi altı ay sonra aynı belgelerle tekrarlayın ve sonuçları karşılaştırın.

Bu tablo, tedarikçi seçiminden fiyat görüşmesine kadar her konuşmayı somutlaştırır. Değerlendirmeyi sizin belgelerinizle birlikte kurgulamamızı isterseniz bize ulaşabilir, benzer konulardaki diğer yazılarımız için bilgi merkezimize göz atabilirsiniz.

Sık sorulan sorular

Makine çevirisi kalitesi nasıl ölçülür?

Üç ana yol vardır: insan değerlendirmesi, otomatik ölçütler ve hata tipolojisine dayalı puanlama. Üçü farklı soruları cevaplar; ciddi bir değerlendirme genellikle en az ikisini birlikte kullanır.

Otomatik ölçütler neyi ölçer?

Makine çıktısının, insan tarafından yapılmış bir referans çeviriye ne kadar benzediğini ölçerler. Benzerlik doğruluk demek değildir; farklı ama geçerli bir çeviri düşük puan alabilir.

Kendi metnimle nasıl test yaparım?

Arşivinizden rastgele üç-beş belge seçin, hiç düzeltmeden çevirtin ve konuyu bilen bir çalışanınıza kaynakla karşılaştırarak okutun. Bulunan hataları türlerine ayırıp sayın; karar bu tabloya göre verilir.

Hangi hata türleri en kritik sayılmalı?

Anlamı tersine çeviren hatalar önceliklidir: olumsuzluk kaybı, kişi hatası, sayı ve birim hatası, kaynakta olmayan bilgi eklenmesi. Üslup kusurları genellikle ikinci sıradadır.

Kaynaklar

Papineni, K. vd. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. ACL 2002, s. 311–318.
Snover, M. vd. (2006). A Study of Translation Edit Rate with Targeted Human Annotation. AMTA 2006, s. 223–231.
Rei, R. vd. (2020). COMET: A Neural Framework for MT Evaluation. EMNLP 2020, s. 2685–2702.
Pietrzak, P. & Kornacki, M. (2021). Using CAT Tools in Freelance Translation. Routledge Focus, Bölüm 3.