Çevirmen Araştırması: 141 Kişilik Vaka Çalışmasının Yöntemi ve Kapsamı

Çeviri teknolojisi üzerine yazılan metinlerin çoğu “çevirmenler şunu yapıyor” diye başlar ve kaynağını söylemez. Bu yazı dizisinin dayandığı çevirmen araştırması ise bu konuda açık: 2019 döneminde Polonya’da, 141 çevirmenin katıldığı bir anket. Sayı da, ülke de, tarih de bellidir.

İçindekiler

Bu netlik iyi haberdir, ama beraberinde bir sorumluluk getirir. 141 kişilik bir örneklemden çıkan yüzdeler, Türkiye çeviri piyasası hakkında kanıt sayılmaz. En fazla, doğru soruları sormamıza yarar.

Aşağıda çalışmanın nasıl kurulduğunu, kimlerin katıldığını, neyin ölçüldüğünü ve — en az onun kadar önemlisi — neyin ölçülemediğini anlatıyoruz.

Çevirmen araştırması hangi soru üzerine kuruldu?

Çalışmanın çıkış noktası basit bir gözlemdi: bilgisayar destekli çeviri araçları otuz yıldır sektörde, ama bu araçları kullanan ve kullanmayan çevirmenlerin mesleki durumları arasındaki farkı sistematik olarak ölçen az sayıda çalışma var. Sektör raporları genellikle çeviri şirketlerini anlatır; serbest çevirmen ise dağınık bir kitledir ve nadiren tek tek sorulur.

Oysa serbest çevirmenler sektörün ana gövdesini oluşturuyor: farklı ülke araştırmalarının ağırlıklı ortalaması, çevirmenlerin yaklaşık %78,4’ünün serbest çalıştığını gösteriyor (Pym vd. 2012). Yani teknolojinin sektöre etkisini anlamak istiyorsanız, kurumsal çeviri departmanlarına değil bu dağınık kitleye bakmanız gerekir.

Araştırma bu boşluğu doldurmayı hedefledi. Amacı bir norm belirlemek değil, iki grubun — araç kullananlar ve kullanmayanlar — çalışma biçimlerini yan yana koyup farkların nerede belirginleştiğini görmekti. Bu, istatistiksel bir temsil iddiası taşımayan, betimleyici bir vaka çalışmasıdır.

Betimleyici olmak çalışmanın zayıflığı değil, bilinçli bir tasarım tercihidir. Ancak bu tercih, bulguları aktarırken kurabileceğimiz cümlenin biçimini de belirler. “Şu oran şu sonucu doğuruyor” diyemeyiz; “bu iki grup şu noktada birbirinden ayrılıyor” diyebiliriz. Bu ayrım, yazı dizisinin tamamında hatırlatacağımız temel kuraldır.

Örneklem: 90 kullanan, 51 kullanmayan

Ankete katılan 141 çevirmenin 90’ı bilgisayar destekli çeviri aracı kullandığını, 51’i kullanmadığını belirtti (Polonya, 2019). Bu ayrım çalışmanın omurgasıdır: neredeyse bütün bulgular bu iki grubun karşılaştırılmasıyla üretildi.

Grup	Katılımcı	Pay	Karşılaştırmanın sınırı
CAT aracı kullananlar	90	yaklaşık %64	Alt kırılımlarda hücreler küçülür
CAT aracı kullanmayanlar	51	yaklaşık %36	Tek başına ulusal temsil taşımaz
Toplam	141	%100	Polonya, 2019; gönüllü katılım

Buradaki %64 oranını “çevirmenlerin üçte ikisi CAT kullanıyor” diye okumak yanlış olur. Bu oran, ankete katılmayı seçen kişilerin dağılımıdır; bir ülkedeki bütün çevirmenlerin dağılımı değildir. Teknoloji konulu bir ankete, teknolojiyle ilgilenen kişilerin daha istekli yanıt vermesi beklenir.

51 kişilik kontrol grubu ise özellikle dikkatli okunmalıdır. Bu grup içinde yaş, uzmanlık alanı ve çalışma yılına göre kırılım yapıldığında, her hücrede on-yirmi kişi kalır. O ölçekte yüzde farkları kolayca rastlantıdan doğabilir.

Grupların büyüklüğü de eşit değil. 90’a karşı 51 kişilik bir karşılaştırmada, küçük grupta ölçülen oranlar daha oynaktır; birkaç kişinin farklı yanıt vermesi yüzdeyi birkaç puan kaydırır. Karşılaştırma tablolarında büyük grubun sayıları daha istikrarlı, küçük grubunkiler daha kırılgandır. Bu asimetri, bulguları okurken sürekli akılda tutulmalıdır.

Veri nasıl toplandı?

Veri, çevirmenlere yöneltilen yapılandırılmış bir anketle toplandı. Katılım gönüllüydü ve zorunlu bir örnekleme çerçevesi yoktu; yani araştırmacılar rastgele seçilmiş bir listeye ulaşmadı, ankete erişen çevirmenler kendi istekleriyle yanıtladı.

Bu yöntem sosyal bilimlerde yaygındır ve meşrudur, ama getirdiği kısıtı adıyla söylemek gerekir: kendi kendine seçilmiş örneklem. Sonuçlar, ankete ulaşan ve yanıtlamayı seçen topluluğu anlatır. Yanıtlamayanların ne düşündüğü ölçülemez.

İkinci bir kısıt, verinin beyana dayanmasıdır. Çevirmenlerin gelirini, kullandıkları aracı ve karşılaştıkları sorunları kendi ifadeleriyle öğreniyoruz. Kimse fatura göstermiyor, kimsenin ekranı izlenmiyor. Beyana dayalı anketlerde katılımcılar mesleki durumlarını genellikle bir miktar olumlu yönde aktarma eğilimindedir; bu, veriyi geçersiz kılmaz ama okurken paylar bırakmayı gerektirir.

Üçüncü nokta soru tasarımıdır. Bir ankette sorunun nasıl kurulduğu, alınan cevabı doğrudan etkiler. “CAT aracı kullanıyor musunuz” sorusuna verilen evet yanıtı, günde sekiz saat aracın içinde çalışan bir çevirmeni de, yılda birkaç kez zorunlu kaldığı için programı açan birini de aynı kutuya koyar. Kullanım yoğunluğu bu tür ikili sorularla ölçülemez.

Neler ölçüldü?

Anket tek bir konuya odaklanmadı; çevirmenin araçla ilişkisini birkaç eksende taradı. Bu yazı dizisinin geri kalanı, o eksenlerin her birini ayrı ayrı ele alıyor.

1. Hangi araç kullanılıyor: SDL Trados %43,3, memoQ %29,1, Wordfast %10,6 (Polonya, 2019).
2. Lisans kimin üzerine: katılımcıların %91’i kendi lisansına sahip olduğunu belirtti (Polonya, 2019).
3. Uyumluluk sorunları: %90 sorun yaşadığını, bunların %70’i sık sık yaşadığını söyledi (Polonya, 2019).
4. Geçim kaynağı: yalnızca çeviriden geçinenler CAT kullananlarda %75, kullanmayanlarda %41 (Polonya, 2019).
5. Kullanmama nedenleri: ihtiyaç duymama %50, fiyat yaklaşık %40, müşteri talebi olmaması yaklaşık %40, karmaşıklık %25 (Polonya, 2019).

Bu beş başlığın hepsi tanımlayıcıdır. Hiçbiri “araç kullanmak geliri artırır” gibi bir neden-sonuç iddiası kurmaz; yalnızca iki grubun aynı anda neye benzediğini gösterir.

Maddelerin her biri ayrı bir yazının konusu. Burada önemli olan, listenin tamamının tek bir ankete dayandığını görmek: aynı 141 kişi, aynı dönem, aynı ülke. Yani bu bulgular birbirinden bağımsız kanıtlar değil, tek bir gözlemin farklı yüzleridir. Birden fazla bulgunun aynı yöne işaret etmesi, kanıt gücünü katlamaz.

Gönüllü katılım ne getirir, ne götürür?

Gönüllü katılımın getirisi derinliktir. Zorunlu olmayan bir ankete yanıt veren kişi, genellikle konuya ilgi duyduğu için yanıt verir ve açık uçlu sorulara daha ayrıntılı cevaplar yazar. Vaka çalışmalarının niteliksel zenginliği buradan gelir.

Götürüsü ise temsildir. Meslektaş ağları, çevrimiçi gruplar ve dernek listeleri üzerinden yayılan bir anket, o ağların içindeki çevirmenlere ulaşır. Mesleki ağlara katılmayan, yalnız çalışan ya da çeviriyi ikincil iş olarak yapan kişiler sistematik biçimde eksik kalır.

Aynı sorun kontrol grubunda daha da belirgindir. “CAT kullanmıyorum” diyen bir çevirmen, teknoloji konulu bir ankete katılmayı çoğu zaman görüş bildirme fırsatı olarak görür. Bu da kullanmayanlar grubunda görüşü net olan kişilerin fazla temsil edilmesine yol açabilir; kararsız ya da konuya ilgisiz olanlar sessiz kalır.

Pratik sonuç şudur: bu araştırmanın yüzdeleri oran tahmini olarak değil, ilişki işareti olarak okunmalıdır. “Polonya’da çevirmenlerin %91’i kendi lisansını alıyor” cümlesi fazla iddialıdır. “Bu örneklemde lisans maliyeti ağırlıklı olarak çevirmenin üzerinde görünüyor” cümlesi verinin taşıyabileceği yüktür.

2019: yapay zekâ öncesi bir fotoğraf

Zaman boyutu bu çalışmanın en kritik sınırıdır. Anket 2019 dönemine aittir. O tarihte sinirsel makine çevirisi yaygındı, ama büyük dil modellerinin serbest çevirmenin günlük iş akışına girmesi henüz yaşanmamıştı.

Bu fark önemsiz değil. 2019’da “makine çevirisi kullanıyor musunuz” sorusu ile bugün aynı sorunun anlamı aynı değildir. Aynı dönemin bir başka ölçümü, serbest çevirmenlerin %55’inin makine çevirisini en azından denediğini gösteriyordu (DePalma 2012, CSA); o sayı bugün büyük olasılıkla çok daha yüksektir, ama elimizde aynı yöntemle üretilmiş güncel bir karşılaştırma yok.

Buna karşılık bazı bulguların zamana daha dayanıklı olması beklenir. Lisansın kimin üzerine alındığı ya da dosya biçimlerinin birbiriyle konuşmakta zorlanması, model kuşağı değiştikçe hızla değişen konular değildir. Tutuma ve beklentiye dair sorular ise büyük olasılıkla en hızlı eskiyen bölümdür.

Dolayısıyla bu araştırmayı bir eğilim ölçümü değil, tarihli bir fotoğraf olarak ele almak gerekiyor. Fotoğrafın değeri, sonrasında ne değiştiğini ölçebileceğimiz bir referans noktası sunmasıdır. Bu çerçevenin tamamını araştırmanın sınırlarını ele aldığımız yazıda ayrıntılandırdık.

Türkiye bağlamı

Türkiye’de bu ölçekte ve bu yöntemle yapılmış, kamuya açık bir çevirmen araştırması bulunmuyor. Karşılaştırmalı bir sayı veremiyoruz, çünkü böyle bir sayı yok. Bunu belirtmek, tahmin yürütmekten daha dürüst.

Türkiye piyasasının yapısı da örneklemi doğrudan aktarmayı zorlaştırıyor. Polonya, Avrupa Birliği kurumlarına yönelik büyük hacimli bir kamu çeviri talebiyle çevrili; bu talep CAT araçlarını fiilen zorunlu kılar. Türkiye’de ise iş hacminin önemli bir bölümü noter onayına bağlı belge çevirisi, ticari yazışma ve web içeriğidir. Noter tasdikli kısa belgede çeviri belleğinin getirisi sınırlıdır.

Dil yapısı da bir fark üretir. Türkçe sondan eklemeli bir dildir; tek bir kelime, başka dillerde bir cümlecikle karşılanan bilgiyi taşıyabilir. Bu, kelime bazlı ölçümleri Türkçe için doğrudan karşılaştırılamaz hâle getirir. Polonya verisindeki hacim ve verim sayıları, Türkçe projelere birebir taşınamaz.

Bu sizin için ne anlama geliyor?

Çeviri satın alan taraf için buradaki asıl ders yöntemseldir: tedarikçinizin size sunduğu her istatistiğin arkasında bir örneklem vardır ve o örneklemi sormak hakkınızdır.

1. Size verilen verim ya da tasarruf oranının hangi yıla, hangi pazara ve kaç projeye dayandığını sorun.
2. Genel sektör ortalamalarını değil, kendi belge tipinizde ölçülmüş sonuçları isteyin.
3. Küçük bir pilot çeviriyle kendi verinizi üretin; on sayfalık bir deneme, yüz kişilik bir anketten daha bağlayıcıdır.
4. Tasarruf vaadi veren her teklifin, hangi tekrar oranına dayandığını yazılı olarak isteyin.

Biz de bu yüzden fiyatlandırmayı genel ortalamalara değil, sizin dosyanızın gerçek tekrar analizine dayandırıyoruz. Belge tipinize göre nasıl çalıştığımızı hizmet sayfamızda görebilir, kendi dosyanız için ölçülmüş bir rakam almak isterseniz teklif formunu kullanabilirsiniz.

Sık sorulan sorular

Araştırma kaç çevirmenle yapıldı?

Toplam 141 çevirmenle yapıldı (Polonya, 2019). Bu katılımcıların 90’ı CAT aracı kullanan, 51’i kullanmayan çevirmenlerden oluşuyordu.

Bulgular Türkiye için geçerli mi?

Doğrudan geçerli değildir. Örneklem Polonya’dadır ve Türkiye pazarını temsil etmez. Bulgular ölçüt olarak değil, ancak soru üretmek için kullanılabilir.

141 kişilik bir örneklem yeterli mi?

Vaka çalışması için makul, ulusal ölçekte genelleme için küçüktür. Örneklem alt gruplara bölündüğünde 51 kişilik hücrelere iner ve hata payı büyür.

Veriler bugün hâlâ güncel mi?

Anket 2019 dönemine aittir; büyük dil modellerinin sektöre yayılmasından öncesine denk gelir. O tarihteki tutumların bir bölümü bugün değişmiş olabilir.

Kaynaklar

• Pietrzak, P. & Kornacki, M. (2021). Using CAT Tools in Freelance Translation: Insights from a Case Study. Routledge Focus, Bölüm 6.
• Pym, A., Grin, F., Sfreddo, C. & Chan, A. L. J. (2012). The Status of the Translation Profession in the European Union. Avrupa Komisyonu.
• DePalma, D. (2012). Translation Productivity Benchmarks. Common Sense Advisory.