Abstract

Bu çalışma, Arapça–Türkçe dil çiftinde yapay zekâ çeviri sistemlerinin zengin nokta (rich point) olarak tanımlanan karmaşık çeviri birimlerini ne ölçüde başarıyla çevirebildiğini incelemektedir. Gassan Kenefanî’nin Bizim Olmayan Âlem adlı eserinin Hengil (2023) tarafından yapılan çevirisinden seçilen on zengin nokta, üç yapay zekâ sistemi (ChatGPT, DeepSeek, Gemini) tarafından çevrilmiş ve çeviri alanında uzman akademisyenler tarafından anlamsal yakınlık, akıcılık, makine izi/yapaylık ve yaratıcı uyum ölçütlerine göre değerlendirilmiştir. Bulgular, üç sistemin de genel olarak yüksek çeviri yeterliliği sunduğunu ve özellikle anlamsal yakınlık ile akıcılık kriterlerinde birbirlerine oldukça yakın, yüksek puanlar aldıklarını göstermektedir. Sistemler arasında anlam aktarımı açısından istatistiksel olarak anlamlı bir farklılık ortaya çıkmaması, yapay zekâ modellerinin zengin noktalar gibi yorum gerektiren yapılarda dahi insan çevirisine oldukça yaklaştığını göstermektedir. Bununla birlikte, makine izi/yapaylık ölçütünde diğer kriterlere kıyasla daha düşük puanlar elde edilmesi, bu sistemlerin doğal söylem üretimi konusunda hâlâ belirli sınırlılıklara sahip olduğunu ortaya koymaktadır. Koller’in eşdeğerlik sınıflandırmasına göre yapılan incelemeler, yapay zekâ çevirilerinin büyük ölçüde düzanlamsal ve metinsel eşdeğerlik sağladığını; ancak iletişimsel ve edimsel eşdeğerlik gerektiren çeviri anlarında insan çevirisinin gerisinde kaldığını göstermektedir. Çalışma, yapay zekâ çevirilerinin insan çevirisine ne zaman yaklaştığını ne zaman uzaklaştığını ortaya koyarak çeviri teknolojileri ve çeviri eğitimi alanlarına teorik ve uygulamalı katkı sunmaktadır.

Abstract

This study examines the extent to which artificial intelligence translation systems can successfully translate complex units known as rich points within the Arabic–Turkish language pair. Ten rich points selected from Hengil’s (2023) Turkish translation of Ghassan Kanafani’s A World Not Ours were translated by three AI systems (ChatGPT, DeepSeek, Gemini) and evaluated by expert scholars based on four criteria: semantic accuracy, fluency, machine trace/artificiality, and creative adequacy. The findings demonstrate that all three systems exhibit high levels of translation proficiency, receiving similarly high scores particularly in semantic accuracy and fluency. The absence of statistically significant differences among the systems in meaning transfer indicates that AI models can approach human translators even in rich points, which require interpretive decision-making. However, the relatively lower scores in the machine trace/artificiality criterion reveal that current AI systems still retain certain mechanical patterns and do not fully achieve natural human-like discourse production. The analysis conducted using Werner Koller’s equivalence typology further shows that AI systems predominantly achieve denotative and textual equivalence, while struggling to maintain communicative and pragmatic equivalence, especially in contexts that require cultural insight, stylistic sensitivity, or creative decision-making. By identifying the conditions under which AI translations converge with or diverge from human translation, this study offers significant theoretical and pedagogical contributions to the fields of translation technologies and translator training.

Structured Abstract:

In recent years, the field of machine translation has undergone radical changes and developments, driven by advancements in artificial intelligence technologies. Translation systems have evolved from initially using simple algorithms that provided only word-for-word equivalents into complex AI systems capable of grasping intertextual contexts, analysing linguistic meaning relationships, and offering creative solutions. Neural Machine Translation (NMT) systems, in particular, attempt to understand the text as a whole through encoder-decoder architectures. However, the quality of these technologies in the Arabic-Turkish language pair remains a subject of debate. There is a particular curiosity regarding how closely these tools can approximate human translation in terms of qualities such as semantic integrity, contextual appropriateness, and creative language use. It is critical to determine how they perform in areas requiring human intuition, such as idioms, cultural elements, metaphors, and references.

The primary aim of this research is to determine the extent to which three different GenAI models (ChatGPT, DeepSeek, and Gemini) approximate human translation by analysing a passage containing "rich points" selected from the Arabic-to-Turkish translation of Ghassan Kanafani’s short story collection "A World Not Ours" (translated by Hengil, 2023). The study seeks to reveal the success levels of GenAI models in terms of semantic accuracy, fluency, machine trace/artificiality, and creative adequacy, while also providing a comparative analysis of their performance against human translation.

The translation process is a cognitive activity that transcends mere linguistic transfer, involving a complex interplay of strategic decision-making, contextual interpretation, and problem-solving mechanisms. This process has been extensively investigated through empirical-experimental methods by the PACTE (Process in the Acquisition of Translation Competence and Evaluation) research group. Led by A. Hurtado Albir at the Universitat Autònoma de Barcelona, these studies aim to define "translation competence" within a holistic framework. According to the PACTE model, translation competence is fundamentally procedural expert knowledge comprising five sub-competencies: bilingual, extra-linguistic, knowledge about translation, instrumental, and the strategic sub-competence, which governs the entire process (PACTE, 2005, p. 610).

In this model, the concept of the "Rich Point" serves as an operational tool to measure decision-making mechanisms and the efficiency of strategic competence. Rich points are specific textual units within the source text that pose significant challenges for the translator and cannot be resolved through automated or standardised solutions. In PACTE’s (2005) methodology, the selection of rich points is based on three fundamental criteria (p. 614):

Degree of Difficulty: The selected unit must cause a hesitation in the translator and should not offer a single, immediately accessible acceptable solution.

Variety of Problems: Rich points must represent a diversity of translation problems, including lexico-grammatical, textual, pragmatic, and cultural challenges.

Homogeneity and Comparability: To allow for comparisons across different language pairs in experimental studies, these points are expected to present a similar level of difficulty in all languages involved.

According to the PACTE group, rich points are the areas where the interaction between the translator's "internal support" (cognitive resources) and "external support" (dictionaries, internet, documentation resources, etc.) is most observable. Analysis of these points reveals how translators define problems and which sequences of actions (reading, pausing, provisional solutions, external consultation, etc.) they follow toward a final solution. Thus, rich points are not merely linguistic obstacles; they are critical junctures where sub-competencies—particularly the strategic sub-competence responsible for problem-solving and efficacy—are most intensely activated.

In this study, the translation of ten rich points selected from Ghassan Kanafani’s work by artificial intelligence systems is of central importance to test the extent to which these technological models approach human translation in the complex decision-making and strategic solution-generation processes defined by PACTE. Furthermore, these translations are evaluated within the framework of Werner Koller’s (1995) equivalence classification, providing a systematic taxonomy to determine whether AI systems achieve denotative, connotative, text-normative, pragmatic, or formal equivalence in these high-stakes textual units.

In this study, the translations of identified rich points were analysed according to Werner Koller’s classification of equivalence types. The theoretical framework posits that while GenAI models can analyse source sentences based on contextual relationships, the question remains whether they can replicate the translator's intuition in communicative and pragmatic dimensions. By focusing on rich points, this study contributes to the literature by revealing when AI translations approximate human translation and when they diverge, particularly within the limited research area of Arabic-Turkish AI translations.

This research was designed as a qualitative case study. The study compares the production of human translation against three different AI translation systems based on specific rich points within the text. A passage containing 10 rich points was selected from Ghassan Kanafani’s "A World Not Ours", and these points were translated by ChatGPT, DeepSeek, and Gemini.

The data collection process involved five academics specialised in the field of Arabic translation. These participants independently examined the translations for each rich point and scored them based on four criteria: semantic accuracy, fluency, machine trace/artificiality, and creativity. A Likert scale of 1–5 was used. The data were analysed using both descriptive statistics to determine performance averages and the Kruskal-Wallis test to identify if there were significant statistical differences between the systems.

The evaluation criteria (semantic accuracy, fluency, machine trace, and creativity) were established by synthesising established metrics from both machine translation (MT) quality assessment and translation studies. Semantic accuracy and fluency are standard metrics in human-based MT evaluation, as defined by White (1994, p. 196), representing 'adequacy' and 'intelligibility', respectively. Machine Trace/Artificiality was included to assess 'naturalness' and the presence of 'translationese', which is critical in literary contexts (Bowker & Ehrensberger-Dow, 2019, pp. 252-255). Finally, creativity was specifically selected to evaluate the systems' performance on 'rich points'. Since rich points require non-automated, strategic problem-solving (PACTE, 2005), this criterion measures the 'Creative Problem Solving' capacity of AI, aligning with Kussmaul’s (1995) and Bayer-Hohenwarter’s (2011) frameworks for assessing creative shifts in translation." Furthermore, a qualitative analysis was conducted to interpret the specific translation choices using Koller’s equivalence framework.

The quantitative findings indicate that all three AI systems generally demonstrate high translation proficiency and receive similarly high scores across all criteria. Statistical analysis revealed no significant differences among the systems for semantic accuracy (p=.47), fluency (p=.58), machine trace (p=.86), or creativity (p=.70). The high scores in semantic accuracy suggest that these models are competent in interpreting context and maintaining textual integrity. However, while the systems performed well numerically, the qualitative analysis of the rich points highlighted distinct divergences between human and AI strategies.

The analysis revealed that while AI systems frequently achieved denotative and textual equivalence, they often failed to achieve the communicative or pragmatic equivalence that the human translator successfully managed. For instance, in one rich point, the human translator used the idiom "taş kesilmek" (petrified/stone-still) to translate the Arabic word for "froze", thereby providing connotative and communicative equivalence suitable for the literary context. In contrast, the AI systems used the literal "donup kaldı" (froze), achieving only denotative equivalence. In another example involving a specific colour description ("red closer to brown"), the human translator correctly identified the dominant pigment as red ("kahveye çalan kırmızı"), whereas ChatGPT and DeepSeek translated it as brown ("kırmızıya çalan kahverengi"), failing to achieve precise denotative equivalence in this nuance. Similarly, regarding a cultural object, the human translator rendered "wood/plank" as "tünek" (perch), fitting the bird context, while AI systems translated it literally as "tahta" (board), missing the specific contextual function.

The study concludes that AI translation systems have reached an advanced level in interpreting context and maintaining text integrity, often performing close to human translation even in complex rich points. The lack of statistically significant differences between the models indicates a generalised improvement in AI capabilities for the Arabic-Turkish pair. However, the analysis reveals that full functional competence has not yet been achieved. The AI models primarily operate on pattern recognition and statistical relationships, which limits their ability to produce the natural discourse, tone, and intent reading that human translators provide through cognitive and cultural filtering.

Specifically, the findings support the conclusion that while AI achieves denotative equivalence, it falls short in communicative-pragmatic equivalence. To obtain more advanced results, particularly in reducing machine traces and increasing naturalness, language models must be developed to be more comprehensively sensitive to cultural interpretation processes, discourse functions, and pragmatic competencies. It is suggested that future models should be trained not only on lexical or structural relationships but also on data that accounts for the target reader's expectations and the text's contextual function.

For practitioners and educators, the high performance of AI in rich points suggests these systems are powerful auxiliary tools. However, they cannot yet fully replace the cognitive decision-making processes of a human translator. Translator training should focus on identifying where AI is reliable and where human intervention is essential—specifically in culturally loaded or pragmatically complex "rich points". Future studies should expand on this by employing larger datasets, different text types, and newer model versions to track the developmental dynamics of AI translation performance.

Yapılandırılmış Özet:

Son yıllarda, yapay zeka teknolojilerindeki gelişmelerin etkisiyle makine çevirisi alanında köklü değişiklikler ve gelişmeler yaşanmıştır. Çeviri sistemleri, başlangıçta sadece kelime kelime eşdeğerler sağlayan basit algoritmalar kullanırken, günümüzde metinler arası bağlamları kavrayabilen, dilbilimsel anlam ilişkilerini analiz edebilen ve yaratıcı çözümler sunabilen karmaşık yapay zeka sistemlerine dönüşmüştür. Özellikle sinirsel makine çevirisi (NMT) sistemleri, kodlayıcı-kod çözücü mimarileri aracılığıyla metni bir bütün olarak anlamaya çalışır. Ancak, bu teknolojilerin Arapça-Türkçe dil çiftindeki kalitesi hâlâ bir tartışma konusudur. Bu araçların, anlamsal bütünlük, bağlamsal uygunluk ve yaratıcı dil kullanımı gibi özellikler açısından insan çevirisine ne kadar yaklaşabildikleri konusunda özel bir merak vardır. Deyimler, kültürel unsurlar, metaforlar ve referanslar gibi insan sezgisi gerektiren alanlarda nasıl performans gösterdiklerini belirlemek çok önemlidir.

Bu araştırmanın temel amacı, Ghassan Kanafani'nin kısa öykü koleksiyonu “A World Not Ours”un (Hengil, 2023 tarafından çevrilmiştir) Arapça-Türkçe çevirisinden seçilen “zengin noktalar” içeren bir pasajı analiz ederek, üç farklı GenAI modelinin (ChatGPT, DeepSeek ve Gemini) insan çevirisine ne kadar yaklaştığını belirlemektir. Çalışma, GenAI modellerinin anlamsal doğruluk, akıcılık, makine izi/yapaylık ve yaratıcı yeterlilik açısından başarı düzeylerini ortaya koyarken, aynı zamanda insan çevirisiyle karşılaştırmalı bir performans analizi sunmayı amaçlamaktadır.

Çeviri süreci, stratejik karar verme, bağlamsal yorumlama ve problem çözme mekanizmalarının karmaşık bir etkileşimini içeren, salt dilsel aktarımın ötesine geçen bilişsel bir faaliyettir. Bu süreç, PACTE (Çeviri Yetkinliği Kazanımı ve Değerlendirme Süreci) araştırma grubu tarafından ampirik-deneysel yöntemlerle kapsamlı bir şekilde incelenmiştir. Universitat Autònoma de Barcelona'dan A. Hurtado Albir tarafından yürütülen bu çalışmalar, “çeviri yetkinliğini” bütünsel bir çerçeve içinde tanımlamayı amaçlamaktadır. PACTE modeline göre, çeviri yeterliliği temelde beş alt yeterlilikten oluşan prosedürel uzmanlık bilgisi: iki dillilik, dil dışı, çeviri bilgisi, araçsal ve tüm süreci yöneten stratejik alt yeterlilik (PACTE, 2005, s. 610).

Bu modelde, “Zengin Nokta” kavramı, karar verme mekanizmalarını ve stratejik yetkinliğin verimliliğini ölçmek için operasyonel bir araç olarak hizmet eder. Zengin noktalar, çevirmen için önemli zorluklar oluşturan ve otomatik veya standart çözümlerle çözülemeyen kaynak metin içindeki belirli metin birimleridir. PACTE'nin (2005) metodolojisinde, zengin noktaların seçimi üç temel kritere dayanır (s. 614):

Zorluk Derecesi: Seçilen birim, çevirmen için tereddüt yaratmalı ve tek, hemen erişilebilir, kabul edilebilir bir çözüm sunmamalıdır.

Sorunların Çeşitliliği: Zengin noktalar, sözcükbilimsel-gramer, metinsel, pragmatik ve kültürel zorluklar dahil olmak üzere çeşitli çeviri sorunlarını temsil etmelidir.

Homojenlik ve Karşılaştırılabilirlik: Deneysel çalışmalarda farklı dil çiftleri arasında karşılaştırma yapılabilmesi için, bu noktaların ilgili tüm dillerde benzer bir zorluk derecesi sunması beklenir.

PACTE grubuna göre, zengin noktalar, çevirmenin “iç desteği” (bilişsel kaynaklar) ve “dış desteği” (sözlükler, internet, dokümantasyon kaynakları vb.) arasındaki etkileşimin en çok gözlemlendiği alanlardır. Bu noktaların analizi, çevirmenlerin sorunları nasıl tanımladıklarını ve nihai çözüme ulaşmak için hangi eylem dizilerini (okuma, duraklama, geçici çözümler, dış danışma vb.) izlediklerini ortaya koyar. Dolayısıyla, zengin noktalar yalnızca dilbilimsel engeller değildir; alt yetkinliklerin, özellikle de problem çözme ve etkinlikten sorumlu stratejik alt yetkinliğin en yoğun şekilde harekete geçtiği kritik kavşak noktalarıdır.

Bu çalışmada, Ghassan Kanafani'nin eserinden seçilen on zengin noktanın yapay zeka sistemleri tarafından çevirisi, bu teknolojik modellerin PACTE tarafından tanımlanan karmaşık karar verme ve stratejik çözüm üretme süreçlerinde insan çevirisine ne ölçüde yaklaştığını test etmek için merkezi öneme sahiptir. Ayrıca, bu çeviriler Werner Koller'in (1995) eşdeğerlik sınıflandırması çerçevesinde değerlendirilerek, AI sistemlerinin bu yüksek riskli metin birimlerinde gösterge, çağrışım, metin normu, pragmatik veya biçimsel eşdeğerlik elde edip etmediklerini belirlemek için sistematik bir sınıflandırma sağlanmaktadır.

Bu çalışmada, belirlenen zengin noktaların çevirileri Werner Koller'in eşdeğerlik türleri sınıflandırmasına göre analiz edilmiştir. <en-gb-grammar>Teorik çerçeve, GenAI modellerinin bağlamsal ilişkilere dayalı olarak kaynak cümleleri analiz edebildiğini, ancak çevirmenin iletişimsel ve pragmatik boyutlardaki sezgisini taklit edip edemediği sorusunun hala cevaplanmamış olduğunu ortaya koymaktadır.</en-gb-grammar> Zengin noktalara odaklanarak, bu çalışma, özellikle Arapça-Türkçe AI çevirileri gibi sınırlı bir araştırma alanında, AI çevirilerinin insan çevirisine ne zaman yaklaştığını ve ne zaman uzaklaştığını ortaya koyarak literature katkıda bulunmaktadır.

Bu araştırma, nitel bir vaka çalışması olarak tasarlanmıştır. Çalışma, metin içindeki belirli zengin noktalara dayalı olarak insan çevirisi ile üç farklı AI çeviri sisteminin üretimini karşılaştırmaktadır. Ghassan Kanafani'nin “A World Not Ours” adlı eserinden 10 zengin nokta içeren bir pasaj seçilmiş ve bu noktalar ChatGPT, DeepSeek ve Gemini tarafından çevrilmiştir.

Veri toplama sürecine Arapça çeviri alanında uzman beş akademisyen katılmıştır. Bu katılımcılar, her bir zengin nokta için çevirileri bağımsız olarak incelemiş ve dört kritere göre puanlamıştır: anlamsal doğruluk, akıcılık, makine izi/yapaylık ve yaratıcılık. 1-5 arası Likert ölçeği kullanılmıştır. Veriler, performans ortalamalarını belirlemek için betimsel istatistikler ve sistemler arasında istatistiksel olarak anlamlı farklar olup olmadığını belirlemek için Kruskal-Wallis testi kullanılarak analiz edilmiştir.

Değerlendirme kriterleri (anlamsal doğruluk, akıcılık, makine izi ve yaratıcılık), hem makine çevirisi (MT) kalite değerlendirmesi hem de çeviri çalışmalarından elde edilen yerleşik ölçütlerin sentezlenmesi ile belirlenmiştir. Anlamsal doğruluk ve akıcılık, White (1994, s. 196) tarafından tanımlandığı üzere, insan temelli MT değerlendirmesinde standart ölçütlerdir and sırasıyla “yeterlilik” and “anlaşılabilirlik” anlamına gelir. Makine İzleri/Yapaylık, edebi bağlamlarda kritik öneme sahip olan “doğallık” ve “çeviri dili”nin varlığını değerlendirmek için dahil edilmiştir (Bowker & Ehrensberger-Dow, 2019, ss. 252-255). Son olarak, yaratıcılık, sistemlerin “zengin noktalar” üzerindeki performansını değerlendirmek için özel olarak seçilmiştir. Zengin noktalar, otomatik olmayan, stratejik problem çözme gerektirdiğinden (PACTE, 2005), bu kriter, çeviride yaratıcı değişimleri değerlendirmek için Kussmaul (1995) ve Bayer-Hohenwarter (2011) çerçeveleriyle uyumlu olarak AI'nın “Yaratıcı Problem Çözme” kapasitesini ölçer. Ayrıca, Koller'in eşdeğerlik çerçevesini kullanarak belirli çeviri seçimlerini yorumlamak için nitel bir analiz gerçekleştirilmiştir.

Nicel bulgular, üç AI sisteminin de genel olarak yüksek çeviri yeterliliği gösterdiğini and tüm kriterlerde benzer şekilde yüksek puanlar aldığını göstermektedir. İstatistiksel analiz, sistemler arasında anlamsal doğruluk (p=.47), akıcılık (p=.58), makine izi (p=.86) or yaratıcılık (p=.70) açısından önemli bir fark olmadığını ortaya koymuştur. Anlamsal doğrulukta yüksek puanlar, bu modellerin bağlamı yorumlama ve metinsel bütünlüğü koruma konusunda yetkin olduğunu göstermektedir. Ancak, sistemler sayısal olarak iyi performans gösterirken, zengin noktaların niteliksel analizi, insan ve AI stratejileri arasında belirgin farklılıklar olduğunu ortaya koymuştur.

Analiz, AI sistemlerinin sıklıkla göstergeci ve metinsel eşdeğerlik sağladığını, ancak insan çevirmenlerin başarıyla sağladığı iletişimsel veya pragmatik eşdeğerliği çoğu zaman sağlayamadığını ortaya koymuştur. Örneğin, bir zengin noktada, insan çevirmen Arapça “dondu” kelimesini çevirmek için “taş kesilmek” (taş kesilmek/hareketsiz kalmak) deyimini kullanarak, edebi bağlama uygun çağrışım ve iletişimsel eşdeğerlik sağlamıştır. Buna karşılık, yapay zeka sistemleri kelimenin tam anlamıyla “donup kaldı” (dondu) ifadesini kullanarak sadece gösterici eşdeğerlik sağlamıştır. Belirli bir renk tanımını (“kahverengiye yakın kırmızı”) içeren başka bir örnekte, insan çevirmen baskın pigmenti doğru bir şekilde kırmızı (“kahveye çalan kırmızı”) olarak tanımlarken, ChatGPT ve DeepSeek bunu kahverengi (“kırmızıya çalan kahverengi”) olarak çevirerek bu nüansın kesin anlamsal eşdeğerliğini sağlayamamıştır. Benzer şekilde, kültürel bir nesneyle ilgili olarak, insan çevirmen “wood/plank” (tahta/kalas) ifadesini kuş bağlamına uygun olarak ‘tünek’ olarak çevirirken, AI sistemleri bunu kelime anlamıyla “tahta” olarak çevirerek bağlamın özel işlevini kaçırdı.

Çalışma, AI çeviri sistemlerinin bağlamı yorumlama ve metin bütünlüğünü koruma konusunda ileri bir düzeye ulaştığı ve karmaşık zengin noktalarda bile genellikle insan çevirisine yakın performans gösterdiği sonucuna varmıştır. Modeller arasında istatistiksel olarak anlamlı bir fark olmaması, Arapça-Türkçe çifti için AI yeteneklerinde genel bir iyileşme olduğunu göstermektedir. Ancak analiz, tam işlevsel yeterliliğin henüz elde edilmediğini ortaya koymaktadır. AI modelleri temel olarak örüntü tanıma ve istatistiksel ilişkiler üzerinde çalışır, bu da insan çevirmenlerin bilişsel ve kültürel filtreleme yoluyla sağladıkları doğal söylem, üslup ve niyet okumasını üretme yeteneklerini sınırlamaktadır.

Özellikle, bulgular, AI'nın denotatif eşdeğerliği sağlarken, iletişimsel-pragmatik eşdeğerlikte yetersiz kaldığı sonucunu desteklemektedir. Daha gelişmiş sonuçlar elde etmek için, özellikle makine izlerini azaltmak ve doğallığı artırmak için, dil modelleri kültürel yorumlama süreçlerine, söylem işlevlerine ve pragmatik yetkinliklere daha kapsamlı bir şekilde duyarlı olacak şekilde geliştirilmelidir. Gelecekteki modellerin sadece sözcüksel veya yapısal ilişkiler üzerinde değil, aynı zamanda hedef okuyucunun beklentilerini ve metnin bağlamsal işlevini de dikkate alan veriler üzerinde eğitilmesi önerilmektedir.

Uygulayıcılar ve eğitimciler için, AI'nın zengin noktalardaki yüksek performansı, bu sistemlerin güçlü yardımcı araçlar olduğunu göstermektedir. Ancak, henüz insan çevirmenlerin bilişsel karar verme süreçlerinin yerini tam olarak alamamaktadırlar. Çevirmen eğitimi, yapay zekanın nerede güvenilir olduğu ve nerede insan müdahalesinin gerekli olduğu, özellikle kültürel açıdan yüklü veya pragmatik açıdan karmaşık “zengin noktalar”ın belirlenmesi üzerine odaklanmalıdır. Gelecekteki çalışmalar, yapay zeka çeviri performansının gelişim dinamiklerini izlemek için daha büyük veri kümeleri, farklı metin türleri ve daha yeni model versiyonları kullanarak bu konuyu daha da genişletmelidir.

ملخص منظم

في السنوات الأخيرة، شهد مجال الترجمة الآلية تغييرات وتطورات جذرية، مدفوعة بالتقدم في تقنيات الذكاء الاصطناعي. تطورت أنظمة الترجمة من استخدام خوارزميات بسيطة في البداية توفر فقط معادلات كلمة بكلمة إلى أنظمة ذكاء اصطناعي معقدة قادرة على فهم السياقات النصية، وتحليل العلاقات اللغوية المعنوية، وتقديم حلول إبداعية. تحاول أنظمة الترجمة الآلية العصبية (NMT) على وجه الخصوص فهم النص ككل من خلال هياكل التشفير والترميز. ومع ذلك، لا تزال جودة هذه التقنيات في زوج اللغتين العربية والتركية موضوعًا للنقاش. هناك فضول خاص بشأن مدى قرب هذه الأدوات من الترجمة البشرية من حيث جوانب مثل التكامل الدلالي وملاءمة السياق والاستخدام الإبداعي للغة. من الأهمية بمكان تحديد أدائها في المجالات التي تتطلب الحدس البشري، مثل التعابير الاصطلاحية والعناصر الثقافية والاستعارات والمراجع. الهدف الأساسي من هذا البحث هو تحديد مدى تقارب ثلاثة نماذج مختلفة من GenAI (ChatGPT و DeepSeek و Gemini) مع الترجمة البشرية من خلال تحليل مقطع يحتوي على ”نقاط غنية“ مختارة من الترجمة العربية إلى التركية لمجموعة قصص قصيرة لغسان كنفاني بعنوان ”عالم ليس عالمنا“ (ترجمة هنجيل، 2023). تسعى الدراسة إلى الكشف عن مستويات نجاح نماذج GenAI من حيث الدقة الدلالية والطلاقة والتتبع الآلي/الاصطناعي والكفاية الإبداعية، مع تقديم تحليل مقارن لأدائها مقارنة بالترجمة البشرية.

عملية الترجمة هي نشاط معرفي يتجاوز مجرد النقل اللغوي ويتضمن تفاعلًا معقدًا بين اتخاذ القرارات الاستراتيجية والتفسير السياقي وآليات حل المشكلات. وقد تمت دراسة هذه العملية بشكل مكثف من خلال أساليب تجريبية-تجريبية من قبل مجموعة البحث PACTE (عملية اكتساب كفاءة الترجمة وتقييمها). بقيادة A. Hurtado Albir في Universitat Autònoma de Barcelona، تهدف هذه الدراسات إلى تعريف ”كفاءة الترجمة“ ضمن إطار شامل. وفقًا لنموذج PACTE، فإن كفاءة الترجمة هي في الأساس معرفة إجرائية متخصصة تتألف من خمس كفاءات فرعية: ثنائية اللغة، وخارجية اللغة، ومعرفة الترجمة، وأدواتية، وكفاءة فرعية استراتيجية تحكم العملية برمتها (PACTE، 2005، ص. 610).

في هذا النموذج، يُستخدم مفهوم ”النقطة الغنية“ كأداة تشغيلية لقياس آليات صنع القرار وكفاءة الكفاءة الاستراتيجية. النقاط الغنية هي وحدات نصية محددة في النص المصدر تشكل تحديات كبيرة للمترجم ولا يمكن حلها من خلال حلول آلية أو قياسية. في منهجية PACTE (2005)، يعتمد اختيار النقاط الغنية على ثلاثة معايير أساسية (ص. 614):

درجة الصعوبة: يجب أن تسبب الوحدة المختارة ترددًا لدى المترجم وألا تقدم حلًا واحدًا مقبولًا يمكن الوصول إليه على الفور.

تنوع المشكلات: يجب أن تمثل النقاط الغنية تنوعًا في مشكلات الترجمة, بما في ذلك التحديات المعجمية والنحوية والنصية والبراغماتية والثقافية.

التجانس وقابلية المقارنة: للسماح بإجراء مقارنات بين أزواج لغوية مختلفة في الدراسات التجريبية، من المتوقع أن تمثل هذه النقاط مستوى مماثلاً من الصعوبة في جميع اللغات المعنية.

وفقًا لمجموعة PACTE، النقاط الغنية هي المجالات التي يمكن فيها ملاحظة التفاعل بين ”الدعم الداخلي“ للمترجم (الموارد المعرفية) و”الدعم الخارجي“ (القواميس والإنترنت وموارد التوثيق، إلخ) بشكل أكبر. يكشف تحليل هذه النقاط كيف يحدد المترجمون المشكلات وأي تسلسل من الإجراءات (القراءة، التوقف المؤقت، الحلول المؤقتة، الاستشارة الخارجية، إلخ) يتبعونه للوصول إلى الحل النهائي. وبالتالي، فإن النقاط الغنية ليست مجرد عقبات لغوية؛ بل هي منعطفات حاسمة يتم فيها تفعيل الكفاءات الفرعية بشكل مكثف، لا سيما الكفاءة الفرعية الاستراتيجية المسؤولة عن حل المشكلات والفعالية.

في هذه الدراسة، تعتبر ترجمة عشرة نقاط غنية مختارة من أعمال غسان كنفاني بواسطة أنظمة الذكاء الاصطناعي ذات أهمية مركزية لاختبار مدى اقتراب هذه النماذج التكنولوجية من الترجمة البشرية في عمليات صنع القرار المعقدة وتوليد الحلول الاستراتيجية التي حددتها PACTE. علاوة على ذلك، يتم تقييم هذه الترجمات في إطار تصنيف التكافؤ لفيرنر كولر (1995)، الذي يوفر تصنيفًا منهجيًا لتحديد ما إذا كانت أنظمة الذكاء الاصطناعي تحقق التكافؤ الدلالي أو المجازي أو النصي أو البراغماتي أو الشكلي في هذه الوحدات النصية عالية المخاطر.

في هذه الدراسة، تم تحليل ترجمات النقاط الغنية المحددة وفقًا لتصنيف فيرنر كولر لأنواع التكافؤ. يفترض الإطار النظري أنه في حين أن نماذج GenAI يمكنها تحليل الجمل المصدرية بناءً على العلاقات السياقية، فإن السؤال يظل مطروحًا حول ما إذا كان بإمكانها تكرار حدس المترجم في الأبعاد التواصلية والبراغماتية. من خلال التركيز على النقاط الغنية، تساهم هذه الدراسة في الأدبيات من خلال الكشف عن الحالات التي تقترب فيها ترجمات الذكاء الاصطناعي من الترجمة البشرية والحالات التي تختلف فيها، لا سيما في مجال البحث المحدود لترجمات الذكاء الاصطناعي من العربية إلى التركية.

صُممت هذه الدراسة كدراسة حالة نوعية. تقارن الدراسة بين الترجمة البشرية وثلاثة أنظمة ترجمة مختلفة تعتمد على الذكاء الاصطناعي بناءً على نقاط غنية محددة في النص. تم اختيار مقطع يحتوي على 10 نقاط غنية من رواية غسان كنفاني ”عالم ليس عالمنا", وترجمت هذه النقاط بواسطة ChatGPT و DeepSeek و Gemini.

شارك في عملية جمع البيانات خمسة أكاديميين متخصصين في مجال الترجمة العربية. قام هؤلاء المشاركون بفحص الترجمات بشكل مستقل لكل نقطة غنية وتقييمها بناءً على أربعة معايير: الدقة الدلالية، والطلاقة، والأثر الآلي/الاصطناعية، والإبداع. تم استخدام مقياس ليكرت من 1 إلى 5. تم تحليل البيانات باستخدام الإحصاءات الوصفية لتحديد متوسطات الأداء واختبار كروسكال-واليس لتحديد ما إذا كانت هناك فروق إحصائية ذات دلالة بين الأنظمة.

تم تحديد معايير التقييم (الدقة الدلالية، والطلاقة، وآثار الآلة، والإبداع) من خلال توليف المقاييس المعمول بها في تقييم جودة الترجمة الآلية (MT) ودراسات الترجمة. الدقة الدلالية والطلاقة هما مقياسان قياسيان في تقييم الترجمة الآلية البشرية، كما حددهما وايت (1994، ص. 196)، ويمثلان ”الكفاية“ و”الوضوح“ على التوالي. تم تضمين أثر الآلة/الاصطناعية لتقييم ”الطبيعية“ ووجود ”لغة الترجمة“، وهو أمر بالغ الأهمية في السياقات الأدبية (Bowker & Ehrensberger-Dow, 2019, pp. 252-255). أخيرًا، تم اختيار الإبداع على وجه التحديد لتقييم أداء الأنظمة في ”النقاط الغنية“. نظرًا لأن النقاط الغنية تتطلب حلاً استراتيجيًا غير آلي للمشكلات (PACTE، 2005)، فإن هذا المعيار يقيس قدرة الذكاء الاصطناعي على ”حل المشكلات بشكل إبداعي“، بما يتماشى مع أطر عمل Kussmaul (1995) و Bayer-Hohenwarter (2011) لتقييم التحولات الإبداعية في الترجمة. علاوة على ذلك، تم إجراء تحليل نوعي لتفسير خيارات الترجمة المحددة باستخدام إطار التكافؤ الخاص بـ Koller.

تشير النتائج الكمية إلى أن جميع أنظمة الذكاء الاصطناعي الثلاثة تظهر عمومًا كفاءة عالية في الترجمة وتحصل على درجات عالية مماثلة في جميع المعايير. لم يكشف التحليل الإحصائي عن أي اختلافات كبيرة بين الأنظمة من حيث الدقة الدلالية (p=.47) أو الطلاقة (p=.58) أو أثر الآلة (p=.86) أو الإبداع (p=.70). تشير الدرجات العالية في الدقة الدلالية إلى أن هذه النماذج قادرة على تفسير السياق والحفاظ على سلامة النص. ومع ذلك، في حين أن الأنظمة حققت أداءً جيدًا من الناحية العددية، أبرز التحليل النوعي للنقاط الغنية اختلافات واضحة بين استراتيجيات البشر والذكاء الاصطناعي.

كشف التحليل أن أنظمة الذكاء الاصطناعي غالبًا ما حققت التكافؤ الدلالي والنصي، لكنها غالبًا ما فشلت في تحقيق التكافؤ التواصلي أو البراغماتي الذي نجح المترجم البشري في تحقيقه. على سبيل المثال، في إحدى النقاط الغنية، استخدم المترجم البشري المصطلح ”taş kesilmek“ (متحجر/ثابت كالحجر) لترجمة الكلمة العربية ’تجمد‘، مما وفر تكافؤًا دلاليًا وتواصليًا مناسبًا للسياق الأدبي. في المقابل، استخدمت أنظمة الذكاء الاصطناعي الترجمة الحرفية ”donup kaldı“ (تجمد)، محققةً التكافؤ الدلالي فقط. في مثال آخر يتضمن وصفًا لونًا معينًا (”أحمر أقرب إلى البني“)، حدد المترجم البشري بشكل صحيح الصبغة السائدة باللون الأحمر (”kahveye çalan kırmızı“)، في حين ترجمها ChatGPT و DeepSeek باللون البني (”kırmızıya çalan kahverengi“)، وفشلوا في تحقيق التكافؤ الدلالي الدقيق في هذا الفارق الدقيق. وبالمثل، فيما يتعلق بأحد العناصر الثقافية، ترجم المترجم البشري ”wood/plank“ (خشب/لوح) إلى ’tünek‘ (جثم)، بما يتناسب مع سياق الطيور، بينما ترجمت أنظمة الذكاء الاصطناعي ذلك حرفيًا إلى ”tahta“ (لوح)، مغفلة الوظيفة السياقية المحددة.

وخلصت الدراسة إلى أن أنظمة الترجمة بالذكاء الاصطناعي قد وصلت إلى مستوى متقدم في تفسير السياق والحفاظ على سلامة النص، وغالبًا ما تؤدي أداءً قريبًا من الترجمة البشرية حتى في النقاط المعقدة الغنية. يشير عدم وجود فروق ذات دلالة إحصائية بين النماذج إلى تحسن عام في قدرات الذكاء الاصطناعي للغة العربية والتركية. ومع ذلك، يكشف التحليل أن الكفاءة الوظيفية الكاملة لم تتحقق بعد. تعمل نماذج الذكاء الاصطناعي بشكل أساسي على التعرف على الأنماط والعلاقات الإحصائية، مما يحد من قدرتها على إنتاج الخطاب الطبيعي والنبرة وقراءة النية التي يوفرها المترجمون البشريون من خلال التصفية المعرفية والثقافية.

على وجه التحديد، تدعم النتائج الاستنتاج القائل بأن الذكاء الاصطناعي يحقق التكافؤ الدلالي، لكنه يقصر في التكافؤ التواصلية-البراغماتية. للحصول على نتائج أكثر تقدمًا، لا سيما في تقليل آثار الآلة وزيادة الطبيعية، يجب تطوير نماذج لغوية لتكون أكثر حساسية بشكل شامل لعمليات التفسير الثقافي ووظائف الخطاب والكفاءات البراغماتية. يُقترح أن يتم تدريب النماذج المستقبلية ليس فقط على العلاقات المعجمية أو الهيكلية، ولكن أيضًا على البيانات التي تراعي توقعات القارئ المستهدف ووظيفة النص السياقية.

بالنسبة للممارسين والمعلمين، يشير الأداء العالي للذكاء الاصطناعي في النقاط الغنية إلى أن هذه الأنظمة هي أدوات مساعدة قوية. ومع ذلك، لا يمكنها بعد أن تحل محل عمليات صنع القرار المعرفية للمترجم البشري بشكل كامل. يجب أن يركز تدريب المترجمين على تحديد المجالات التي يكون فيها الذكاء الاصطناعي موثوقًا والمجالات التي يكون فيها التدخل البشري ضروريًا، خاصة في ”النقاط الغنية“ المثقلة ثقافيًا أو المعقدة براغماتيًا. يجب أن تتوسع الدراسات المستقبلية في هذا المجال من خلال استخدام مجموعات بيانات أكبر وأنواع نصوص مختلفة وإصدارات أحدث من النماذج لتتبع ديناميكيات تطور أداء الترجمة بالذكاء الاصطناعي.

Résumé Structuré:

Ces dernières années, le domaine de la traduction automatique a connu des changements et des développements radicaux, sous l'impulsion des progrès réalisés dans les technologies d'intelligence artificielle. Les systèmes de traduction ont évolué, passant de l'utilisation initiale d'algorithmes simples qui ne fournissaient que des équivalents mot à mot à des systèmes d'IA complexes capables de saisir les contextes intertextuels, d'analyser les relations sémantiques et d'offrir des solutions créatives. Les systèmes de traduction automatique neuronale (NMT), en particulier, tentent de comprendre le texte dans son ensemble grâce à des architectures encodeur-décodeur. Cependant, la qualité de ces technologies dans la combinaison linguistique arabe-turc reste sujette à débat. On s'interroge notamment sur la mesure dans laquelle ces outils peuvent se rapprocher de la traduction humaine en termes de qualités telles que l'intégrité sémantique, la pertinence contextuelle et l'utilisation créative du langage. Il est essentiel de déterminer leurs performances dans des domaines qui requièrent l'intuition humaine, tels que les expressions idiomatiques, les éléments culturels, les métaphores et les références.

L'objectif principal de cette recherche est de déterminer dans quelle mesure trois modèles GenAI différents (ChatGPT, DeepSeek et Gemini) se rapprochent de la traduction humaine en analysant un passage contenant des « points riches » sélectionnés dans la traduction araboturque du recueil de nouvelles de Ghassan Kanafani « A World Not Ours » (traduit par Hengil, 2023). L'étude vise à révéler les niveaux de réussite des modèles GenAI en termes de précision sémantique, de fluidité, de trace machine/artificialité et d'adéquation créative, tout en fournissant une analyse comparative de leurs performances par rapport à la traduction humaine.

Le processus de traduction est une activité cognitive qui transcende le simple transfert linguistique et implique une interaction complexe entre la prise de décision stratégique, l'interprétation contextuelle et les mécanismes de résolution de problèmes. Ce processus a fait l'objet d'études approfondies à l'aide de méthodes empiriques et expérimentales par le groupe de recherche PACTE (Process in the Acquisition of Translation Competence and Evaluation). Dirigées par A. Hurtado Albir à l'Universitat Autònoma de Barcelona, ces études visent à définir la « compétence en traduction » dans un cadre holistique. Selon le modèle PACTE, la compétence en traduction est fondamentalement une connaissance experte procédurale comprenant cinq sous-compétences : bilingue, extralinguistique, connaissance de la traduction, instrumentale et stratégique, qui régit l'ensemble du processus (PACTE, 2005, p. 610).

Dans ce modèle, le concept de « point riche » sert d'outil opérationnel pour mesurer les mécanismes de prise de décision et l'efficacité de la compétence stratégique. Les points riches sont des unités textuelles spécifiques du texte source qui posent des défis importants au traducteur et ne peuvent être résolus par des solutions automatisées ou standardisées. Dans la méthodologie de PACTE (2005), la sélection des points riches repose sur trois critères fondamentaux (p. 614) :

Degré de difficulté : l'unité sélectionnée doit susciter une hésitation chez le traducteur et ne doit pas offrir une solution unique, immédiatement accessible et acceptable.

Variété des problèmes : les points riches doivent représenter une diversité de problèmes de traduction, y compris des défis lexicogrammaticaux, textuels, pragmatiques et culturels.

Homogénéité et comparabilité : afin de permettre des comparaisons entre différentes paires de langues dans le cadre d'études expérimentales, ces points doivent présenter un niveau de difficulté similaire dans toutes les langues concernées.

Selon le groupe PACTE, les points riches sont les zones où l'interaction entre le « soutien interne » (ressources cognitives) et le « soutien externe » (dictionnaires, Internet, ressources documentaires, etc.) du traducteur est la plus observable. L'analyse de ces points révèle comment les traducteurs définissent les problèmes et quelles séquences d'actions (lecture, pause, solutions provisoires, consultation externe, etc.) ils suivent pour parvenir à une solution finale. Ainsi, les points riches ne sont pas seulement des obstacles linguistiques ; ce sont des moments critiques où les sous-compétences, en particulier la sous-compétence stratégique responsable de la résolution des problèmes et de l'efficacité, sont activées de manière très intense.

Dans cette étude, la traduction par des systèmes d'intelligence artificielle de dix points riches sélectionnés dans l'œuvre de Ghassan Kanafani revêt une importance capitale pour tester dans quelle mesure ces modèles technologiques se rapprochent de la traduction humaine dans les processus complexes de prise de décision et de génération de solutions stratégiques définis par PACTE. En outre, ces traductions sont évaluées dans le cadre de la classification des équivalences de Werner Koller (1995), qui fournit une taxonomie systématique permettant de déterminer si les systèmes d'IA parviennent à une équivalence dénotative, connotative, textuelle, pragmatique ou formelle dans ces unités textuelles à fort enjeu.

Dans cette étude, les traductions des points riches identifiés ont été analysées selon la classification des types d'équivalence de Werner Koller. Le cadre théorique postule que si les modèles GenAI peuvent analyser les phrases sources en fonction des relations contextuelles, la question reste de savoir s'ils peuvent reproduire l'intuition du traducteur dans les dimensions communicatives et pragmatiques. En se concentrant sur les points riches, cette étude contribue à la littérature en révélant quand les traductions IA se rapprochent de la traduction humaine et quand elles s'en éloignent, en particulier dans le domaine de recherche limité des traductions IA arabe-turc.

Cette recherche a été conçue comme une étude de cas qualitative. Elle compare la production de traductions humaines à celle de trois systèmes de traduction IA différents sur la base de points riches spécifiques dans le texte. Un passage contenant 10 points riches a été sélectionné dans « A World Not Ours » de Ghassan Kanafani, et ces points ont été traduits par ChatGPT, DeepSeek et Gemini.

Le processus de collecte des données a fait appel à cinq universitaires spécialisés dans le domaine de la traduction arabe. Ces participants ont examiné indépendamment les traductions pour chaque point riche et les ont notées selon quatre critères : précision sémantique, fluidité, trace machine/artificialité et créativité. Une échelle de Likert de 1 à 5 a été utilisée. Les données ont été analysées à l'aide de statistiques descriptives pour déterminer les moyennes de performance et du test de Kruskal-Wallis pour identifier s'il existait des différences statistiques significatives entre les systèmes.

Les critères d'évaluation (précision sémantique, fluidité, trace machine et créativité) ont été établis en synthétisant les mesures établies à partir de l'évaluation de la qualité de la traduction automatique (TA) et des études de traduction. La précision sémantique et la fluidité sont des mesures standard dans l'évaluation de la TA par des humains, telles que définies par White (1994, p. 196), représentant respectivement « l'adéquation » et « l'intelligibilité ». La trace machine/artificialité a été incluse pour évaluer le « naturel » et la présence de « traductionisme », qui est essentiel dans les contextes littéraires (Bowker & Ehrensberger-Dow, 2019, pp. 252-255). Enfin, la créativité a été spécifiquement sélectionnée pour évaluer les performances des systèmes sur les « points riches ». Étant donné que les points riches nécessitent une résolution de problèmes non automatisée et stratégique (PACTE, 2005), ce critère mesure la capacité de « résolution créative de problèmes » de l'IA, conformément aux cadres de Kussmaul (1995) et Bayer-Hohenwarter (2011) pour évaluer les changements créatifs dans la traduction. En outre, une analyse qualitative a été menée pour interpréter les choix de traduction spécifiques à l'aide du cadre d'équivalence de Koller.

Les résultats quantitatifs indiquent que les trois systèmes d'IA font généralement preuve d'une grande compétence en matière de traduction et obtiennent des scores similaires pour tous les critères. L'analyse statistique n'a révélé aucune différence significative entre les systèmes en termes de précision sémantique (p = 0,47), de fluidité (p = 0,58), de trace machine (p = 0,86) ou de créativité (p = 0,70). Les notes élevées en matière de précision sémantique suggèrent que ces modèles sont compétents pour interpréter le contexte et maintenir l'intégrité du texte. Cependant, si les systèmes ont obtenu de bons résultats sur le plan numérique, l'analyse qualitative des points riches a mis en évidence des divergences distinctes entre les stratégies humaines et celles de l'IA.

L'analyse a révélé que si les systèmes d'IA atteignaient fréquemment l'équivalence dénotative et textuelle, ils ne parvenaient souvent pas à atteindre l'équivalence communicative ou pragmatique que le traducteur humain réussissait à obtenir. Par exemple, dans un point riche, le traducteur humain a utilisé l'expression idiomatique « taş kesilmek » (pétrifié/immobile comme une pierre) pour traduire le mot arabe signifiant « gelé », fournissant ainsi une équivalence connotative et communicative adaptée au contexte littéraire. En revanche, les systèmes d'IA ont utilisé la traduction littérale « donup kaldı » (gelé), n'atteignant qu'une équivalence dénotative. Dans un autre exemple impliquant une description de couleur spécifique (« rouge proche du marron »), le traducteur humain a correctement identifié le pigment dominant comme étant le rouge (« kahveye çalan kırmızı »), tandis que ChatGPT et DeepSeek l'ont traduit par marron (« kırmızıya çalan kahverengi »), ne parvenant pas à atteindre une équivalence dénotative précise dans cette nuance. De même, concernant un objet culturel, le traducteur humain a traduit « wood/plank » par « tünek » (perchoir), ce qui correspondait au contexte lié aux oiseaux, tandis que les systèmes d'IA l'ont traduit littéralement par « tahta » (planche), passant à côté de la fonction contextuelle spécifique.

L'étude conclut que les systèmes de traduction IA ont atteint un niveau avancé dans l'interprétation du contexte et le maintien de l'intégrité du texte, offrant souvent des performances proches de celles d'un traducteur humain, même dans les passages complexes et riches. L'absence de différences statistiquement significatives entre les modèles indique une amélioration générale des capacités de l'IA pour la paire arabe-turc. Cependant, l'analyse révèle que la pleine compétence fonctionnelle n'a pas encore été atteinte. Les modèles d'IA fonctionnent principalement sur la reconnaissance de modèles et les relations statistiques, ce qui limite leur capacité à produire le discours naturel, le ton et la lecture de l'intention que les traducteurs humains fournissent grâce à un filtrage cognitif et culturel.

Plus précisément, les résultats confirment la conclusion selon laquelle, si l'IA atteint l'équivalence dénotative, elle n'atteint pas l'équivalence communicative-pragmatique. Pour obtenir des résultats plus avancés, notamment en réduisant les traces de la machine et en augmentant le naturel, les modèles linguistiques doivent être développés de manière à être plus sensibles aux processus d'interprétation culturelle, aux fonctions du discours et aux compétences pragmatiques. Il est suggéré que les futurs modèles soient formés non seulement sur les relations lexicales ou structurelles, mais aussi sur des données qui tiennent compte des attentes du lecteur cible et de la fonction contextuelle du texte.

Pour les praticiens et les éducateurs, les performances élevées de l'IA dans les points riches suggèrent que ces systèmes sont de puissants outils auxiliaires. Cependant, ils ne peuvent pas encore remplacer entièrement les processus décisionnels cognitifs d'un traducteur humain. La formation des traducteurs devrait se concentrer sur l'identification des domaines dans lesquels l'IA est fiable et ceux dans lesquels l'intervention humaine est essentielle, en particulier dans les « points riches » chargés culturellement ou pragmatiquement complexes. Les études futures devraient approfondir cette question en utilisant des ensembles de données plus importants, différents types de textes et des versions plus récentes des modèles afin de suivre la dynamique de développement des performances de traduction de l'IA.

Resumen Estructurado:

En los últimos años, el campo de la traducción automática ha experimentado cambios y avances radicales, impulsados por los avances en las tecnologías de inteligencia artificial. Los sistemas de traducción han evolucionado desde el uso inicial de algoritmos simples que solo proporcionaban equivalentes palabra por palabra hasta sistemas complejos de inteligencia artificial capaces de captar contextos intertextuales, analizar relaciones de significado lingüístico y ofrecer soluciones creativas. Los sistemas de traducción automática neuronal (NMT), en particular, intentan comprender el texto en su conjunto a través de arquitecturas de codificador-decodificador. Sin embargo, la calidad de estas tecnologías en el par de idiomas árabe-turco sigue siendo objeto de debate. Existe una curiosidad especial por saber hasta qué punto estas herramientas pueden aproximarse a la traducción humana en términos de cualidades como la integridad semántica, la adecuación contextual y el uso creativo del lenguaje. Es fundamental determinar su rendimiento en áreas que requieren intuición humana, como los modismos, los elementos culturales, las metáforas y las referencias.

El objetivo principal de esta investigación es determinar en qué medida tres modelos diferentes de GenAI (ChatGPT, DeepSeek y Gemini) se aproximan a la traducción humana mediante el análisis de un pasaje que contiene «puntos ricos» seleccionados de la traducción del árabe al turco de la colección de relatos cortos de Ghassan Kanafani «A World Not Ours» (traducida por Hengil, 2023). El estudio pretende revelar los niveles de éxito de los modelos GenAI en términos de precisión semántica, fluidez, rastro de máquina/artificialidad y adecuación creativa, al tiempo que proporciona un análisis comparativo de su rendimiento frente a la traducción humana.

El proceso de traducción es una actividad cognitiva que trasciende la mera transferencia lingüística e implica una compleja interacción entre la toma de decisiones estratégicas, la interpretación contextual y los mecanismos de resolución de problemas. Este proceso ha sido ampliamente investigado mediante métodos empírico-experimentales por el grupo de investigación PACTE (Proceso en la Adquisición de Competencia Traductora y Evaluación). Dirigidos por A. Hurtado Albir en la Universitat Autònoma de Barcelona, estos estudios tienen como objetivo definir la «competencia traductora» dentro de un marco holístico. Según el modelo PACTE, la competencia traductora es fundamentalmente un conocimiento experto procedimental que comprende cinco subcompetencias: bilingüe, extralingüística, conocimiento sobre la traducción, instrumental y la subcompetencia estratégica, que gobierna todo el proceso (PACTE, 2005, p. 610).

En este modelo, el concepto de «punto rico» sirve como herramienta operativa para medir los mecanismos de toma de decisiones y la eficiencia de la competencia estratégica. Los puntos ricos son unidades textuales específicas dentro del texto de origen que plantean retos significativos para el traductor y no pueden resolverse mediante soluciones automatizadas o estandarizadas. En la metodología de PACTE (2005), la selección de puntos ricos se basa en tres criterios fundamentales (p. 614):

Grado de dificultad: La unidad seleccionada debe causar vacilación en el traductor y no debe ofrecer una única solución aceptable y accesible de inmediato.

Variedad de problemas: Los puntos ricos deben representar una diversidad de problemas de traducción, incluidos retos léxico-gramaticales, textuales, pragmáticos y culturales.

Homogeneidad y comparabilidad: Para permitir comparaciones entre diferentes pares de idiomas en estudios experimentales, se espera que estos puntos presenten un nivel de dificultad similar en todos los idiomas involucrados.

Según el grupo PACTE, los puntos ricos son las áreas en las que se observa con mayor claridad la interacción entre el «apoyo interno» (recursos cognitivos) y el «apoyo externo» (diccionarios, Internet, recursos de documentación, etc.) del traductor. El análisis de estos puntos revela cómo definen los traductores los problemas y qué secuencias de acciones (lectura, pausas, soluciones provisionales, consultas externas, etc.) siguen para llegar a una solución final. Por lo tanto, los puntos ricos no son meros obstáculos lingüísticos, sino puntos críticos en los que se activan con mayor intensidad las subcompetencias, en particular la subcompetencia estratégica responsable de la resolución de problemas y la eficacia.

En este estudio, la traducción de diez puntos ricos seleccionados de la obra de Ghassan Kanafani por sistemas de inteligencia artificial es de vital importancia para comprobar en qué medida estos modelos tecnológicos se acercan a la traducción humana en los complejos procesos de toma de decisiones y generación de soluciones estratégicas definidos por PACTE. Además, estas traducciones se evalúan en el marco de la clasificación de equivalencias de Werner Koller (1995), que proporciona una taxonomía sistemática para determinar si los sistemas de IA logran la equivalencia denotativa, connotativa, textualmente normativa, pragmática o formal en estas unidades textuales de alto riesgo.

En este estudio, las traducciones de los puntos ricos identificados se analizaron según la clasificación de tipos de equivalencia de Werner Koller. El marco teórico postula que, si bien los modelos GenAI pueden analizar las oraciones de origen basándose en las relaciones contextuales, la cuestión sigue siendo si pueden replicar la intuición del traductor en las dimensiones comunicativas y pragmáticas. Al centrarse en los puntos ricos, este estudio contribuye a la literatura al revelar cuándo las traducciones de IA se aproximan a la traducción humana y cuándo divergen, especialmente dentro del limitado ámbito de investigación de las traducciones de IA del árabe al turco.

Esta investigación se diseñó como un estudio de caso cualitativo. El estudio compara la producción de la traducción humana con tres sistemas de traducción de IA diferentes basándose en puntos ricos específicos dentro del texto. Se seleccionó un pasaje que contenía 10 puntos ricos de «A World Not Ours», de Ghassan Kanafani, y estos puntos fueron traducidos por ChatGPT, DeepSeek y Gemini.

En el proceso de recopilación de datos participaron cinco académicos especializados en el campo de la traducción del árabe. Estos participantes examinaron de forma independiente las traducciones de cada punto rico y las puntuaron en función de cuatro criterios: precisión semántica, fluidez, rastro de máquina/artificialidad y creatividad. Se utilizó una escala Likert del 1 al 5. Los datos se analizaron utilizando estadísticas descriptivas para determinar los promedios de rendimiento y la prueba de Kruskal-Wallis para identificar si existían diferencias estadísticas significativas entre los sistemas.

Los criterios de evaluación (precisión semántica, fluidez, rastro de máquina y creatividad) se establecieron sintetizando métricas establecidas tanto de la evaluación de la calidad de la traducción automática (MT) como de los estudios de traducción. La precisión semántica y la fluidez son métricas estándar en la evaluación de la MT basada en humanos, tal y como las define White (1994, p. 196), que representan la «adecuación» y la «inteligibilidad», respectivamente. Se incluyó el rastro de la máquina/artificialidad para evaluar la «naturalidad» y la presencia de «traduccionismo», que es fundamental en contextos literarios (Bowker y Ehrensberger-Dow, 2019, pp. 252-255). Por último, se seleccionó específicamente la creatividad para evaluar el rendimiento de los sistemas en «puntos ricos». Dado que los puntos ricos requieren una resolución de problemas estratégica y no automatizada (PACTE, 2005), este criterio mide la capacidad de «resolución creativa de problemas» de la IA, en consonancia con los marcos de Kussmaul (1995) y Bayer-Hohenwarter (2011) para evaluar los cambios creativos en la traducción. Además, se llevó a cabo un análisis cualitativo para interpretar las opciones de traducción específicas utilizando el marco de equivalencia de Koller.

Los resultados cuantitativos indican que los tres sistemas de IA demuestran, en general, un alto nivel de competencia en la traducción y obtienen puntuaciones igualmente altas en todos los criterios. El análisis estadístico no reveló diferencias significativas entre los sistemas en cuanto a precisión semántica (p = 0,47), fluidez (p = 0,58), rastro de la máquina (p = 0,86) o creatividad (p = 0,70). Las altas puntuaciones en precisión semántica sugieren que estos modelos son competentes para interpretar el contexto y mantener la integridad textual. Sin embargo, aunque los sistemas obtuvieron buenos resultados numéricos, el análisis cualitativo de los puntos ricos puso de relieve divergencias claras entre las estrategias humanas y las de la IA.

El análisis reveló que, si bien los sistemas de IA lograban con frecuencia la equivalencia denotativa y textual, a menudo no conseguían la equivalencia comunicativa o pragmática que el traductor humano lograba con éxito. Por ejemplo, en un punto rico, el traductor humano utilizó la expresión idiomática «taş kesilmek» (petrificado/inmóvil como una piedra) para traducir la palabra árabe «congelado», proporcionando así una equivalencia connotativa y comunicativa adecuada al contexto literario. Por el contrario, los sistemas de IA utilizaron la traducción literal «donup kaldı» (congelado), logrando solo una equivalencia denotativa. En otro ejemplo relacionado con una descripción de color específica («rojo más cercano al marrón»), el traductor humano identificó correctamente el pigmento dominante como rojo («kahveye çalan kırmızı»), mientras que ChatGPT y DeepSeek lo tradujeron como marrón («kırmızıya çalan kahverengi»), sin lograr una equivalencia denotativa precisa en este matiz. Del mismo modo, en lo que respecta a un objeto cultural, el traductor humano tradujo «madera/tablón» como «tünek» (percha), lo que encaja con el contexto de las aves, mientras que los sistemas de IA lo tradujeron literalmente como «tahta» (tabla), sin tener en cuenta la función contextual específica.

El estudio concluye que los sistemas de traducción de IA han alcanzado un nivel avanzado en la interpretación del contexto y el mantenimiento de la integridad del texto, y a menudo se acercan a la traducción humana incluso en puntos complejos y ricos. La falta de diferencias estadísticamente significativas entre los modelos indica una mejora generalizada de las capacidades de la IA para el par árabe-turco. Sin embargo, el análisis revela que aún no se ha alcanzado la plena competencia funcional. Los modelos de IA funcionan principalmente con el reconocimiento de patrones y las relaciones estadísticas, lo que limita su capacidad para producir el discurso natural, el tono y la lectura de la intención que proporcionan los traductores humanos a través del filtrado cognitivo y cultural.

En concreto, los resultados respaldan la conclusión de que, si bien la IA logra la equivalencia denotativa, se queda corta en la equivalencia comunicativa-pragmática. Para obtener resultados más avanzados, en particular en lo que se refiere a la reducción de los rastros de la máquina y el aumento de la naturalidad, es necesario desarrollar modelos lingüísticos que sean más sensibles a los procesos de interpretación cultural, las funciones del discurso y las competencias pragmáticas. Se sugiere que los modelos futuros se entrenen no solo en relaciones léxicas o estructurales, sino también en datos que tengan en cuenta las expectativas del lector objetivo y la función contextual del texto.

Para los profesionales y los educadores, el alto rendimiento de la IA en puntos ricos sugiere que estos sistemas son potentes herramientas auxiliares. Sin embargo, aún no pueden sustituir por completo los procesos cognitivos de toma de decisiones de un traductor humano. La formación de los traductores debe centrarse en identificar dónde es fiable la IA y dónde es esencial la intervención humana, concretamente en los «puntos ricos» con carga cultural o pragmáticamente complejos. Los estudios futuros deberían ampliar esta cuestión empleando conjuntos de datos más amplios, diferentes tipos de texto y versiones más recientes de los modelos para seguir la dinámica de desarrollo del rendimiento de la traducción mediante IA.

结构化摘要：

近年来，在人工智能技术进步的推动下，机器翻译领域经历了颠覆性的变革与发展。翻译系统已从最初仅提供逐字对应的简单算法，演变为能够把握文本间语境、分析语言意义关系并提供创造性解决方案的复杂人工智能系统。其中神经机器翻译（NMT）系统尤为突出，其通过编码器-解码器架构尝试整体理解文本。然而，这些技术在阿拉伯语-土耳其语语言对中的质量仍存争议。研究者尤其关注这些工具在语义完整性、语境适配性及创造性语言运用等维度上能否逼近人类翻译水准。在俚语、文化元素、隐喻及典故等需要人类直觉的领域，其表现评估至关重要。

本研究的核心目标是通过分析选自加桑·卡纳法尼短篇小说集《不属于我们的世界》（亨吉尔译，2023年）阿拉伯语至土耳其语译本的“富含要点”段落，评估三种生成式AI模型（ChatGPT、DeepSeek与Gemini）在多大程度上能接近人类翻译水准。本研究旨在从语义准确性、流畅度、机械痕迹/人工感及创造性适配性四个维度，揭示生成式AI模型的成功程度，同时提供其与人类翻译的对比分析。

翻译过程超越单纯的语言转换，是涉及策略决策、语境解读与问题解决机制的复杂认知活动。PACTE（翻译能力习得与评估过程）研究团队通过实证实验方法对此进行了深入探究。该团队由巴塞罗那自治大学的A. Hurtado Albir领导，致力于在整体框架内界定“翻译能力”。根据PACTE模型，翻译能力本质上是程序性专家知识，包含五大子能力：双语能力、超语言能力、翻译知识能力、工具能力以及统领全过程的策略能力（PACTE, 2005, p. 610）。

该模型中“难点”概念作为操作工具，用于衡量决策机制与策略能力的效能。难点指源文本中特定文本单元，其对译者构成重大挑战且无法通过自动化或标准化方案解决。根据PACTE（2005）方法论，难点筛选基于三大核心标准（第614页）：

难度程度：所选单元须引发译者的犹豫，且不应存在单一、立即可获取的可接受解决方案。

问题多样性：富点须涵盖各类翻译难题，包括词汇语法、文本语用及文化挑战。

同质性与可比性：为便于跨语言对实验研究中的比较，这些点在所有相关语言中应呈现相近的难度水平。

据PACTE小组指出，富点是译者“内部支持”（认知资源）与“外部支持”（词典、互联网、文献资源等）交互作用最显著的区域。对这些要点的分析揭示了译者如何界定问题，以及他们为达成最终解决方案所遵循的行动序列（阅读、停顿、临时解决方案、外部咨询等）。因此，关键点不仅是语言障碍，更是次级能力——尤其是负责问题解决与效能的战略次级能力——被最强烈激活的关键节点。

本研究通过人工智能系统翻译加桑·卡纳法尼作品中精选的十处关键点，重点检验这些技术模型在PACTE框架定义的复杂决策与战略性解决方案生成过程中，能否接近人类翻译水平。此外，这些译文将依据维尔纳·科勒（1995）的等值分类框架进行评估，该系统性分类法可判定人工智能系统在这些高风险文本单元中是否实现了指称等值、内涵等值、文本规范等值、语用等值或形式等值。

本研究依据科勒的等值类型分类体系，对识别出的丰富点译文展开分析。理论框架指出，尽管生成式AI模型能基于语境关系分析源句，但其能否在交际与语用层面复现译者的直觉仍存疑。本研究聚焦“丰富点”，通过揭示AI译文与人类译文趋同与分歧的具体情境——尤其在阿拉伯语-土耳其语AI翻译这一有限研究领域——为该领域文献作出贡献。

本研究采用定性案例研究设计，通过文本中特定丰富点的对比，将人工译文与三种AI翻译系统产出进行对照。选取加桑·卡纳法尼作品《不属于我们的世界》中含10个丰富点的段落，分别由ChatGPT、DeepSeek和Gemini系统进行翻译。

数据收集过程由五位阿拉伯语翻译领域的专家参与。参与者独立审阅每个丰富点的译文，并依据四项标准进行评分：语义准确性、流畅性、机器痕迹/人工感及创造力。采用1-5分的李克特量表进行评分。数据分析采用描述性统计确定平均表现，并运用克鲁斯卡尔-瓦利斯检验识别系统间是否存在显著统计差异。

评估标准（语义准确性、流畅性、机器痕迹与创造力）综合了机器翻译（MT）质量评估与翻译研究领域的成熟指标。语义准确性与流畅性是人工MT评估的标准指标，正如怀特（1994，第196页）所定义，分别代表“恰当性”与“可理解性”。机器痕迹/人工感指标用于评估“自然度”及“译文腔”的存在程度，该指标在文学语境中至关重要（Bowker & Ehrensberger-Dow, 2019, pp. 252-255）。最后，创造性指标被专门选取以评估系统在“丰富点”的表现。由于丰富点需要非自动化的战略性问题解决（PACTE, 2005），该标准衡量了人工智能的“创造性问题解决”能力，与库斯莫尔（1995）和拜尔-霍恩瓦特（2011）评估翻译中创造性转换的框架相契合。此外，通过科勒等价性框架对具体译法选择进行了定性分析。

定量结果表明，三款AI系统均展现出高水平的翻译能力，在所有评估维度均获得相近的高分。统计分析显示，各系统在语义准确性（p=.47）、流畅性（p=.58）、机器痕迹（p=.86）及创造性（p=.70）方面均无显著差异。语义准确性得分较高表明这些模型具备解读语境和保持文本完整性的能力。然而，尽管系统在量化指标上表现优异，对关键句点的定性分析却揭示了人工翻译与AI策略的显著差异。

分析发现，AI系统虽常能实现表层意义和文本等价，却往往未能达到人工译者成功实现的交际等价或语用等价。例如在某关键点，人类译者运用“taş kesilmek”（石化/僵立）这一习语处理阿拉伯语“froze”，实现了契合文学语境的隐喻等价与交际等价。而AI系统仅采用字面译法“donup kaldı”（冻结），仅达成表层等价。在另一处涉及特定色彩描述的段落（“偏棕的红色”），人工译者准确识别出主导色调为红色（“kahveye çalan kırmızı”），而ChatGPT和DeepSeek却译为棕色（“kırmızıya çalan kahverengi”），未能在细微差别中实现精确的表层等价。在处理文化物件时，人类译者将“木板”译为契合鸟类语境的“栖木”（tünek），而AI系统直译为“木板”（tahta），未能把握特定语境功能。

研究结论指出，AI翻译系统在语境解读与文本完整性维护方面已达先进水平，即便在复杂丰富的语境中，其表现也常接近人类翻译水准。各模型间统计显著性差异的缺失表明，阿拉伯语-土耳其语对的AI能力已实现普遍提升。但分析揭示其尚未达到完全功能化水平。AI模型主要基于模式识别与统计关系运作，这限制了其产生自然话语、语调及意图解读的能力——这些正是人类译者通过认知与文化过滤所能提供的。

具体而言，研究支持以下结论：人工智能虽能实现指称等价，但在交际语用等价方面仍显不足。为获得更高级的翻译效果——尤其是减少机器痕迹、提升自然度——语言模型必须更全面地关注文化解读过程、话语功能及语用能力。建议未来模型不仅需训练词汇或结构关系，还应纳入目标读者预期与文本语境功能的数据。

对从业者和教育者而言，AI在“丰富点”的高表现力表明其可成为强有力的辅助工具，但尚无法完全替代人类译者的认知决策过程。译者培训应聚焦于识别AI可靠与人类干预不可或缺的领域——尤其在文化负载或语用复杂的“丰富点”。未来研究需借助更大数据集、多元文本类型及新型模型版本，追踪AI翻译性能的发展动态。

Структурированное резюме:

В последние годы область машинного перевода претерпела радикальные изменения и развитие, обусловленные прогрессом в технологиях искусственного интеллекта. Системы перевода эволюционировали от первоначального использования простых алгоритмов, которые обеспечивали только дословные эквиваленты, до сложных систем искусственного интеллекта, способных улавливать межтекстовые контексты, анализировать лингвистические смысловые отношения и предлагать творческие решения. В частности, системы нейронного машинного перевода (NMT) пытаются понять текст в целом с помощью архитектур кодировщика-декодировщика. Однако качество этих технологий в языковой паре арабский-турецкий остается предметом дискуссий. Особый интерес вызывает вопрос о том, насколько эти инструменты могут приблизиться к человеческому переводу с точки зрения таких качеств, как семантическая целостность, контекстуальная уместность и творческое использование языка. Крайне важно определить, как они работают в областях, требующих человеческой интуиции, таких как идиомы, культурные элементы, метафоры и ссылки.

Основная цель данного исследования — определить, насколько три различные модели GenAI (ChatGPT, DeepSeek и Gemini) приближаются к человеческому переводу, путем анализа отрывка, содержащего «богатые точки», выбранного из арабо-турецкого перевода сборника рассказов Гассана Канафани «Мир, который не наш» (перевод Хенгила, 2023). Исследование направлено на выявление уровня успешности моделей GenAI с точки зрения семантической точности, беглости, следа машины/искусственности и творческой адекватности, а также на проведение сравнительного анализа их эффективности по сравнению с человеческим переводом.

Процесс перевода — это когнитивная деятельность, выходящая за рамки простого лингвистического переноса и включающая в себя сложное взаимодействие стратегического принятия решений, контекстуальной интерпретации и механизмов решения проблем. Этот процесс был тщательно исследован с помощью эмпирико-экспериментальных методов исследовательской группой PACTE (Process in the Acquisition of Translation Competence and Evaluation). Под руководством А. Уртадо Альбира из Автономного университета Барселоны эти исследования направлены на определение «компетенции в области перевода» в рамках целостной концепции. Согласно модели PACTE, переводческая компетентность — это фундаментальные процедурные экспертные знания, включающие пять подкомпетенций: билингвальная, экстралингвистическая, знания о переводе, инструментальная и стратегическая подкомпетенция, которая управляет всем процессом (PACTE, 2005, с. 610).

В этой модели концепция «богатой точки» служит операционным инструментом для измерения механизмов принятия решений и эффективности стратегической компетенции. Богатые точки — это конкретные текстовые единицы в исходном тексте, которые представляют собой значительные проблемы для переводчика и не могут быть решены с помощью автоматизированных или стандартизированных решений. В методологии PACTE (2005) выбор богатых точек основан на трех основных критериях (с. 614):

Степень сложности: выбранная единица должна вызывать колебания у переводчика и не должна предлагать единственное, сразу доступное приемлемое решение.

Разнообразие проблем: богатые точки должны представлять разнообразие переводческих проблем, включая лексико-грамматические, текстовые, прагматические и культурные вызовы.

Однородность и сопоставимость: чтобы обеспечить возможность сравнения между различными языковыми парами в экспериментальных исследованиях, эти точки должны представлять собой схожий уровень сложности во всех задействованных языках.

По мнению группы PACTE, богатые точки — это области, в которых наиболее заметно взаимодействие между «внутренней поддержкой» переводчика (когнитивными ресурсами) и «внешней поддержкой» (словарями, Интернетом, документационными ресурсами и т. д.). Анализ этих точек показывает, как переводчики определяют проблемы и какие последовательности действий (чтение, паузы, временные решения, внешняя консультация и т. д.) они выполняют для достижения окончательного решения. Таким образом, богатые точки — это не просто лингвистические препятствия; это критические моменты, в которых наиболее интенсивно активируются субкомпетенции, в частности стратегическая субкомпетенция, ответственная за решение проблем и эффективность.

В данном исследовании перевод десяти богатых точек, выбранных из произведения Гассана Канафани, с помощью систем искусственного интеллекта имеет центральное значение для проверки степени приближения этих технологических моделей к человеческому переводу в сложных процессах принятия решений и генерации стратегических решений, определенных PACTE. Кроме того, эти переводы оцениваются в рамках классификации эквивалентности Вернера Коллера (1995), которая предоставляет систематическую таксономию для определения того, достигают ли системы искусственного интеллекта денотативной, коннотативной, текстонормативной, прагматической или формальной эквивалентности в этих текстовых единицах с высокой степенью важности.

В данном исследовании переводы выявленных богатых точек были проанализированы в соответствии с классификацией типов эквивалентности Вернера Коллера. Теоретическая основа предполагает, что, хотя модели GenAI могут анализировать исходные предложения на основе контекстуальных отношений, остается вопрос, могут ли они воспроизвести интуицию переводчика в коммуникативном и прагматическом измерениях. Сосредоточившись на богатых точках, это исследование вносит вклад в литературу, показывая, когда переводы ИИ приближаются к человеческому переводу, а когда они расходятся, особенно в ограниченной области исследований переводов ИИ с арабского на турецкий язык.

Это исследование было разработано как качественное кейс-исследование. В исследовании сравнивается результат человеческого перевода с тремя различными системами перевода ИИ на основе конкретных богатых точек в тексте. Из произведения Гассана Канафани «Мир, который не наш» был выбран отрывок, содержащий 10 богатых точек, и эти точки были переведены ChatGPT, DeepSeek и Gemini.

В процессе сбора данных участвовали пять ученых, специализирующихся в области арабского перевода. Эти участники независимо друг от друга проанализировали переводы для каждого богатого момента и оценили их по четырем критериям: семантическая точность, беглость, следы машинного перевода/искусственность и креативность. Использовалась шкала Ликерта от 1 до 5. Данные были проанализированы с помощью как описательной статистики для определения средних показателей производительности, так и теста Крускала- Уоллиса для выявления значимых статистических различий между системами.

Критерии оценки (семантическая точность, беглость, следы машинного перевода и креативность) были установлены путем синтеза установленных метрик как из оценки качества машинного перевода (МП), так и из переводоведения. Семантическая точность и беглость являются стандартными метриками в оценке машинного перевода, выполненного людьми, как определено Уайтом (1994, стр. 196), представляя соответственно «адекватность» и «понятность». Машинный след/искусственность были включены для оценки «естественности» и наличия «переводческого стиля», что имеет решающее значение в литературном контексте (Bowker & Ehrensberger-Dow, 2019, стр. 252-255). Наконец, творчество было специально выбрано для оценки производительности систем по «богатым точкам». Поскольку богатые точки требуют неавтоматизированного, стратегического решения проблем (PACTE, 2005), этот критерий измеряет способность ИИ к «творческому решению проблем», что соответствует концепциям Куссмаула (1995) и Байера-Хоэнвартера (2011) для оценки творческих сдвигов в переводе. Кроме того, был проведен качественный анализ для интерпретации конкретных вариантов перевода с использованием концепции эквивалентности Коллера.

Количественные результаты показывают, что все три системы ИИ в целом демонстрируют высокий уровень владения переводом и получают одинаково высокие оценки по всем критериям. Статистический анализ не выявил значительных различий между системами по семантической точности (p=.47), беглости (p=.58), следам машинного перевода (p=.86) или креативности (p=.70). Высокие оценки по семантической точности свидетельствуют о том, что эти модели способны интерпретировать контекст и сохранять целостность текста. Однако, несмотря на хорошие количественные показатели систем, качественный анализ богатых точек выявил явные различия между стратегиями человека и ИИ.

Анализ показал, что, хотя системы ИИ часто достигали денотативной и текстовой эквивалентности, они часто не могли достичь коммуникативной или прагматической эквивалентности, которую успешно обеспечивал переводчик-человек. Например, в одном из богатых моментов человеческий переводчик использовал идиому «taş kesilmek» (окаменевший/неподвижный) для перевода арабского слова «замерз», тем самым обеспечив коннотативную и коммуникативную эквивалентность, подходящую для литературного контекста. В отличие от этого, системы ИИ использовали буквальное «donup kaldı» (замерз), достигнув только денотативной эквивалентности. В другом примере, касающемся конкретного описания цвета («красный, ближе к коричневому»), переводчик-человек правильно определил доминирующий пигмент как красный («kahveye çalan kırmızı»), тогда как ChatGPT и DeepSeek перевели его как коричневый («kırmızıya çalan kahverengi»), не сумев достичь точной денотативной эквивалентности в этом нюансе. Аналогичным образом, в отношении культурного объекта переводчик-человек перевел «дерево/доска» как «tünek» (жердочка), что соответствовало контексту с птицами, в то время как системы ИИ перевели это буквально как «tahta» (доска), упустив специфическую контекстуальную функцию.

Исследование пришло к выводу, что системы перевода ИИ достигли продвинутого уровня в интерпретации контекста и поддержании целостности текста, часто выполняя перевод, близкий к человеческому, даже в сложных богатых деталями местах. Отсутствие статистически значимых различий между моделями указывает на общее улучшение возможностей ИИ для пары арабский-турецкий. Однако анализ показывает, что полная функциональная компетентность еще не достигнута. Модели ИИ в основном работают на основе распознавания образов и статистических взаимосвязей, что ограничивает их способность воспроизводить естественный дискурс, тон и понимание намерения, которые обеспечивают человеческие переводчики посредством когнитивной и культурной фильтрации.

В частности, результаты подтверждают вывод о том, что, хотя ИИ достигает денотативной эквивалентности, он не достигает коммуникативно-прагматической эквивалентности. Для получения более продвинутых результатов, в частности, для уменьшения следов машинного перевода и повышения естественности, языковые модели должны быть разработаны таким образом, чтобы более комплексно учитывать процессы культурной интерпретации, функции дискурса и прагматические компетенции. Предполагается, что будущие модели должны быть обучены не только лексическим или структурным отношениям, но и данным, которые учитывают ожидания целевого читателя и контекстуальную функцию текста.

Для практиков и педагогов высокая эффективность ИИ в богатых точках указывает на то, что эти системы являются мощными вспомогательными инструментами. Однако они еще не могут полностью заменить когнитивные процессы принятия решений человеческого переводчика. Обучение переводчиков должно быть сосредоточено на определении того, в каких случаях ИИ является надежным, а в каких необходима человеческая интервенция, в частности в «богатых точках», имеющих культурную нагрузку или прагматически сложных. Будущие исследования должны расширить эту тему, используя более крупные наборы данных, различные типы текстов и более новые версии моделей, чтобы отслеживать динамику развития эффективности перевода с помощью ИИ.

संरचित सारांश:

हाल के वर्षों में, मशीन अनुवाद के क्षेत्र में कृत्रिम बुद्धिमत्ता प्रौद्योगिकियों में प्रगति से प्रेरित होकर, मौलिक परिवर्तन और विकास हुए हैं। अनुवाद प्रणालियाँ, जो शुरू में केवल शब्द-शब्द समतुल्य प्रदान करने वाले सरल एल्गोरिदम का उपयोग करती थीं, अब जटिल एआई प्रणालियों में विकसित हो गई हैं जो अंतर-पाठ्य संदर्भों को समझने, भाषाई अर्थ संबंधों का विश्लेषण करने और रचनात्मक समाधान प्रदान करने में सक्षम हैं। विशेष रूप से, न्यूरल मशीन ट्रांसलेशन (एनएमटी) प्रणालियाँ एन्कोडर-डीकोडर आर्किटेक्चर के माध्यम से पूरे पाठ को एक इकाई के रूप में समझने का प्रयास करती हैं। हालाँकि, अरबी-तुर्की भाषा जोड़ी में इन प्रौद्योगिकियों की गुणवत्ता अभी भी बहस का विषय बनी हुई है। इस बात को लेकर विशेष जिज्ञासा है कि ये उपकरण अर्थपूर्ण अखंडता, प्रासंगिक उपयुक्तता और रचनात्मक भाषा उपयोग जैसी विशेषताओं के मामले में मानव अनुवाद के कितने करीब पहुँच सकते हैं। यह निर्धारित करना महत्वपूर्ण है कि वे मुहावरों, सांस्कृतिक तत्वों, रूपकों और संदर्भों जैसे क्षेत्रों में, जहाँ मानवीय सहज ज्ञान की आवश्यकता होती है, कैसा प्रदर्शन करते हैं।

इस शोध का प्राथमिक उद्देश्य यह निर्धारित करना है कि तीन अलग-अलग GenAI मॉडल (ChatGPT, DeepSeek, और Gemini) घस्सान कनाफानी के लघु कथा संग्रह "ए वर्ल्ड नॉट अवर" (हेंगिल द्वारा अनुवादित, 2023) के अरबी-से-तुर्की अनुवाद से चुने गए "समृद्ध बिंदुओं" वाले एक अंश का विश्लेषण करके, मानव अनुवाद के कितने करीब पहुँचते हैं।

यह अध्ययन जेनएआई (GenAI) मॉडलों की सफलता के स्तर को अर्थगत सटीकता, प्रवाह, मशीनी निशान/कृत्रिमता, और रचनात्मक पर्याप्तता के संदर्भ में प्रकट करने का प्रयास करता है, साथ ही मानव अनुवाद के मुकाबले उनके प्रदर्शन का तुलनात्मक विश्लेषण भी प्रदान करता है।

अनुवाद प्रक्रिया एक संज्ञानात्मक गतिविधि है जो केवल भाषाई हस्तांतरण से परे है, जिसमें रणनीतिक निर्णय लेने, प्रासंगिक व्याख्या, और समस्या-समाधान तंत्र की जटिल अंतःक्रिया शामिल होती है।

इस प्रक्रिया की पीएसीटीई (PACTE - अनुवाद क्षमता के अधिग्रहण और मूल्यांकन में प्रक्रिया) अनुसंधान समूह द्वारा अनुभवजन्य-प्रयोगात्मक तरीकों से व्यापक रूप से जांच की गई है। बार्सिलोना के ऑटोनोमा विश्वविद्यालय में ए. हर्टाडो अल्बिर के नेतृत्व में, इन अध्ययनों का उद्देश्य एक समग्र ढांचे के भीतर "अनुवाद क्षमता" को परिभाषित करना है। PACTE मॉडल के अनुसार, अनुवाद क्षमता मौलिक रूप से प्रक्रियात्मक विशेषज्ञ ज्ञान है जिसमें पाँच उप-क्षमताएँ शामिल हैं: द्विभाषी, भाषा-बाह्य, अनुवाद के बारे में ज्ञान, साधनात्मक, और रणनीतिक उप-क्षमता, जो पूरी प्रक्रिया को नियंत्रित करती है (PACTE, 2005, पृ. 610)।

इस मॉडल में, "रिच पॉइंट" की अवधारणा निर्णय लेने की प्रक्रियाओं और रणनीतिक क्षमता की दक्षता को मापने के लिए एक परिचालन उपकरण के रूप में कार्य करती है। रिच पॉइंट्स स्रोत पाठ के भीतर विशिष्ट पाठ्य इकाइयाँ हैं जो अनुवादक के लिए महत्वपूर्ण चुनौतियाँ प्रस्तुत करती हैं और जिन्हें स्वचालित या मानकीकृत समाधानों के माध्यम से हल नहीं किया जा सकता है। PACTE (2005) की कार्यप्रणाली में, रिच पॉइंट्स का चयन तीन मूलभूत मानदंडों पर आधारित है (पृ. 614):

कठिनाई का स्तर: चयनित इकाई को अनुवादक में संकोच पैदा करना चाहिए, और इसका कोई एक, तुरंत सुलभ और स्वीकार्य समाधान नहीं होना चाहिए।

समस्याओं की विविधता: रिच पॉइंट्स में अनुवाद संबंधी समस्याओं की विविधता का प्रतिनिधित्व होना चाहिए, जिसमें शब्द-व्याकरण संबंधी, पाठ्य, व्यवहारगत और सांस्कृतिक चुनौतियाँ शामिल हैं। समरूपता और तुलनीयता: प्रयोगात्मक अध्ययनों में विभिन्न भाषा जोड़ों के बीच तुलना की अनुमति देने के लिए, इन बिंदुओं से यह अपेक्षा की जाती है कि वे इसमें शामिल सभी भाषाओं में कठिनाई का एक समान स्तर प्रस्तुत करें।

PACTE समूह के अनुसार, समृद्ध बिंदु वे क्षेत्र हैं जहाँ अनुवादक के "आंतरिक समर्थन" (संज्ञानात्मक संसाधन) और "बाहरी समर्थन" (शब्दकोश, इंटरनेट, दस्तावेज़ीकरण संसाधन, आदि) के बीच की बातचीत सबसे अधिक स्पष्ट रूप से दिखाई देती है।

इन बिंदुओं का विश्लेषण यह प्रकट करता है कि अनुवादक समस्याओं को कैसे परिभाषित करते हैं और वे अंतिम समाधान की ओर बढ़ने के लिए किन क्रियाओं (पढ़ना, विराम लेना, अस्थायी समाधान, बाहरी परामर्श, आदि) के क्रम का पालन करते हैं। इस प्रकार, समृद्ध बिंदु केवल भाषाई बाधाएं नहीं हैं; वे महत्वपूर्ण पड़ाव हैं जहाँ उप-क्षमताएं—विशेष रूप से समस्या-समाधान और प्रभावशीलता के लिए जिम्मेदार रणनीतिक उप-क्षमता—सबसे तीव्रता से सक्रिय होती हैं।

इस अध्ययन में, घस्सान कनाफानी के कार्य से चुने गए दस समृद्ध बिंदुओं का अनुवाद करने वाले कृत्रिम बुद्धिमत्ता प्रणालियों का यह परीक्षण करना केंद्रीय महत्व रखता है कि ये तकनीकी मॉडल PACTE द्वारा परिभाषित जटिल निर्णय लेने और रणनीतिक समाधान-उत्पादन प्रक्रियाओं में मानव अनुवाद के कितने करीब आते हैं।

इसके अलावा, इन अनुवादों का मूल्यांकन वर्नर कोलर (1995) के समतुल्यता वर्गीकरण के ढांचे के भीतर किया जाता है, जो यह निर्धारित करने के लिए एक व्यवस्थित वर्गीकरण प्रदान करता है कि क्या एआई प्रणालियाँ इन उच्च-दांव वाली पाठ्य इकाइयों में संकेतात्मक, सङ्केतात्मक, पाठ-नियमनात्मक, व्यवहारगत, या औपचारिक समतुल्यता प्राप्त करती हैं।

इस अध्ययन में, पहचाने गए समृद्ध बिंदुओं के अनुवादों का विश्लेषण वर्नर कोलर के समतुल्यता प्रकारों के वर्गीकरण के अनुसार किया गया।

सैद्धांतिक ढांचा यह मानता है कि जबकि जेनएआई मॉडल संदर्भात्मक संबंधों के आधार पर स्रोत वाक्यों का विश्लेषण कर सकते हैं, सवाल यह बना हुआ है कि क्या वे संचारी और व्यावहारिक आयामों में अनुवादक की सहज समझ की नकल कर सकते हैं। समृद्ध बिंदुओं पर ध्यान केंद्रित करके, यह अध्ययन यह प्रकट करके साहित्य में योगदान देता है कि एआई अनुवाद कब मानव अनुवाद के करीब होते हैं और कब वे अलग होते हैं, विशेष रूप से अरबी-तुर्की एआई अनुवाद के सीमित शोध क्षेत्र में।

यह शोध एक गुणात्मक केस स्टडी के रूप में तैयार किया गया था। यह अध्ययन पाठ के भीतर विशिष्ट रिच पॉइंट्स के आधार पर तीन अलग-अलग एआई अनुवाद प्रणालियों के मुकाबले मानवीय अनुवाद की प्रस्तुति की तुलना करता है। घस्सान कनाफानी की "ए वर्ल्ड नॉट अवर" से 10 रिच पॉइंट्स वाला एक अंश चुना गया था, और इन बिंदुओं का अनुवाद ChatGPT, DeepSeek, और Gemini द्वारा किया गया।

डेटा संग्रह प्रक्रिया में अरबी अनुवाद के क्षेत्र में विशेषज्ञता रखने वाले पांच शिक्षाविदों को शामिल किया गया। इन प्रतिभागियों ने प्रत्येक रिच पॉइंट के लिए स्वतंत्र रूप से अनुवादों की जांच की और उन्हें चार मानदंडों के आधार पर अंकित किया: अर्थगत सटीकता, प्रवाह, मशीनी निशान/कृत्रिमता, और रचनात्मकता। 1–5 का लाइकर्ट पैमाना उपयोग किया गया। डेटा का विश्लेषण प्रदर्शन औसत निर्धारित करने के लिए वर्णनात्मक सांख्यिकी और प्रणालियों के बीच महत्वपूर्ण सांख्यिकीय अंतर की पहचान करने के लिए क्रुस्काल-वैलिस परीक्षण का उपयोग करके किया गया।

मूल्यांकन मानदंड (अर्थगत सटीकता, प्रवाह, मशीन निशान, और रचनात्मकता) मशीन अनुवाद (MT) गुणवत्ता मूल्यांकन और अनुवाद अध्ययन दोनों से स्थापित मीट्रिक्स को संश्लेषित करके स्थापित किए गए थे। अर्थगत सटीकता और प्रवाह मानव-आधारित MT मूल्यांकन में मानक मीट्रिक्स हैं, जैसा कि व्हाइट (1994, पृष्ठ 196) द्वारा परिभाषित किया गया है, जो क्रमशः 'पर्याप्तता' और 'बोधगम्यता' का प्रतिनिधित्व करते हैं। 'प्राकृतिकता' और 'ट्रान्सलेशनीज़' की उपस्थिति का आकलन करने के लिए मशीन ट्रेस/कृत्रिमता को शामिल किया गया था, जो साहित्यिक संदर्भों में महत्वपूर्ण है (बॉकर और एहरेंसबर्गर-डाउ, 2019, पृ. 252-255)। अंत में, 'रिच पॉइंट्स' पर प्रणालियों के प्रदर्शन का मूल्यांकन करने के लिए रचनात्मकता को विशेष रूप से चुना गया था। चूँकि रिच पॉइंट्स के लिए गैर-स्वचालित, रणनीतिक समस्या-समाधान (PACTE, 2005) की आवश्यकता होती है, इसलिए यह मानदंड एआई की 'रचनात्मक समस्या समाधान' क्षमता को मापता है, जो अनुवाद में रचनात्मक बदलावों का आकलन करने के लिए कुस्माउल (1995) और बायर-होहेनवार्टर (2011) के ढाँचों के अनुरूप है।" इसके अलावा, कोलर के समतुल्यता ढांचे का उपयोग करके विशिष्ट अनुवाद विकल्पों की व्याख्या करने के लिए एक गुणात्मक विश्लेषण किया गया।

मात्रात्मक निष्कर्षों से पता चलता है कि तीनों एआई प्रणालियाँ आम तौर पर उच्च अनुवाद दक्षता प्रदर्शित करती हैं और सभी मानदंडों पर समान रूप से उच्च अंक प्राप्त करती हैं। सांख्यिकीय विश्लेषण से प्रणालियों के बीच अर्थपूर्ण सटीकता (p=.47), प्रवाह (p=.58), मशीन ट्रेस (p=.86), या रचनात्मकता (p=.70) के लिए कोई महत्वपूर्ण अंतर सामने नहीं आया।

अर्थगत सटीकता में उच्च अंक यह दर्शाते हैं कि ये मॉडल संदर्भ की व्याख्या करने और पाठ की अखंडता बनाए रखने में सक्षम हैं। हालाँकि, जहाँ प्रणालियों ने संख्यात्मक रूप से अच्छा प्रदर्शन किया, वहीं समृद्ध बिंदुओं के गुणात्मक विश्लेषण ने मानव और एआई रणनीतियों के बीच स्पष्ट अंतर को उजागर किया।

विश्लेषण से पता चला कि जहाँ एआई प्रणालियों ने अक्सर संकेतात्मक और पाठ्य समतुल्यता हासिल कर ली, वहीं वे अक्सर वह संचारी या व्यावहारिक समतुल्यता हासिल करने में विफल रहीं, जिसे मानव अनुवादक सफलतापूर्वक प्रबंधित कर सका।

उदाहरण के लिए, एक विशिष्ट बिंदु में, मानव अनुवादक ने अरबी शब्द "froze" का अनुवाद करने के लिए मुहावरा "taş kesilmek" (पत्थर हो जाना/स्थिर हो जाना) का इस्तेमाल किया, जिससे साहित्यिक संदर्भ के लिए उपयुक्त व्यंजनात्मक और संचारी समतुल्यता प्रदान हुई। इसके विपरीत, एआई प्रणालियों ने शाब्दिक "donup kaldı" (जम गया) का उपयोग किया, जिससे केवल संकेतात्मक समतुल्यता हासिल हुई। एक अन्य उदाहरण में, जिसमें एक विशिष्ट रंग का वर्णन ("भूरे के करीब लाल") शामिल था, मानव अनुवादक ने प्रमुख वर्णक को सही ढंग से लाल ("kahveye çalan kırmızı") के रूप में पहचाना, जबकि ChatGPT और DeepSeek ने इसका अनुवाद भूरे रंग ("kırmızıya çalan kahverengi") के रूप में किया, और इस सूक्ष्मता में सटीक संकेतात्मक समतुल्यता प्राप्त करने में विफल रहे।

इसी तरह, एक सांस्कृतिक वस्तु के संबंध में, मानव अनुवादक ने "लकड़ी/तख्ती" का अनुवाद "त्यूनेक" (परच) के रूप में किया, जो पक्षी के संदर्भ के अनुरूप था, जबकि एआई प्रणालियों ने इसका शाब्दिक अनुवाद "ताहता" (तख्ता) के रूप में किया, जिससे विशिष्ट संदर्भिक कार्य चूक गया।

अध्ययन का निष्कर्ष है कि एआई अनुवाद प्रणालियाँ संदर्भ की व्याख्या करने और पाठ की अखंडता बनाए रखने में एक उन्नत स्तर पर पहुँच गई हैं, और अक्सर जटिल समृद्ध बिंदुओं में भी मानव अनुवाद के करीब प्रदर्शन करती हैं।

मॉडलों के बीच सांख्यिकीय रूप से महत्वपूर्ण अंतर की कमी अरबी-तुर्की जोड़ी के लिए एआई क्षमताओं में एक सामान्यीकृत सुधार का संकेत देती है। हालांकि, विश्लेषण से पता चलता है कि पूर्ण कार्यात्मक क्षमता अभी तक हासिल नहीं की गई है। एआई मॉडल मुख्य रूप से पैटर्न मान्यता और सांख्यिकीय संबंधों पर काम करते हैं, जो प्राकृतिक संवाद, लहजे और इरादे की व्याख्या करने की उनकी क्षमता को सीमित करता है, जो मानवीय अनुवादक संज्ञानात्मक और सांस्कृतिक फ़िल्टरिंग के माध्यम से प्रदान करते हैं।

विशेष रूप से, निष्कर्ष इस निष्कर्ष का समर्थन करते हैं कि जबकि एआई संकेतात्मक समतुल्यता प्राप्त कर लेता है, यह संचारी-व्यावहारिक समतुल्यता में कम पड़ जाता है। अधिक उन्नत परिणाम प्राप्त करने के लिए, विशेष रूप से मशीन के निशानों को कम करने और स्वाभाविकता बढ़ाने में, भाषा मॉडल को सांस्कृतिक व्याख्या प्रक्रियाओं, विमर्शात्मक कार्यों और व्यावहारिक क्षमताओं के प्रति अधिक व्यापक रूप से संवेदनशील बनाने के लिए विकसित किया जाना चाहिए।

यह सुझाव दिया जाता है कि भविष्य के मॉडलों को न केवल शब्दावली या संरचनात्मक संबंधों पर, बल्कि ऐसे डेटा पर भी प्रशिक्षित किया जाना चाहिए जो लक्षित पाठक की अपेक्षाओं और पाठ के संदर्भात्मक कार्य को ध्यान में रखता हो।

अभ्यासकर्ताओं और शिक्षाविदों के लिए, 'रिच पॉइंट्स' में एआई का उच्च प्रदर्शन यह दर्शाता है कि ये प्रणालियाँ शक्तिशाली सहायक उपकरण हैं। हालाँकि, वे अभी तक एक मानव अनुवादक की संज्ञानात्मक निर्णय लेने की प्रक्रियाओं को पूरी तरह से प्रतिस्थापित नहीं कर सकते हैं। अनुवादक प्रशिक्षण को इस बात की पहचान करने पर ध्यान केंद्रित करना चाहिए कि एआई कहाँ विश्वसनीय है और कहाँ मानवीय हस्तक्षेप आवश्यक है—विशेष रूप से सांस्कृतिक रूप से संवेदनशील या व्यावहारिक रूप से जटिल "रिच पॉइंट्स" में। भविष्य के अध्ययनों को एआई अनुवाद प्रदर्शन की विकासात्मक गतिशीलता को ट्रैक करने के लिए बड़े डेटासेट, विभिन्न प्रकार के पाठ और नए मॉडल संस्करणों का उपयोग करके इस पर विस्तार करना चाहिए।