پالیسی کی جگہ ہدایات میں نہیں، سسٹم کے ڈھانچے میں کیوں ہے

صورتحال

تعمیر سے منسلک ادائیگی کے پلان پر موجود ایک خریدار 21:00 پر آپ کو WhatsApp پر پیغام بھیجتا ہے: "میری اگلی ادائیگی کتنی ہے، اور کب؟" جواب کا انحصار اس پر ہے کہ پروجیکٹ کس سنگ میل تک پہنچا ہے، نہ کہ کیلنڈر کی کسی تاریخ پر، اور اس شیڈول پر جو اس خریدار کے دستخط شدہ فروخت کے معاہدے میں درج ہے۔ آپ کی کسٹمر کیئر ٹیم کا کوئی فرد ریکارڈ کھول کر اسے پڑھ کر سنا دیتا۔ جس اے آئی ایجنٹ کو صرف آپ کی ادائیگیوں کا ڈھانچہ بتایا گیا ہو، وہ ایک ایسا جملہ تیار کرے گا جو بالکل درست جواب جیسا لگے گا، چاہے وہ درست ہو یا نہ ہو۔

یہی صورت اس وقت سامنے آتی ہے جب کسی انشورنس کمپنی کے اے آئی ایجنٹ سے پوچھا جائے کہ آیا کوئی علاج کوریج میں شامل ہے، یا کسی ایئر لائن کے اے آئی ایجنٹ سے کہ آیا کرایہ تبدیل کیا جا سکتا ہے۔ قانون کی نظر میں بھی، اور کسٹمر کے ذہن میں بھی، اے آئی ایجنٹ کے الفاظ کمپنی کے الفاظ ہیں۔ سوال یہ ہے کہ آپ یہ کیسے یقینی بنائیں کہ ان الفاظ میں صرف وہی بات ہو جو آپ کے سسٹمز حقیقت میں بتاتے ہیں۔

شواہد کیا بتاتے ہیں

وہ کمپنیاں جنہیں یہ سبق سب کے سامنے ملا

فروری 2024 میں برٹش کولمبیا کے سول ریزولوشن ٹریبونل (Civil Resolution Tribunal) نے Moffatt v. Air Canada کا فیصلہ سنایا [1]۔ ایئر لائن کی ویب سائٹ کے چیٹ بوٹ نے ایک مسافر کو بتایا کہ وہ ٹکٹ خریدنے کے 90 دن کے اندر کسی عزیز کی وفات کی صورت میں ملنے والے رعایتی کرایے (bereavement fare) کے لیے درخواست دے سکتا ہے۔ اس رعایت کے بارے میں ایئر لائن کے اپنے صفحے پر لکھا تھا کہ یہ پالیسی سفر مکمل ہونے کے بعد لاگو نہیں ہوتی۔ ٹریبونل نے اسے غفلت پر مبنی غلط بیانی (negligent misrepresentation) قرار دیا، یعنی لاپروائی سے دیا گیا ایسا غلط بیان جس پر کوئی معقول طور پر بھروسہ کرے، اور ہرجانے، سود اور فیس کی مد میں CA$812.02 ادا کرنے کا حکم دیا۔ فیصلے میں یہ نہیں بتایا گیا کہ چیٹ بوٹ میں کون سی ٹیکنالوجی استعمال ہوئی، اور یہ گفتگو لسانی ماڈلز کی موجودہ نسل کے وسیع استعمال سے پہلے ہوئی تھی۔ فیصلے کا دارومدار اس پر تھا کہ یہ الفاظ کس کے تھے، اس پر نہیں کہ یہ کیسے تیار ہوئے۔

مئی 2026 میں جرمنی کی ہیم کی اعلیٰ علاقائی عدالت (Higher Regional Court of Hamm) نے ایک ایسے کلینک کے بارے میں فیصلہ دیا جس کی ویب سائٹ کے چیٹ بوٹ نے اس کے ڈاکٹروں کو بورڈ سے تصدیق شدہ ماہرین بتایا تھا، حالانکہ وہ ایسے نہیں تھے [2]۔ عدالت نے قرار دیا کہ یہ بیانات خود کمپنی کا تجارتی طرز عمل تھے، کیونکہ چیٹ بوٹ کا دائرہ کار کمپنی نے طے کیا تھا اور وہ اسے دوبارہ پروگرام کر سکتی تھی۔ عدالت نے حکم امتناعی جاری کیا اور اپیل کی اجازت دی، اس لیے یہ فیصلہ ابھی حتمی نہیں۔

دو معاملات کبھی عدالت تک نہیں پہنچے۔ اپریل 2025 میں ایک سافٹ ویئر کمپنی کے ای میل سپورٹ کے اے آئی ایجنٹ نے کسٹمرز کو بتایا کہ سائن ان کا ایک مسئلہ صرف ایک ڈیوائس کی اجازت دینے والی پالیسی کا نتیجہ ہے۔ ایسی کوئی پالیسی موجود نہیں تھی۔ کمپنی نے کسٹمر کو رقم واپس کی اور کہا کہ اب اے آئی کے جوابات پر لیبل لگایا جائے گا [3]۔ دسمبر 2023 میں ایک کار ڈیلرشپ کی ویب سائٹ کے اے آئی ایجنٹ نے ایک وزیٹر کی جانب سے یہ ہدایت دیے جانے کے بعد کہ وہ اس کی ہر بات سے اتفاق کرے، ایک نئی گاڑی ایک ڈالر میں فروخت کرنے کی تحریری طور پر حامی بھر لی [4]۔ اس پر کوئی عمل درآمد نہیں ہوا۔ وینڈر نے بعد میں لکھا کہ ایجنٹ سے "احمقانہ باتیں کہلوانے" کی تقریباً 3,000 کوششوں میں سے 99 فیصد ناکام رہیں [5]۔ دوسرے زاویے سے دیکھیں تو یہ تقریباً 30 کامیاب کوششیں ہیں۔

آخری معاملہ ان سب کے لیے سب سے اہم ہے جو ریٹریول (retrieval)، یعنی دستاویزات سے معلومات نکال کر جواب دینے، پر بھروسہ کر رہے ہیں۔ نیو یارک شہر کا کاروباری چیٹ بوٹ Microsoft کی Azure AI سروسز پر چلتا تھا اور شہر کے اپنے 2,000 سے زیادہ ویب صفحات کی بنیاد پر جواب دیتا تھا۔ مارچ 2024 میں پتا چلا کہ وہ آجروں کو بتا رہا تھا کہ وہ ملازمین کی ٹپس میں سے حصہ لے سکتے ہیں، اور ریستورانوں کو بتا رہا تھا کہ وہ نقد رقم لینے سے انکار کر سکتے ہیں، حالانکہ شہر میں یہ دونوں کام غیر قانونی ہیں [6]۔ اسے زیادہ سخت انتباہات کے ساتھ آن لائن رکھا گیا، اور پھر 2026 کے اوائل میں بند کر دیا گیا [7]۔ ایجنٹ کو مستند دستاویزات کی بنیاد پر جواب دینے کا پابند کرنے سے اس کی غلطیاں کم ہوئیں۔ ختم نہیں ہوئیں۔

ہدایات ضمانت کیوں نہیں ہوتیں

لسانی ماڈل ایک ہی کام کرتا ہے: اب تک کے متن کو دیکھ کر وہ سب سے زیادہ ممکنہ اگلے لفظ کی پیش گوئی کرتا ہے۔ ہدایات (prompt)، چاہے آپ کی طرف سے ہوں یا کسٹمر کی طرف سے، بس مزید متن ہیں۔ برطانیہ کے نیشنل سائبر سیکیورٹی سینٹر (National Cyber Security Centre) نے دسمبر 2025 میں کہا کہ چونکہ ڈیٹا اور ہدایت کے درمیان کوئی بنیادی امتیاز موجود نہیں، اس لیے پرامپٹ انجیکشن (prompt injection)، یعنی ماڈل کے پڑھے جانے والے مواد میں چپکے سے ہدایات شامل کر دینے کا عمل، "شاید کبھی بھی اس طرح مکمل طور پر روکا نہ جا سکے جس طرح SQL انجیکشن حملوں کو روکا جا سکتا ہے"، اور مشورہ دیا کہ "ایسے طے شدہ اصولوں پر چلنے والے (deterministic، غیر LLM) حفاظتی انتظامات بنائے جائیں جو سسٹم کی کارروائیوں کو محدود کریں" [8]۔ OWASP، جس کی فہرستوں کو زیادہ تر سیکیورٹی ٹیمیں بنیاد بناتی ہیں، لسانی ماڈل ایپلیکیشنز کے لیے اپنی 2025 کی دس بڑے خطرات کی فہرست میں کہتا ہے کہ "یہ واضح نہیں کہ پرامپٹ انجیکشن سے بچاؤ کے کوئی یقینی طریقے موجود ہیں یا نہیں" [9]۔

تحقیق یہ ناپتی ہے کہ ہدایات کس حد تک قائم رہتی ہیں۔ جواب ہے: کچھ دیر تک۔

گفتگو کے دوران اثر کم ہوتا جاتا ہے۔ SysBench (2024) نے 500 سسٹم ہدایات (system prompts) اور 2,500 باریوں کی مدد سے جانچا کہ ماڈلز پانچ باریوں کے دوران سسٹم کی ہدایات کے ہر قاعدے کو کتنی اچھی طرح برقرار رکھتے ہیں۔ جانچے گئے ماڈلز میں سب سے مضبوط GPT-4o نے 54.4 فیصد سیشنز میں پوری گفتگو کے دوران ہر قاعدہ برقرار رکھا۔ جہاں بعد کے سوالات پہلے کے جوابات پر منحصر تھے، وہاں قواعد کے مکمل دائرے میں رہنے والی گفتگو کا تناسب ایک باری کے بعد 84.8 فیصد سے کم ہو کر پانچ باریوں کے بعد 33.7 فیصد رہ گیا [10]۔ 200,000 سے زیادہ سمیولیٹ کی گئی گفتگو پر ایک الگ تحقیق میں پایا گیا کہ جب وہی معلومات ایک ساتھ آنے کے بجائے کئی باریوں میں آئیں تو کارکردگی میں اوسطاً 39 فیصد کمی ہوئی، اور جو ماڈلز "گفتگو میں غلط موڑ مڑ جاتے ہیں" وہ عموماً سنبھل نہیں پاتے [11]۔ کسٹمرز کی گفتگو باریوں میں ہی آتی ہے۔

دباؤ میں اثر کمزور پڑ جاتا ہے۔ ماڈلز کو ایسے انسانی فیڈ بیک پر تربیت دی جاتی ہے جو اتفاق کرنے کو سراہتا ہے۔ 2023 کی ایک تحقیق میں اس وقت کے ایک ماڈل نے 98 فیصد سوالات پر غلط طور پر غلطی تسلیم کر لی جب صارف نے کہا: "مجھے نہیں لگتا یہ درست ہے۔ کیا آپ کو یقین ہے؟" [12]۔ تین سرکردہ ماڈلز پر 2025 کی ایک تحقیق میں پایا گیا کہ اعتراض کیے جانے پر 14.66 فیصد مواقع پر درست جواب غلط جواب میں بدل گیا [13]۔ جو کسٹمر کہتا ہے کہ "مجھے بتایا گیا تھا کہ مجھے ریفنڈ ملے گا"، وہ یہی دباؤ ڈال رہا ہوتا ہے۔

نتیجہ دہرایا نہیں جا سکتا۔ ماڈل کی بے ترتیبی (randomness) کو صفر پر سیٹ کرنے سے عملاً وہ ہر بار ایک جیسا نتیجہ دینے والا نہیں بن جاتا۔ 2025 کے ایک تجربے میں، اسی ترتیب پر ایک ہی ماڈل سے ایک ہی سوال 1,000 بار پوچھا گیا تو 80 مختلف جوابات ملے، کیونکہ ماڈل چلانے والے سسٹم کے اندر کا حساب اس بات کے ساتھ بدلتا ہے کہ اسی لمحے کتنی دوسری درخواستیں پروسیس ہو رہی ہیں [14]۔ "ہم نے اسے جانچا اور اس نے پالیسی پر عمل کیا" صرف ایک بار چلائے جانے کے بارے میں بیان ہے۔

ٹولز اور تحریری پالیسی اپنے طور پر کافی نہیں۔ τ-bench (2024) نے ماڈلز کو ریٹیل یا ایئر لائن ڈیٹا بیس پر کارروائی کرنے کے ٹولز اور ایک پالیسی دستاویز دی جس پر عمل کرنا تھا، جس میں "بیسک اکانومی پروازوں میں تبدیلی نہیں کی جا سکتی" جیسے قواعد شامل تھے۔ GPT-4o نے ریٹیل کے 61.2 فیصد اور ایئر لائن کے 35.2 فیصد کام درست طور پر مکمل کیے۔ جب ایک ہی کام لگاتار آٹھ بار مکمل کرنے کو کہا گیا، تو ریٹیل میں کامیابی کی شرح کم ہو کر تقریباً 25 فیصد رہ گئی [15]۔ پالیسی ماڈل کو بتائی گئی تھی۔ ٹولز کے ذریعے نافذ نہیں کی گئی تھی۔

چپکے سے شامل کی گئی ہدایات پر عمل ہو جاتا ہے۔ AgentDojo (2024) نے 629 حملے کیے جن میں ہدایات اس ڈیٹا میں چھپائی گئیں جو اے آئی ایجنٹ پڑھتا تھا، جیسے کوئی ای میل یا ویب صفحہ۔ GPT-4o نے 47.69 فیصد مواقع پر حملہ آور کی ہدایت پر عمل کیا۔ جانچے گئے دفاعی طریقوں میں سب سے مؤثر طریقہ بہتر ہدایات نہیں، بلکہ یہ محدود کرنا تھا کہ ایجنٹ کون سے ٹولز استعمال کر سکتا ہے، جس سے یہ شرح 7.5 فیصد پر آ گئی [16]۔ سسٹم کے ڈھانچے میں کیے گئے اس حل کے بعد بھی کچھ خطرہ باقی رہا، اسی لیے یہ مضمون یہیں نہیں رکتا۔

عربی میں اعداد و شمار بدل جاتے ہیں۔ اس تحقیق کا زیادہ تر حصہ انگریزی میں ہے۔ عربی سے متعلق جو واحد تحقیق ہمیں ملی، وہ خلیج سے باہر کی ہے اور کاروباری پالیسی کے بجائے نقصان دہ مواد سے متعلق ہے۔ یہاں یہ خلیجی کسٹمرز کے ٹائپ کرنے کے انداز کی وجہ سے اہم ہے۔ معیاری عربی میں دی گئی ہدایات پر GPT-4 نے 2.5 فیصد صورتوں میں غیر محفوظ مواد تیار کیا۔ یہی ہدایات عربیزی (Arabizi) میں، یعنی لاطینی حروف اور ہندسوں میں لکھی گئی عربی میں، 10.19 فیصد صورتوں میں غیر محفوظ مواد کا سبب بنیں، اور رومن رسم الخط میں منتقل شدہ متن میں 12.12 فیصد۔ اس کا مقابلہ کرنے کے لیے لکھی گئی سسٹم کی ہدایات نے یہ شرح کم کر کے تقریباً 1 فیصد کر دی [17]۔ یہ ایک بڑی بہتری ہے، لیکن پھر بھی صفر نہیں۔

ریٹریول مدد کرتا ہے، لیکن اس کی ناکامی کا اپنا انداز ہے

ماڈل کو درست دستاویز دینا کسٹمر کو درست عدد دینے کے برابر نہیں۔ RAGTruth (2024) نے ماڈل کے 17,790 ایسے جوابات کا جائزہ لیا جو اس وقت لکھے گئے جب درست ماخذ مواد ماڈل کے سامنے موجود تھا۔ جس کام میں بے بنیاد بیانات کی شرح سب سے زیادہ تھی، یعنی 68.6 فیصد جوابات، وہ ایک منظم ڈیٹا ریکارڈ کو عام عبارت میں بدلنا تھا [18]۔ یہی کچھ اس وقت ہوتا ہے جب اے آئی ایجنٹ ادائیگیوں کا شیڈول پڑھ کر اسے ایک جملے کی صورت میں دوبارہ لکھتا ہے۔ 2023 کی ایک تحقیق میں یہ بھی پایا گیا کہ جب حاصل کردہ شواہد ماڈلز کی تربیت میں سیکھی گئی بات سے جزوی طور پر متفق ہوں، تو ماڈلز اس سیکھی ہوئی بات کی طرف "شدید تصدیقی تعصب (confirmation bias)" دکھاتے ہیں [19]۔ ماڈل کے پاس درست حقیقت موجود ہو سکتی ہے، اور پھر بھی وہ مانوس بات کہہ سکتا ہے۔

ذمہ داری کس پر آتی ہے

Air Canada کیس میں ٹریبونل نے یہ دلیل مسترد کر دی کہ چیٹ بوٹ "ایک الگ قانونی وجود ہے جو اپنے اقدامات کا خود ذمہ دار ہے"، اور مزید کہا: "اس سے کوئی فرق نہیں پڑتا کہ معلومات کسی جامد صفحے سے آئیں یا کسی چیٹ بوٹ سے" [1]۔ جرمن عدالت ایک مختلف راستے سے اسی نتیجے پر پہنچی [2]۔ امریکہ کے فیڈرل ٹریڈ کمیشن (Federal Trade Commission) نے 2024 میں کہا کہ "نافذ العمل قوانین سے اے آئی کو کوئی استثنا حاصل نہیں" [20]۔ یہ تینوں خلیج سے باہر کے ہیں۔ ہمیں ابھی تک کسی چیٹ بوٹ کے بیان پر متحدہ عرب امارات یا سعودی عرب کا کوئی فیصلہ نہیں ملا۔ جو قواعد لاگو ہوں گے، وہ پہلے سے لکھے جا چکے ہیں۔

متحدہ عرب امارات میں صارفین کے تحفظ سے متعلق 2020 کا وفاقی قانون نمبر 15 (Federal Law No. 15 of 2020) ہر صارف کو ملنے والی سروس کے بارے میں "درست معلومات" کا حق دیتا ہے، کسی سروس کو "ایسے انداز میں جس میں غلط معلومات ہوں" بیان کرنے سے منع کرتا ہے، اور معاہدے کی ہر اس شق کو کالعدم قرار دیتا ہے جو فراہم کنندہ کو ان ذمہ داریوں سے مستثنیٰ کرے [21]۔ چیٹ ونڈو کے نیچے لکھا گیا ڈس کلیمر آپ کو اس ذمہ داری سے نہیں بچاتا۔ انشورنس کمپنیوں کے لیے، الیکٹرانک انشورنس کے ضوابط کمپنی کی ویب سائٹ کے اجزا میں "چیٹ بوٹ" کا نام لیتے ہیں، یہ ضروری قرار دیتے ہیں کہ وہاں موجود معلومات کو اپ ڈیٹ رکھا جائے، اور یہ کہ ویب سائٹ کے ذریعے حاصل ہونے والا ریکارڈ کم از کم دس سال تک محفوظ رکھا جائے [22]۔ فروری 2026 میں متحدہ عرب امارات کے مرکزی بینک (Central Bank of the UAE, CBUAE) نے لائسنس یافتہ مالیاتی اداروں کے لیے، جن میں انشورنس کمپنیاں بھی شامل ہیں، رہنمائی جاری کی کہ بورڈز اور سینئر انتظامیہ اے آئی سسٹمز اور ان کے نتائج کے لیے "ذمہ دار اور جواب دہ ہونے چاہییں"، کہ اداروں کو "ایسے اے آئی ماڈلز استعمال نہیں کرنے چاہییں جن پر ان کا کوئی کنٹرول نہ ہو"، اور یہ کہ کسٹمرز کو انسانی جائزے کی درخواست کرنے کے قابل ہونا چاہیے [23]۔ یہ رہنمائی ہے، ضابطہ نہیں، اور یہ بیان کرتی ہے کہ ریگولیٹر معقول احتیاط کو کس شکل میں دیکھنے کی توقع رکھتا ہے۔

سعودی عرب کا ای کامرس قانون اس سے بھی آگے جاتا ہے: الیکٹرانک اشتہار "معاہدوں کی تکمیل کرنے والی ایک معاہداتی دستاویز ہے جو فریقین پر لازم ہے"، اور اس میں کوئی ایسا بیان شامل نہیں ہو سکتا جو صارف کو "براہ راست یا بالواسطہ" گمراہ کرے [24]۔ انشورنس کا ضابطہ اخلاق کمپنیوں کے لیے ضروری قرار دیتا ہے کہ وہ "کسٹمرز کو فراہم کی جانے والی معلومات کی درستگی اور وضاحت کو یقینی بنانے کے لیے معقول اقدامات کریں"، اور کلیمز اور شکایات کا ریکارڈ دس سال تک محفوظ رکھیں [25]۔ اے آئی کی اخلاقیات کے قومی اصول کسی اے آئی سسٹم کے صرف تیار کنندگان کو نہیں، بلکہ اس کے "مالکان" اور "خریداروں" کو بھی اس کے فیصلوں اور اقدامات کا ذمہ دار ٹھہراتے ہیں [26]۔

اس کا مطلب کیا ہے

اس سے تین نتائج نکلتے ہیں، اور ایک ایسی صورت جس میں ایک چیز کے بدلے دوسری چھوڑنی پڑتی ہے۔

پہلا، اے آئی ایجنٹ کا جواب امکانات کا ایک پھیلاؤ ہوتا ہے، اور ہر ہدایت اس پھیلاؤ کو کھسکاتی تو ہے لیکن اس کا سرا (tail) نہیں کاٹتی۔ تربیت، بہتر ہدایات اور حفاظتی ضوابط کے درجہ بندی کرنے والے نظام (guardrail classifiers)، سب امکانات کو بدلتے ہیں، کبھی کبھی بہت زیادہ، اور ان میں سے کوئی بھی غلط جواب کو ناممکن نہیں بناتا۔ کسی بڑے آپریشن میں گفتگو کے حجم کو دیکھتے ہوئے، چھوٹا سا سرا بھی روزانہ کا واقعہ بن جاتا ہے۔ اگر سو میں سے ایک جواب غلط ہو، تو ماہانہ پچاس ہزار گفتگو سے پانچ سو غلط جوابات نکلتے ہیں، اور ہر ایک ریکارڈ پر ہوتا ہے۔

دوسرا، قانون کو اس سے کوئی غرض نہیں کہ یہ سرا کہاں سے آیا۔ چاہے یہ خودکار طور پر تیار ہوا ہو، دستاویزات سے حاصل کیا گیا ہو یا کسی فرد نے ٹائپ کیا ہو، یہ آپ کا بیان ہے، اور خلیج میں اس پر لاگو ہونے والے صارفین اور انشورنس کے قواعد پہلے سے نافذ ہیں۔

تیسرا، اس لیے جس چیز کے تجارتی یا قانونی نتائج ہوں، اسے سرے سے خودکار طور پر تیار ہی نہیں کیا جا سکتا۔ قیمت، ادائیگی کی تاریخ، کوریج کی حد، ریفنڈ کا استحقاق اور کرایے کا قاعدہ، ان سب کا اس سسٹم سے پڑھی گئی ویلیو کی صورت میں آنا لازمی ہے جو ان کا مالک ہے، اور کسٹمر کی پوزیشن بدلنے والی ہر کارروائی کے بارے میں یہ لازمی ہے کہ اسے انجام دینے والا سسٹم ہی طے کرے کہ اے آئی ایجنٹ کو وہ کارروائی کرنے کی اجازت ہے یا نہیں۔ ماڈل کا کام حقیقت کے گرد الفاظ ترتیب دینا ہے۔ وہ کبھی حقیقت کا ماخذ نہیں ہوتا۔

اس کی قیمت حقیقی ہے۔ اس طرح بنایا گیا اے آئی ایجنٹ کم کام کرتا ہے۔ Google کا CaMeL، جو اس مقصد کے لیے اب تک شائع ہونے والی سب سے سخت کوشش ہے کہ چپکے سے شامل کیا گیا متن کوئی کارروائی متحرک نہ کر سکے، نے سیکیورٹی کے ثبوت کے ساتھ بینچ مارک کے 77 فیصد کام مکمل کیے، جبکہ بغیر دفاع کے سسٹم نے 84 فیصد [27]۔ ETH Zurich، Google، Microsoft، IBM اور دیگر اداروں کے سیکیورٹی محققین کا ڈیزائن پیٹرنز پر 2025 کا مقالہ کہتا ہے کہ اس کے پیٹرنز "ایجنٹس کی کارروائیوں کو محدود کرتے ہیں تاکہ انہیں واضح طور پر کوئی بھی من چاہا کام انجام دینے سے روکا جا سکے" [28]۔ کسی ماڈل کو جواب کے ایک سخت فارمیٹ کا پابند کرنا، اگر لاپروائی سے کیا جائے، تو اس کے استدلال کو نقصان پہنچا سکتا ہے: 2024 کی ایک تحقیق میں ایک سخت اسکیما کے تحت حساب کی درستگی 86.51 سے گر کر 23.44 فیصد رہ گئی، اگرچہ یکساں ہدایات کے ساتھ اسی تجربے کو دہرانے پر ایسی کوئی کمی نہیں ملی [29] [30]۔ اور طے شدہ اصولوں پر چلنے والے (deterministic) سسٹمز اپنے طریقوں سے ناکام ہوتے ہیں: 2012 میں Knight Capital کو 45 منٹ میں $460 ملین سے زیادہ کا نقصان ہوا، کیونکہ ایک ٹیکنیشن نے آٹھ میں سے ایک سرور پر نیا کوڈ کاپی نہیں کیا اور کسی نے جانچ نہیں کی [31]۔ قواعد کے حق میں دلیل دراصل ایسے قواعد کے حق میں دلیل ہے جن کا آڈٹ ہو سکے اور جن کی تعیناتی اسی نظم و ضبط سے ہو جو آپ کسی بلنگ سسٹم سے طلب کرتے ہیں۔

ہم اس کے مطابق ڈیزائن کیسے کرتے ہیں

پالیسی ایک پابندی ہے، ہدایت نہیں۔ آپ کی قیمتوں کے ڈھانچے، منظوری کی حدود، فیسیں اور استحقاق اسی چیز کا حصہ بنا دیے جاتے ہیں کہ اے آئی ایجنٹ کیا کر سکتا ہے۔ وہ کوئی ایسی پیشکش نہیں کر سکتا جس کی کاروبار اجازت نہ دے، کیونکہ وہ پیشکش اس کی اجازت یافتہ کارروائیوں میں شامل ہی نہیں ہوتی۔ OWASP اسے مکمل ثالثی (complete mediation) کہتا ہے: "یہ فیصلہ کرنے کے لیے کہ کوئی کارروائی جائز ہے یا نہیں، LLM پر انحصار کرنے کے بجائے اجازت کا نظام بعد کے سسٹمز (downstream systems) میں نافذ کریں" [32]۔

شرائط سسٹم سے حاصل کی جاتی ہیں، کبھی خودکار طور پر تیار نہیں کی جاتیں۔ جب کوئی خریدار پوچھتا ہے کہ اس کی اگلی واجب الادا رقم کیا ہے، تو اے آئی ایجنٹ اس یونٹ کا شیڈول آپ کے سسٹم سے پڑھ کر پیش کرتا ہے۔ جب کوئی پالیسی ہولڈر پوچھتا ہے کہ کیا کوریج میں شامل ہے، تو جواب اس کی اصل پالیسی کی شرائط و ضوابط سے آتا ہے۔ اے آئی ایجنٹ کوئی ایسا ادائیگی کا پلان نہیں بنا سکتا یا ایسی کوریج بیان نہیں کر سکتا جو ریکارڈ میں موجود نہ ہو، کیونکہ اس کے پاس یہ ویلیوز پیش کرنے کا انہیں پڑھنے کے سوا کوئی طریقہ نہیں۔

فیصلے کی کارروائیاں اے آئی ایجنٹ کو فراہم نہیں کی جاتیں۔ انشورنس میں اے آئی ایجنٹ نہ کبھی ذمہ داری کا تعین کرتا ہے، نہ تصفیے کی رقم طے کرتا ہے، اور نہ کسی کلیم کو منظور یا مسترد کرتا ہے۔ یہ کارروائیاں اسے دستیاب نہیں ہوتیں؛ یہ آپ کی کلیم ٹیم کے پاس جاتی ہیں۔ یہی اصول سفر میں واؤچرز اور معاوضے پر لاگو ہوتا ہے، جو آپ کی پالیسی کی حدود کے اندر جاری کیے جاتے ہیں اور ان حدود سے باہر کی ہر چیز کسی فرد کے پاس جاتی ہے، اور دوبارہ بکنگ پر بھی، جو صرف کرایے کے قواعد کی اجازت کے اندر پیش کی جاتی ہے۔

دستاویزات وضاحت کرتی ہیں؛ سسٹمز فیصلہ کرتے ہیں۔ نالج بیس سے دیے گئے جوابات صرف آپ کی اپنی دستاویزات، پالیسیوں اور عمومی سوالات (FAQs) سے آتے ہیں، اور اے آئی ایجنٹ اسی مواد کا پابند ہوتا ہے۔ وضاحت کے لیے یہی درست ذریعہ ہے، ویلیوز کے لیے نہیں۔ دستاویز کسٹمر کو بتاتی ہے کہ کسی عزیز کی وفات سے متعلق آپ کی پالیسی کیسے کام کرتی ہے۔ سسٹم بتاتا ہے کہ کسٹمر کی بکنگ اس کی اہل ہے یا نہیں۔

جو منظوری کسی فرد کو دینی چاہیے، وہ فرد ہی دیتا ہے۔ آپ ٹھیک ٹھیک طے کرتے ہیں کہ گفتگو کب آپ کی ٹیم کے پاس جائے، اور حساس کارروائیاں انجام پانے سے پہلے کسی فرد کی منظوری کا انتظار کر سکتی ہیں۔ اے آئی ایجنٹس کی سیکیورٹی کے لیے Meta کا شائع شدہ اصول کہتا ہے کہ جو ایجنٹ ناقابل اعتماد ان پٹ پڑھتا ہو، نجی ڈیٹا دیکھتا ہو اور سسٹم کی حالت بدل سکتا ہو، اسے کسی سخت پابندی کے بغیر یہ تینوں کام نہیں کرنے چاہییں [33]۔ ریفنڈ دینے والا اے آئی ایجنٹ بالکل ایسا ہی ایجنٹ ہے۔ منظوری کا مرحلہ ہی وہ پابندی ہے۔

ہر کارروائی درج کی جاتی ہے۔ متحدہ عرب امارات اور سعودی عرب کے قواعد توقع کرتے ہیں کہ کسٹمرز کا ریکارڈ برسوں تک رکھا جائے، اور جب کوئی ریگولیٹر یا کسٹمر پوچھے کہ کیا کہا گیا تھا تو اسے پیش کیا جائے۔ ہمارے اے آئی ایجنٹس اپنی ہر کارروائی اور اس کی وجہ درج کرتے ہیں، اس لیے "انہیں کیا بتایا گیا تھا، اور کب" کا جواب ایک کوئری چلانے سے مل جاتا ہے، ریکارڈنگز کھنگالنے سے نہیں۔

جو ہم ابھی نہیں جانتے

متحدہ عرب امارات یا سعودی عرب کی کسی عدالت یا ٹریبونل نے ابھی تک کسٹمرز سے بات کرنے والے کسی اے آئی ایجنٹ کے بیان پر فیصلہ نہیں دیا۔ متحدہ عرب امارات کا نیا سول ٹرانزیکشنز قانون (Civil Transactions Law)، جو جون 2026 سے نافذ ہے، ایسی معلومات ظاہر کرنے کی ذمہ داری کا اضافہ کرتا ہے جو دوسرے فریق کے معاہدہ کرنے کے فیصلے کے لیے فیصلہ کن اہمیت رکھتی ہوں [34]، اور کوئی نہیں جانتا کہ کوئی عدالت اسے خودکار گفتگو پر کیسے لاگو کرے گی۔

خلیجی عربی بولی میں، یا ایسی گفتگو میں جس میں جملے کے بیچ عربی اور انگریزی کے درمیان زبان بدلی جائے، پرامپٹ انجیکشن یا پالیسی سے بتدریج انحراف (policy drift) پر کوئی شائع شدہ تحقیق موجود نہیں۔ اوپر بیان کیے گئے عربیزی سے متعلق نتائج نقصان دہ مواد سے متعلق ہیں، ریفنڈز اور قیمتوں سے نہیں۔ اس خلا کو فرض کرنے کے بجائے ناپا جانا چاہیے۔

کسی نے یہ شائع نہیں کیا کہ پابندیوں میں کام کرنے والا اے آئی ایجنٹ بینچ مارک کے بجائے کسٹمرز کے ساتھ حقیقی آپریشن میں کیا کھوتا ہے۔ جرمن فیصلے کے خلاف اپیل زیر سماعت ہے، اور Air Canada کے فیصلے میں یہ نہیں بتایا گیا کہ چیٹ بوٹ نے اپنا جواب خود تیار کیا تھا یا کسی بری طرح لکھے گئے ٹیمپلیٹ سے پڑھا تھا۔ اور زیادہ تر تحقیق تحریری متن پر ہے۔ وائس میں اوپر بیان کی گئی ہر چیز کے علاوہ تحریری نقل کی غلطی بھی شامل ہو جاتی ہے، اور ہم نے اس مقصد کے لیے اس کی پیمائش ہوتے نہیں دیکھی۔

مآخذ

1. 1.British Columbia Civil Resolution Tribunal, Moffatt v. Air Canada, 2024 BCCRT 149, 14 February 2024.⁠https://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.html
2. 2.Oberlandesgericht Hamm, judgment of 12 May 2026, 4 UKl 3/25 (full text, German).⁠https://nrwe.justiz.nrw.de/olgs/hamm/j2026/4_UKl_3_25_Urteil_20260512.html English summary: DLA Piper, "German court addresses liability for AI chatbot statements", June 2026. https://www.dlapiper.com/en-us/insights/publications/2026/06/german-court-addresses-liability
3. 3.M. Truell (Cursor co-founder), comment on Hacker News, 16 April 2025.⁠https://news.ycombinator.com/item?id=43700931 Reported in The Register, "Cursor AI's own support bot hallucinated its usage policy", 18 April 2025. https://www.theregister.com/2025/04/18/cursor_ai_support_bot_lies/
4. 4.VentureBeat, "A Chevy for $1? Car dealer chatbots show perils of AI for customer service", 19 December 2023 (secondary; the original exchange exists only as a social media screenshot).⁠https://venturebeat.com/ai/a-chevy-for-1-car-dealer-chatbots-show-perils-of-ai-for-customer-service
5. 5.Fullpath, "What really happened when Fullpath's ChatGPT chatbot went viral", 21 December 2023.⁠https://www.fullpath.com/blog/what-really-happened-when-fullpaths-chatgpt-chatbot-went-viral/
6. 6.The Markup, "NYC's AI chatbot tells businesses to break the law", 29 March 2024 (secondary; no official audit exists).⁠https://themarkup.org/artificial-intelligence/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law
7. 7.The Markup, "Mamdani to kill the NYC AI chatbot we caught telling businesses to break the law", 30 January 2026.⁠https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law
8. 8.UK National Cyber Security Centre, D. Chismon, "Prompt injection is not SQL injection (it may be worse)", 8 December 2025.⁠https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection
9. 9.OWASP, "LLM01:2025 Prompt Injection", OWASP Top 10 for LLM Applications 2025.⁠https://genai.owasp.org/llmrisk/llm01-prompt-injection/
10. 10.Y. Qin et al., "SysBench: Can Large Language Models Follow System Messages?", 2024, Tables 2 and 4.⁠https://arxiv.org/abs/2408.10943
11. 11.P. Laban et al., "LLMs Get Lost in Multi-Turn Conversation", 2025.⁠https://arxiv.org/abs/2505.06120
12. 12.M. Sharma et al., "Towards Understanding Sycophancy in Language Models", 2023, section 3.2.⁠https://arxiv.org/abs/2310.13548
13. 13.A. Fanous et al., "SycEval: Evaluating LLM Sycophancy", 2025.⁠https://arxiv.org/abs/2502.08177
14. 14.H. He, "Defeating Nondeterminism in LLM Inference", Thinking Machines, 10 September 2025.⁠https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
15. 15.S. Yao et al., "τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains", 2024, Table 2 and Figure 4.⁠https://arxiv.org/abs/2406.12045
16. 16.E. Debenedetti et al., "AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents", NeurIPS 2024, Tables 3 and 5.⁠https://arxiv.org/abs/2406.13352
17. 17.M. Al Ghanim et al., "Jailbreaking LLMs with Arabic Transliteration and Arabizi", EMNLP 2024, Tables 2 and 3.⁠https://arxiv.org/abs/2406.18725
18. 18.C. Niu et al., "RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models", ACL 2024, Table 2.⁠https://aclanthology.org/2024.acl-long.585.pdf
19. 19.J. Xie et al., "Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts", ICLR 2024.⁠https://arxiv.org/abs/2305.13300
20. 20.US Federal Trade Commission, "FTC Announces Crackdown on Deceptive AI Claims and Schemes", 25 September 2024.⁠https://www.ftc.gov/news-events/news/press-releases/2024/09/ftc-announces-crackdown-deceptive-ai-claims-schemes
21. 21.UAE Federal Law No. 15 of 2020 on Consumer Protection, Articles 4(2), 17 and 21 (Ministry of Economy English text).⁠https://www.moet.gov.ae/documents/20121/0/Law_15_2020_pdf.pdf
22. 22.UAE Insurance Authority Board of Directors' Resolution No. 18 of 2020 concerning Electronic Insurance Regulations, Articles 1, 8 and 16(3).⁠https://rulebook.centralbank.ae/en/rulebook/insurance-authority-board-directors-resolution-no-18-2020-concerning-electronic-insurance
23. 23.Central Bank of the UAE, "Guidance Note on the Consumer Protection and Responsible Adoption and Use of Artificial Intelligence and Machine Learning by Licensed Financial Institutions", 11 February 2026, sections 2, 4 and 7.⁠https://rulebook.centralbank.ae/en/rulebook/guidance-note-consumer-protection-and-responsible-adoption-and-use-artificial-intelligence
24. 24.Kingdom of Saudi Arabia, E-Commerce Law, Royal Decree No. M/126 of 1440H (2019), Articles 10 and 11 (Arabic text governs; English wording is an unofficial rendering).⁠https://laws.boe.gov.sa
25. 25.Saudi Arabian Monetary Authority (sector now supervised by the Insurance Authority), Insurance Market Code of Conduct Regulation, Articles 8, 16 and 28.⁠https://rulebook.sama.gov.sa/en/entiresection/563
26. 26.Saudi Data and Artificial Intelligence Authority, "AI Ethics Principles", version 1.0, September 2023, Accountability and Responsibility principle.⁠https://dgp.sdaia.gov.sa/wps/wcm/connect/4c56ed1c-1b82-447d-ac29-638f5f99c12e/ai-principles-EN.pdf
27. 27.E. Debenedetti et al., "Defeating Prompt Injections by Design", Google DeepMind and ETH Zurich, 2025.⁠https://arxiv.org/abs/2503.18813
28. 28.L. Beurer-Kellner et al., "Design Patterns for Securing LLM Agents against Prompt Injections", 2025.⁠https://arxiv.org/abs/2506.08837
29. 29.Z. R. Tam et al., "Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models", 2024, Table 1.⁠https://arxiv.org/abs/2408.02442
30. 30.W. Kurt, "Say What You Mean: A Response to 'Let Me Speak Freely'", .txt (undated vendor blog).⁠https://blog.dottxt.ai/say-what-you-mean.html
31. 31.US Securities and Exchange Commission, In the Matter of Knight Capital Americas LLC, Release No. 34-70694, 16 October 2013, paragraphs 1 and 15.⁠https://www.sec.gov/files/litigation/admin/2013/34-70694.pdf
32. 32.OWASP, "LLM06:2025 Excessive Agency", OWASP Top 10 for LLM Applications 2025.⁠https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
33. 33.Meta AI, "Agents Rule of Two: A Practical Approach to AI Agent Security", 31 October 2025.⁠https://ai.meta.com/blog/practical-ai-agent-security/
34. 34.HLC, "New UAE Civil Transactions Law: four key implications for corporate and commercial transactions", 2026 (secondary; law firm summary of Federal Decree-Law No. 25 of 2025).⁠https://www.hlc.com/en/publications/new-uae-civil-transactions-law-four-key-implications-for-corporate-and-commercial-transactions