AI in medicine need to counter bias, and not entrench it more : Shots

ڈاکٹروں، ڈیٹا سائنسدانوں اور ہسپتال کے ایگزیکٹوز کا خیال ہے کہ مصنوعی ذہانت ان مسائل کو حل کرنے میں مدد کر سکتی ہے جو اب تک ناقابل تلافی مسائل تھے۔ AI پہلے ہی معالجین کی مدد کرنے کا وعدہ دکھا رہا ہے۔ چھاتی کے کینسر کی تشخیص، ایکس رے پڑھیں اور پیش گوئی کریں کہ کن مریضوں کو زیادہ دیکھ بھال کی ضرورت ہے۔. لیکن جیسے جیسے جوش میں اضافہ ہوتا ہے، ایک خطرہ بھی ہوتا ہے: یہ طاقتور نئے ٹولز نگہداشت کی فراہمی کے طریقہ کار میں دیرینہ نسلی عدم مساوات کو برقرار رکھ سکتے ہیں۔

“اگر آپ اس میں گڑبڑ کرتے ہیں تو، آپ صحت کے نظام میں نظامی نسل پرستی کو مزید داخل کر کے لوگوں کو واقعی نقصان پہنچا سکتے ہیں،” ڈاکٹر نے کہا۔ مارک سینڈک، ڈیوک انسٹی ٹیوٹ فار ہیلتھ انوویشن میں ایک اہم ڈیٹا سائنسدان۔

صحت کی دیکھ بھال کے یہ نئے اوزار اکثر استعمال کرتے ہوئے بنائے جاتے ہیں۔ مشین لرننگ، AI کا ایک ذیلی سیٹ جہاں الگورتھم کو بڑے ڈیٹا سیٹس جیسے بلنگ کی معلومات اور ٹیسٹ کے نتائج میں پیٹرن تلاش کرنے کی تربیت دی جاتی ہے۔ وہ نمونے مستقبل کے نتائج کی پیش گوئی کر سکتے ہیں، جیسے کہ مریض میں سیپسس پیدا ہونے کا موقع۔ یہ الگورتھم ایک ہی وقت میں ہسپتال میں ہر مریض کی مسلسل نگرانی کر سکتے ہیں، معالجین کو ممکنہ خطرات سے آگاہ کرتے ہیں جن سے زیادہ کام کرنے والا عملہ دوسری صورت میں کھو سکتا ہے۔

تاہم، یہ الگورتھم جس ڈیٹا پر بنائے گئے ہیں، وہ اکثر عدم مساوات اور تعصب کی عکاسی کرتے ہیں جو طویل عرصے سے امریکی صحت کی دیکھ بھال سے دوچار ہیں۔ تحقیق سے پتہ چلتا ہے کہ معالجین اکثر مختلف دیکھ بھال فراہم کرتے ہیں سفید مریضوں اور رنگ کے مریضوں کو. مریضوں کے ساتھ کس طرح سلوک کیا جاتا ہے اس میں وہ اختلافات ڈیٹا میں لافانی ہو جاتے ہیں، جو پھر الگورتھم کو تربیت دینے کے لیے استعمال ہوتے ہیں۔ رنگ کے لوگ بھی اکثر ہوتے ہیں۔ کم نمائندگی ان تربیتی ڈیٹا سیٹس میں۔

سینڈک نے کہا، “جب آپ ماضی سے سیکھتے ہیں، تو آپ ماضی کو نقل کرتے ہیں۔ “کیونکہ آپ موجودہ عدم مساوات کو لیتے ہیں اور آپ ان کو اس خواہش کے طور پر دیکھتے ہیں کہ صحت کی دیکھ بھال کیسے کی جانی چاہئے۔”

سائنس جریدے میں شائع ہونے والی 2019 کی ایک تاریخی تحقیق سے پتہ چلا ہے کہ ایک الگورتھم پیشن گوئی کرنے کے لئے استعمال کیا جاتا ہے 100 ملین سے زیادہ لوگوں کو صحت کی دیکھ بھال کی ضرورت تھی۔ سیاہ فام مریضوں کے خلاف تعصب. الگورتھم مستقبل کی صحت کی ضروریات کا اندازہ لگانے کے لیے صحت کی دیکھ بھال کے اخراجات پر انحصار کرتا ہے۔ لیکن تاریخی طور پر دیکھ بھال تک کم رسائی کے ساتھ، سیاہ فام مریض اکثر کم خرچ کرتے ہیں۔ اس کے نتیجے میں، سیاہ فام مریضوں کو الگورتھم کے تحت اضافی نگہداشت کی سفارش کرنے کے لیے بہت زیادہ بیمار ہونا پڑا۔

“آپ بنیادی طور پر وہاں جا رہے ہیں جہاں بارودی سرنگیں ہیں،” سینڈک نے ایسے ڈیٹا کا استعمال کرتے ہوئے کلینیکل AI ٹولز بنانے کی کوشش کے بارے میں کہا جس میں تعصب ہو سکتا ہے، “اور [if you’re not careful] آپ کا سامان اڑا دے گا اور اس سے لوگوں کو تکلیف ہو گی۔”

نسلی تعصب کو جڑ سے اکھاڑ پھینکنے کا چیلنج

2019 کے موسم خزاں میں، سینڈک نے پیڈیاٹرک ایمرجنسی میڈیسن کے معالج ڈاکٹر کے ساتھ مل کر کام کیا۔ ایملی سٹریٹ ڈیوک یونیورسٹی ہسپتال کے ایمرجنسی ڈیپارٹمنٹ میں بچپن کے سیپسس کی پیش گوئی کرنے میں مدد کے لیے الگورتھم تیار کرنا۔

سیپسس اس وقت ہوتا ہے جب جسم کسی انفیکشن پر زیادہ رد عمل ظاہر کرتا ہے اور اپنے اعضاء پر حملہ کرتا ہے۔ جبکہ بچوں میں نایاب – تقریباً 75,000 امریکہ میں سالانہ کیسز – یہ قابل روک حالت تقریباً 10% بچوں کے لیے مہلک ہے۔ اگر جلدی پکڑا جائے تو اینٹی بائیوٹک مؤثر طریقے سے سیپسس کا علاج کرتی ہے۔ لیکن تشخیص مشکل ہے کیونکہ عام ابتدائی علامات – بخار، تیز دل کی دھڑکن اور خون کے سفید خلیات کی تعداد – عام سردی سمیت دیگر بیماریوں کی نقل کرتے ہیں۔

ایک الگورتھم جو بچوں میں سیپسس کے خطرے کی پیش گوئی کر سکتا ہے ملک بھر کے معالجین کے لیے گیم چینجر ثابت ہو گا۔ سٹریٹ نے کہا، “جب یہ ایک بچے کی زندگی لائن پر ہے، تو ایک بیک اپ سسٹم کا ہونا جو AI پیش کر سکتا ہے کہ اس میں سے کچھ انسانی غلطی کو تقویت دے سکتا ہے، واقعی، واقعی اہم ہے،” سٹریٹ نے کہا۔

لیکن سائنس میں تعصب کے بارے میں اہم مطالعہ نے Sendak اور Sterrett کو تقویت دی کہ وہ اپنے ڈیزائن میں محتاط رہنا چاہتے تھے۔ ٹیم نے آسانی سے قابل رسائی لیکن اکثر نامکمل بلنگ ڈیٹا کی بجائے اہم علامات اور لیبارٹری ٹیسٹوں کی بنیاد پر سیپسس کی شناخت کرنے کے الگورتھم کو سکھانے میں ایک مہینہ گزارا۔ ترقی کے پہلے 18 مہینوں میں پروگرام میں کسی بھی تبدیلی نے کوالٹی کنٹرول ٹیسٹ کو متحرک کیا تاکہ یہ یقینی بنایا جا سکے کہ الگورتھم نے نسل یا نسل سے قطع نظر سیپسس کو یکساں طور پر پایا۔

لیکن ان کی جان بوجھ کر اور طریقہ کار کی کوشش میں تقریباً تین سال بعد، ٹیم نے دریافت کیا کہ ممکنہ تعصب اب بھی پھسلنے میں کامیاب رہا۔ ڈاکٹر گنگا مورتیڈیوک کے پیڈیاٹرک متعدی امراض کے پروگرام کے ساتھ ایک عالمی صحت کے ساتھی، نے ڈویلپرز کی تحقیق کو دکھایا کہ ڈیوک کے ڈاکٹروں کو ہسپانوی بچوں کے خون کے ٹیسٹ کروانے میں زیادہ وقت لگتا ہے جو بالآخر سفید بچوں کے مقابلے میں سیپسس کی تشخیص کرتے ہیں۔

مورتی نے کہا، “میرے بڑے مفروضوں میں سے ایک یہ تھا کہ ڈاکٹر سفید فام بچوں میں ہونے والی بیماریوں کو شاید ہسپانوی بچوں کی نسبت زیادہ سنجیدگی سے لے رہے تھے۔” اس نے یہ بھی سوچا کہ کیا ترجمانوں کی ضرورت نے اس عمل کو سست کر دیا۔

“مجھے اپنے آپ پر غصہ آیا۔ ہم یہ کیسے نہیں دیکھ سکتے؟” سینڈک نے کہا۔ “ہم نے ان تمام باریک چیزوں کو مکمل طور پر کھو دیا کہ اگر ان میں سے کوئی ایک مستقل طور پر درست ہو تو الگورتھم میں تعصب متعارف کرایا جا سکتا ہے۔”

سینڈک نے کہا کہ ٹیم نے اس تاخیر کو نظر انداز کر دیا، ممکنہ طور پر ان کے AI کو غلط طریقے سے سکھایا کہ ہسپانوی بچے دوسرے بچوں کے مقابلے میں سیپسس کی نشوونما آہستہ کرتے ہیں، وقت کا فرق جو مہلک ہو سکتا ہے۔

ریگولیٹرز نوٹس لے رہے ہیں۔

گزشتہ کئی سالوں میں، ہسپتالوں اور محققین نے تشکیل دیا قومی اتحاد اشتراک کرنے کے لئے بہترین طریقوں اور ترقی “پلے بکس” تعصب کا مقابلہ کرنے کے لیے۔ لیکن نشانیاں بتاتی ہیں کہ چند ہسپتال اس نئی ٹیکنالوجی سے لاحق ایکویٹی خطرے کا حساب لگا رہے ہیں۔

محقق پیج نونگ پچھلے سال 13 تعلیمی طبی مراکز کے اہلکاروں سے انٹرویو کیا، اور صرف چار نے کہا کہ وہ مشین لرننگ الگورتھم تیار کرتے یا جانچتے وقت نسلی تعصب پر غور کرتے ہیں۔

نونگ نے کہا، “اگر کسی ہسپتال یا صحت کے نظام میں کوئی خاص رہنما نسلی عدم مساوات کے بارے میں ذاتی طور پر فکر مند ہو، تو یہ بتائے گا کہ وہ AI کے بارے میں کیسے سوچتے ہیں۔” “لیکن وہاں کچھ بھی ساختی نہیں تھا، ریگولیٹری یا پالیسی کی سطح پر کچھ بھی نہیں تھا جو انہیں اس طرح سوچنے یا عمل کرنے کی ضرورت تھی۔”

متعدد ماہرین کا کہنا ہے کہ ضابطے کی کمی AI کے اس کونے کو “وائلڈ ویسٹ” کی طرح محسوس کرتی ہے۔ الگ 2021 تحقیقات AI میں نسلی تعصب پر فوڈ اینڈ ڈرگ ایڈمنسٹریشن کی پالیسیوں کو ناہموار پایا، جس میں الگورتھم کا صرف ایک حصہ ہے حتیٰ کہ عوامی ایپلی کیشنز میں نسلی معلومات بھی شامل ہے۔

بائیڈن انتظامیہ نے پچھلے 10 مہینوں کے دوران اس ابھرتی ہوئی ٹیکنالوجی کے لیے گارڈریلز کو ڈیزائن کرنے کے لیے بہت ساری تجاویز جاری کی ہیں۔ ایف ڈی اے یہ کہتا ہے۔ اب ڈویلپرز سے پوچھتا ہے تعصب کو کم کرنے کے لیے اٹھائے گئے کسی بھی اقدامات اور نئے الگورتھم کے تحت ڈیٹا کے ماخذ کا خاکہ بنانے کے لیے۔

نیشنل کوآرڈینیٹر برائے ہیلتھ انفارمیشن ٹیکنالوجی کا دفتر نئے ضوابط کی تجویز اپریل میں اس کے لیے ڈویلپرز کو کلینشین کے ساتھ ایک مکمل تصویر شیئر کرنے کی ضرورت ہوگی کہ الگورتھم بنانے کے لیے کون سا ڈیٹا استعمال کیا گیا تھا۔ ایجنسی کی چیف پرائیویسی آفیسر، کیتھرین مارچیسینی نے نئے ضوابط کو “غذائیت کا لیبل” قرار دیا جو ڈاکٹروں کو “الگورتھم بنانے کے لیے استعمال ہونے والے اجزاء” کو جاننے میں مدد کرتا ہے۔ امید ہے کہ زیادہ شفافیت فراہم کرنے والوں کو یہ تعین کرنے میں مدد کرے گی کہ آیا کوئی الگورتھم مریضوں پر محفوظ طریقے سے استعمال کرنے کے لیے کافی غیر جانبدارانہ ہے۔

امریکی محکمہ صحت اور انسانی خدمات کے دفتر برائے شہری حقوق نے گزشتہ موسم گرما میں تازہ ترین ضوابط تجویز کیے تھے۔ جو ڈاکٹروں کو واضح طور پر منع کرتا ہے۔ہسپتالوں اور بیمہ کنندگان کو امتیازی سلوک کرنے سے “کلینیکل الگورتھم کے استعمال کے ذریعے [their] فیصلہ سازی” ایجنسی کے ڈائریکٹر، میلانیا فونٹس رینر، انہوں نے کہا کہ جب کہ وفاقی انسداد امتیازی قوانین پہلے ہی اس سرگرمی پر پابندی لگاتے ہیں، اس کا دفتر اس بات کو یقینی بنانا چاہتا تھا کہ [providers and insurers are] آگاہ رہیں کہ یہ صرف یہ نہیں ہے کہ ‘شیلف سے پروڈکٹ خریدیں، آنکھیں بند کریں اور اسے استعمال کریں۔’

صنعت نئے ضابطے کا خیرمقدم کرتی ہے – اور ہوشیار

AI اور تعصب کے بہت سے ماہرین اس نئی توجہ کا خیرمقدم کرتے ہیں، لیکن خدشات ہیں۔ کئی ماہرین تعلیم اور صنعت کے رہنماؤں نے کہا کہ وہ عوامی رہنما خطوط میں ایف ڈی اے کو واضح طور پر دیکھنا چاہتے ہیں کہ ڈویلپرز کو یہ ثابت کرنے کے لیے کیا کرنا چاہیے کہ ان کے AI ٹولز غیر جانبدار ہیں۔ دوسرے چاہتے ہیں کہ ONC ڈویلپرز سے اپنے الگورتھم “اجزاء کی فہرست” کو عوامی طور پر شیئر کرنے کا مطالبہ کرے، جس سے آزاد محققین کو مسائل کے لیے کوڈ کا جائزہ لینے کی اجازت ملے۔

کچھ ہسپتالوں اور ماہرین تعلیم ان تجاویز کی فکر کریں – خاص طور پر امتیازی AI کے استعمال پر HHS کی واضح ممانعت – الٹا فائر کر سکتی ہے۔ “ہم جو نہیں چاہتے وہ یہ ہے کہ قاعدہ اتنا خوفناک ہو کہ ڈاکٹر کہتے ہیں، ‘ٹھیک ہے، میں اپنی پریکٹس میں کوئی AI استعمال نہیں کروں گا۔ میں صرف خطرہ نہیں چلانا چاہتا،'” کہا۔ کارمل شاچر، ہارورڈ لاء اسکول میں پیٹری فلوم سینٹر فار ہیلتھ لا پالیسی کے ایگزیکٹو ڈائریکٹر۔ شاچر اور کئی صنعتی رہنماؤں نے کہا کہ واضح رہنمائی کے بغیر، کم وسائل والے ہسپتال قانون کے صحیح رخ پر رہنے کے لیے جدوجہد کر سکتے ہیں۔

ڈیوک کے مارک سینڈک نے الگورتھم سے تعصب کو ختم کرنے کے لیے نئے ضوابط کا خیرمقدم کیا، “لیکن جو ہم ریگولیٹرز کا کہنا نہیں سن رہے ہیں وہ یہ ہے کہ، ‘ہم ان وسائل کو سمجھتے ہیں جو ان چیزوں کی نشاندہی کرنے، ان چیزوں کی نگرانی کرنے کے لیے درکار ہوتے ہیں۔ اور ہم ایسا کرنے جا رہے ہیں۔ سرمایہ کاری اس بات کو یقینی بنانے کے لیے کہ ہم اس مسئلے کو حل کریں۔”

وفاقی حکومت نے سرمایہ کاری کی۔ 35 بلین ڈالر ڈاکٹروں اور ہسپتالوں کو اس صدی کے شروع میں الیکٹرانک ہیلتھ ریکارڈز کو اپنانے میں آمادہ کرنے اور ان کی مدد کرنے کے لیے۔ AI اور تعصب کے ارد گرد ریگولیٹری تجاویز میں سے کوئی بھی مالی مراعات یا مدد شامل نہیں ہے۔

‘آپ کو آئینے میں دیکھنا ہوگا’

اضافی فنڈنگ ​​کی کمی اور واضح ریگولیٹری رہنمائی AI ڈویلپرز کو ابھی کے لیے اپنے مسائل خود حل کرنے پر چھوڑ دیتی ہے۔

ڈیوک میں، ٹیم نے اپنے الگورتھم کو دریافت کرنے کے بعد فوری طور پر ٹیسٹوں کا ایک نیا دور شروع کیا تاکہ یہ اندازہ لگایا جا سکے کہ بچپن میں سیپسس ہسپانوی مریضوں کے خلاف متعصب ہو سکتا ہے۔ یہ حتمی طور پر تعین کرنے میں آٹھ ہفتے لگے کہ الگورتھم نے تمام مریضوں کے لیے یکساں رفتار سے سیپسس کی پیش گوئی کی۔ سینڈک کا قیاس ہے کہ ہسپانوی بچوں کے الگورتھم میں پکانے میں وقت کی تاخیر کے لیے سیپسس کے بہت کم کیسز تھے۔

سینڈک نے کہا کہ نتیجہ راحت سے زیادہ سنجیدہ تھا۔ انہوں نے کہا، “مجھے یہ اطمینان بخش نہیں لگتا کہ ایک مخصوص غیر معمولی معاملے میں، ہمیں تعصب کو روکنے کے لیے مداخلت کرنے کی ضرورت نہیں تھی۔” “جب بھی آپ کو کسی ممکنہ خامی کا علم ہوتا ہے، تو اس کی ذمہ داری ہوتی ہے۔ [asking]’یہ اور کہاں ہو رہا ہے؟’

سینڈک نے ڈیوک کے الگورتھم میں تعصب کو جڑ سے اکھاڑ پھینکنے کے لیے ماہرین بشریات، سماجیات، کمیونٹی کے اراکین اور مریضوں کے ساتھ مل کر ایک متنوع ٹیم بنانے کا منصوبہ بنایا ہے۔ لیکن اس نئے طبقے کے ٹولز کو نقصان سے زیادہ اچھا کرنے کے لیے، سینڈک کا خیال ہے کہ صحت کی دیکھ بھال کے پورے شعبے کو اپنی بنیادی نسلی عدم مساوات کو دور کرنا چاہیے۔

“آپ کو آئینے میں دیکھنا ہوگا،” اس نے کہا۔ “اس کے لیے آپ کو اپنے آپ سے، ان لوگوں سے، جن کے ساتھ آپ کام کرتے ہیں، جن تنظیموں کا آپ حصہ ہیں، سخت سوالات پوچھنے کی ضرورت ہے۔ کیونکہ اگر آپ حقیقت میں الگورتھم میں تعصب تلاش کر رہے ہیں، تو بہت زیادہ تعصب کی بنیادی وجہ عدم مساوات ہے۔ دیکھ بھال میں.”

یہ کہانی سے آتی ہے۔ صحت کی پالیسی پوڈ کاسٹ ٹریڈ آفس. ڈین گورنسٹین ٹریڈ آفس کے ایگزیکٹو ایڈیٹر ہیں، اور ریان لیوی شو کے سینئر پروڈیوسر ہیں۔ ٹریڈ آفس کی تشخیصی فضیلت کی کوریج کو جزوی طور پر گورڈن اور بیٹی مور فاؤنڈیشن کی طرف سے تعاون حاصل ہے۔