رهیافتی جدید برای درک روند فکری ماشین

بسیاری می‌دانند که درک شبکه‌های عصبی دشوار است – یک کامپیوتر می‌تواند پاسخ قابل قبولی بدهد ولی در عین حال کسی از علت ایجاد آن پاسخ اطلاعی نداشته باشد. بین کیم (Been Kim) در حال توسعۀ مترجمی برای انسان‌هاست تا بتوانیم زمانی که هوش مصنوعی کارگشا نیست، آن را درک کنیم.

اگر یک دکتر به شما بگوید که ناچار به عمل جراحی هستید، شما اصرار دارید تا دلیل آن را از او جویا شوید و همچنین انتظار دارید که توضیح او برای شما معنادار باشد، حتی اگر در رشته پزشکی تحصیلی نداشته‌اید. بین کیم (Been Kim)، محقق علومی در Google Brain، باور دارد که انتظار ما از هوش مصنوعی نباید کمتر از این باشد. کیم به عنوان یک متخصص یادگیری ماشین تفسیرپذیر، می‌خواهد یک هوش مصنوعی بسازد که قابلیت تشریح خودش برای همگان را داشته باشد.

از دهۀ پیش که شبکه‌های عصبی چیرگی یافتند، حضور پررنگ تکنولوژی آن در پشت هوش مصنوعی همه چیز را از جمله ایمیل‌ و کشف دارو را با قوۀ افزاینده‌اش یادگیری و تشخیص الگوها در داده‌ها، دستخوش تغییر کرده است.

اما این قدرت با زنگ خطری عجیب هم همراه است. پیچیدگی‌ای که موجب می‌شود شبکه‌های یادگیری عمیق مدرن با موفقیت به خود بیاموزند تا یک ماشین را برانند و یا از کلاهبرداری یک شرکت بیمه باخبر شود، فهمیدن معنای پشت این کارها را برای ما و کارکشتگان هوش مصنوعی تا حدی غیرممکن می‌سازد. اگر یک شبکۀ عصبی برای تشخیص احتمال بروز بیماری‌هایی چون سرطان کبد و اسکیزوفرنی تربیت شده باشد (که چنین سیستمی به نام Deep Patient سال 2015 در بیمارستان Mount Sinai نیویورک وجود داشت.) هیچ راهی برای تشخیص دقیق اینکه به ویژگی چه داده‌ای در شبکه توجه می‌کند، وجود ندارد. دانش او در طی لایه‌های زیادی از عصب‌های مصنوعی پخش شده‌ است، که هر کدام به صدها یا هزاران عصب دیگر وصل هستند.

همانطور که صنعت‌های بیشتری تلاش برای خودکارسازی یا بهبود تصمیم‌گیری‌هایشان با هوش مصنوعی می‌کنند، این مسئله، که از آن با اصطلاح تودار یاد می‌شود، بیشتر به یک نقص بنیادی شبیه به نظر می‌آید تا یک خصلت عجیب. پروژۀ XAI (Explainable AI) از DARPA فعالانه پیرامون مسئله پژوهش می‌کند از آن‌رو که دیگر همچون گذشته یک مسئلۀ حاشیه‌ای محسوب نمی‌شود و به مرکز توجهات آمده است.

کیم اذعان دارد:

“هوش مصنوعی هم‌اکنون در برهه‌ای بحرانی از زمان قرار دارد، جایی که انسان تصمیم بر ادامۀ یا رهایی این تکنولوژی می‌گیرد. اگر تفسیرپذیری این موضوع برایمان میسر نشد، من گمان نمی‌کنم که با این فناوری بیشتر رو به جلو حرکت کنیم و شاید آن را رها کنیم.”

کیم و همکاران او اخیرا در Google Brain سیستمی با نام TCAV توسعه داده‌اند، که کیم آن را یک مترجم برای انسان‌ها نوصیف می‌کند. این سیستم اجازه می‌هد که کاربر از یک هوش مصنوعی تودار بپرسد که به طور مشخص چقدر از مفاهیم سطح بالا در تصمیم‌گیری او نقش داشته‌ است. برای مثال اگر یک سیستم یادگیری ماشینی برای تشخیص گورخرها تربیت شده باشد، TCAV تعیین می‌کند که مفهوم خطوط سیاه برای او در هنگام تصمیم‌گیری چقدر وزن‌دار بوده است.

(TCAV=Testing with Concept Activation Vectors)

TCAV در اصل بر روی مدل‌های یادگیری ماشینی تعلیم یافته برای شناخت تصویر آزمایش شده است. ولی بر روی مدل‌های تعلیم‌یافته برای متن و انواع خاصی برای نمایش داده‌ها، مانند شکل‌های موجی EEG، کار می‌کند. وی بیان می‌کند : “ساده و کلی است. شما می‌توانید آن را بر روی بسیاری از مدل‌های مختلف پیاده‌سازی کنید.”

مجله کوانتا با کیم صحبتی داشته است و از او دربارۀ معنای تفسیرپذیری، قشر درگیر با آن و علت اهمیت آن را پرسیده است. در ادامه یک نسخه‌ی ویرایش و خلاصه شده از مصاحبه را دنبال می‌کنیم.

شغل شما متمرکز بر تفسیرپذیری یادگیری ماشین است. به راستی تفسیرپذیری دقیقا به چه معناییست؟

تفسیرپذیری دو شاخه می‌شود. یک شاخه تفسیرپذیری برای علوم است. شما اگر یک شبکه عصبی را یک شی مورد مطالعه قرار دهید، آن‌وقت می‌توانید آزمایش‌های علمی را واقعا با جزئیاتی دقیق دربارۀ مدل، چگونگی واکنش آن و چیزهایی از این قبیل درک کنید.

شاخه دوم تفسیرپذیری، که من بیشتر بر روی آن متمرکز بوده‌ام، تفسیرپذیری برای هوش مصنوعی معتبر است. شما لازم نیست همه چیز دربارۀ مدل آن بدانید. اما تا حدی که استفادۀ امن از ابزار را بفهمید کافیست و لذا هدف ماست.

اما شما چطور می‌توانید از کار در سیستمی که کاملا متوجه آن نمی‌شوید اطمینان داشته باشید؟

برای شما مثالی میزنم. فرض کنید من یک درخت در حیاط‌‌مان دارم که می‌خواهم آن را قطع کنم. شاید یک ارَه‌برقی برای انجام این‌ کار کفاف نیاز من باشد. خوب، حال من نمی‌خواهم کاملا نحوۀ کارکرد ارَه‌برقی را بفهمم. اما دفترچۀ راهنما می‌گوید که این‌ها چیزهایی هستند که مراقب آن‌ها باشم، انگشتانم را نخواهم برید. بنابراین با این دفترچۀ راهنما یک ارَه‌برقی را به یک ارَۀ معمولی، که پنج ساعت از من زمان می‌برد، ترجیح می‌دهم.

شما باید بدانید که بریدن چیست، حتی اگر دقیقا نمی‌دانید که چه مکانیسمی منجر به آن می‌شود.

بله. هدف شاخۀ دوم این است که بفهمیم آیا می‌توانیم یک ابزار را به اندازه‌ای درک کنیم که استفاده از آن برای ما بی‌خطر باشد. و اینگونه می‌توان فهمید که ببینیم که آن دانش کارای انسان در ابزار هم دیده می‌شود.

بازتاب دانش انسانی چطور می‌تواند موجب تسهیل فهم چیزی مانند هوش مصنوعی تودار شود؟

بگذارید مثالی دیگر بزنم. اگر یک دکتر از مدل یادگیری ماشین برای تشخیص بیماری سرطان استفاده کند، او می‌خواهد بداند که آن مدل یک سری روابط تصادفی میان داده‌ها را انتخاب نمی‌کند که از قضا مطلوب ما نباشد. یک راه برای اطمینان از این موضوع، پذیرفتن این است که مدل یادگیری ماشین همان کاری را انجام می‌دهد که دکتر انجام می‌داد. به عبارتی دیگر، نشان دهیم تشخیص خود دکتر در مدل هم دیده می‌‌شود.

بنابراین، اگر دکترها برای تشخیص سرطان به یک نمونۀ سلولی نگاه می‌کردند، شاید در نمونه به دنبال چیزی مانند غدد آبدار می‌گشتند. آن‌ها همچنین سن یک بیمار و اینکه آیا در گذشته شیمی‌درمانی داشته است یا خیر را در نظر می‌گیرند. این فاکتورها یا مفاهیمی هستند که دکترها برای تشخیص سرطان به آن اهمیت می‌دهند. اگر ما نشان دهیم که مدل یادگیری ماشین نیز به این نشانه‌ها و مفاهیم توجه نشان می‌دهد، مدل قابل درک‌تر است. زیرا همان دانش انسانی دکترها را بازتاب می‌کند.

https://youtu.be/8Bi-EhFPSLk

Video: Google Brain’s Been Kim is building ways to let us interrogate the decisions made by machine learning systems.

آیا این همان کاری است که TVAC انجام می‌دهد؟ یعنی آشکارسازی مفاهیم سطح بالایی که مدل یادگیزی ماشین از آن برای تصمیم‌گیری استفاده می‌کند؟

بله. پیش از این، روش‌های تفسیر‌پذیری فقط کارهای شبکه عصبی در خصوص ویژگی‌های ورودی را توضیح می‌دادند. منظورم از این حرف چیست؟ خوب، اگر شما یک عکس را ورودی در نظر بگیرید، تک تک پیکسل‌های آن ویژگی ورودی محسوب می‌شود. در واقع، یان لکان ] Yan LeCun، از سردمداران یادگیری عمیق و مدیر فعلی در پژوهش‌های هوش مصنوعی در فیسبوک[ باور دارد که این مدل‌ها همینطور هم بسیار تفسیرپذیر هستند، زیرا شما می‌توانید به هر راس (node) در شبکه عصبی نگاه کنید و مقادیر عددی برای هرکدام از این ویژگی‌های ورودی داشته باشید. برای کامپیوتر مسئله‌ای نیست، اما انسان اینطور فکر نمی‌کند. مثلا من به شما نمی‌گویم «اوه! به پیکسل‌های 100 تا 200 نکاه کن. مقدار RGB آنها 0.2 و 0.3 است! » بلکه می‌گویم: «این عکس یک سگ با موهای فرفری است.» انسان ها اینگونه با یکدیگر ارتباط برقرار می‌کنند؛ با مفاهیم.

چطور TVAC این ترجمه‌ها را بین ویژگی‌های ورودی و مفاهیم انجام می‌دهد؟

بیایید به مثال قبل بازگردیم که در آن دکتری دارای مدل یادگیری ماشینی است که از پیش برای طبقه‌بندی عکس‌های نمونه‌های سلولی، که محتمل است آلوده به سرطان باشند، تربیت شده‌ است. شما، به عنوان یک دکتر، می‌خواهید میزان اهمیت مفهموم غدد آبدار را برای مدل در پیش‌بینی کردن‌های مثبت در نظر بگیرید. ابتدا شما چند عکس، مثلا بگوییم 20 عدد، نمونه‌های غدد آبدار را دارند، جمع‌آوری می‌کنید. حال شما آن مدل‌های برچسب‌دار را در مدل وارد می‌کنید.

آنگاه TCAV کاری در درون انجام می‌دهد که آزمایش حساسیت نام دارد.. وقتی عکس‌ها را اضافه می‌کنیم، محاسبه می‌کنیم که چقدر احتمال پیش‌بینی مثبت بودن نتیجه آزمایش سرطان افزایش می‌یابد. تمام شد. این همان نتیجۀ TCAVشماست. اگر احتمال افزایش یافته بود، در اینصورت مفهوم مهمی برای مدل بوده است.

مفهوم، خود مفهومی شناور است. آیا مفهومی هست که با TCAV کار نکند؟

اگر شما نتوانید مفهوم خود را با تعدادی زیرمجموعه از میانگین مجموعۀ داده‌ها توصیف نکنید، آن‌وقت کار نمی‌کند. اگر مدل یادگیری ماشین شما بر مبنای عکس‌ها تعلیم یافته باشد، پس مفهوم را هم باید‌ بتوان به نمایش درآورد. مثل اینکه بگوییم مفهوم عشق را به صورت تصویری توصیف کنم، که حقیقتا کار سختی است.

ما همچنین با دقت مفهوم را ارزشیابی می‌کنیم. ما یک روند آزمایش آماری داریم که مفهوم بردار را رد می‌کند اگر همان اثری را روی مدل داشته باشد که یک بردار تصادفی داشته باشد. اگر مفهوم شما از این آزمایش گذر نکند، سپس TCAV متوجه می‌شود که مفهوم مهمی برای مدل نبوده است.

آیا TCAV اعتماد سازی برای هوش مصنوعی فراهم می‌آورد، تا اینکه یک درک درست از آن به ما بدهد؟

نه اینطور نیست و برای شما توضیح می‌دهم که چرا نیست زیرا تفاوتش را روشن‌تر می‌کند.

از مطالعات مکرر در علوم شناختی و روانشناسی می‌دانیم که انسان‌ها بسیار ساده‌لوح هستند. یعنی این که یک شخص را می‌توان به سادگی راضی کرد تا به چیزی اعتماد کند. اما هدف تفسیرپذیری یادگیری ماشین چیزی غیر از این است. در واقع به شما می‌گوید که استفاده از چه سیستمی برای شما امن نیست. یعنی دربارۀ روشن‌گری حقیقت است و اعتماد واژۀ درستی نیست.

پس هدف تفسیرپذیری این است که نقص‌هایی که ممکن است وجود داشته باشند را آشکار کند؟

بله، دقیقا.

چطور نقص‌ها را نشان می‌دهد؟

شما با TCAV می‌توانید از مدل تعلیم‌‌یافته ای مفاهیم بی‌ربطی بپرسید. در همان مثال قبلی، دکترها شاید گمان کنند که ماشین در حال دادن پیش‌بینی‌های مثبت به‌خاطر رنگ آبی‌ای که خودمان در عکس‌ها قرار داده‌ایم باشد. ما فکر نمی‌کنیم که این عامل باید در نظر گرفته شود. بنابراین اگر امتیاز TCAV بالایی برای رنگ آبی دریافت شود، آن‌ها مشکلی در مدل یادگیری ماشین خود پیدا کرده‌اند.

TCAV که بر روی سیستم‌هایی که تفسیرپذیر نیستند مانور می‌دهد، چرا از همان ابتدا سیستم‌ها را تفسیرپذیر نسازیم؟

یک شاخه از پژوهش‌های تفسیرپذیری هست که بر مدل‌هایی که به‌طور طبیعی تفسیرپذیر هستند متمرکز است. اما برداشت من این است که در حال حاضر شما مدل‌هایی را دارید که قبلا ساخته شده‌اند و در حال استفاده‌شدن هستند. در همین گوگل خودمان بسیاری از این‌ها وجود دارد که از قضا امور مهمی را در دست دارند! اگر نظرتان این است که یک مدل تفسیرپذیر جایگزین آن کنیم، بسیار خوب! من برای شما آرزوی موفقیت می‌کنم.

پس چه باید کرد؟ ما همچنان لازم است که در این نقطۀ بحرانی تصمیم بگیریم که این فناوری برای ما خوب است، یا خیر. به همین علت است که من بر روی روش‌های تفسیرپذیری پسا-تعلیمی کار می‌کنم. اگر به شما مدلی داده باشند که قابلیت تغییر آن را ندارید، پس چطور می‌‌توانید رفتارهای او را توضیح دهید که اطمینان از بی‌خطر بودن آن بدهد؟ کار TCAV هم همین است.

ما از TCAV از مفاهیم مشخص شده‌ای سوال می‌کنیم، حال اگر ندانیم چه مفهومی را باید بپرسیم یا اینکه اصلا بخواهیم او خودش را توضیح دهد، چه؟

ما هم‌اکنون در حال نوشتن کاری هستیم که به‌طور خودکار مفاهیم را برای شما کشف می‌کند. آن را DTCAV یا همان Discovery TCAV می‌نامیم. اما در واقع، من فکر می‌کنم دخالت انسان در این چرخه و فعال‌کردن قابلیت برقراری مکالمه میان انسان و ماشین، خود مسئلۀ مهمی از تفسیرپذیری است.

خیلی وقت‌ها در برنامه‌های ریسکی، متخصص حوزه یک لیست از مفاهیم با اهمیت از پیش آماده کرده است. ما این را بارها و بارها در کاربردهای پزشکی در Google Brains می‌بینیم. آن‌ها صرفا خواستار یک سری مفاهیم نیستند، بلکه خواستار مفاهیمی هستند که خودشان به آن علاقه‌مندند. ما با دکتری که مرض چشمی حاصل از دیابت را درمان می‌کند، کار کرده‌ایم. وقتی به او دربارۀ TCAV گفتیم، بسیار خرسند شد از آن رو که خودش فرضیه‌هایی ریدای دربارۀ مدلش پرورانده بود و حال می‌خواست آن‌ها را آزمایش کند. این واقعا یک نکتۀ مثبت بزرگی‌ست، که کاربر بتواند با یادگیری ماشین چنین تعاملاتی برقرار کند.

شما معتقدید که بدون تفسیرپذیری، انسان‌ها ممکن است فناوری هوش مصنوعی را رها کنند. چقدر فکر می‌کنید این به واقعیت نزدیک باشد؟ آیا ممکن است؟

بله. این همان بلایی‌ست که بر سر سیستم‌های خبره آمده است. در دهۀ ۸۰ میلادی ما به این باور رسیدیم که از عوامل انسانی ارزان‌تر هستند. اما اکنون دیگر کسی نیست که از سیستم‌های خبره استفاده کند. و پس از آن به یک زمستان در هوش مصنوعی وارد شدیم.

الان که سرمایه‌گذاری‌ها و هیجان‌های بسیاری د زمینۀ هوش مصنوعی وجود دارد، شاید ممکن به نظر نرسد. اما در بلندمدت انسان، شاید از روی ترس، شاید از کمبود مستندات، بنای تصمیم را بر این بگذارد که رهایی آن بهتر از ادامۀ آن است. بله، ممکن است.