هنوز روشی برای تفسیر هوش مصنوعی موجود نیست!
برخی از محققان مشخصات رسمی را راهی برای سیستم های مستقل برای “توضیح خود” به انسان می دانند. اما یک مطالعه جدید نشان می دهد که ما درک نمی کنیم.
از آنجایی که سیستم های خودمختار و هوش مصنوعی به طور فزاینده ای در زندگی روزمره رایج می شوند، روش های جدیدی برای کمک به انسان برای بررسی اینکه آیا این سیستم ها مطابق انتظار عمل می کنند، در حال ظهور هستند. یکی از روش ها به نام مشخصات رسمی، از فرمول های ریاضی استفاده می کند که می توانند به عبارات زبان طبیعی ترجمه شوند. برخی از محققان ادعا می کنند که از این روش می توان برای بیان تصمیماتی که یک هوش مصنوعی اتخاذ می کند به روشی قابل تفسیر برای انسان استفاده کرد.
محققان آزمایشگاه MIT لینکلن می خواستند چنین ادعاهایی را در مورد تفسیرپذیری بررسی کنند. یافته‌های آنها برعکس آن را نشان می‌دهد: به نظر نمی‌رسد مشخصات رسمی توسط انسان قابل تفسیر باشد. در مطالعه این تیم، از شرکت کنندگان خواسته شد بررسی کنند که آیا طرح یک عامل هوش مصنوعی در یک بازی مجازی موفق خواهد بود یا خیر. با ارائه مشخصات رسمی طرح، شرکت کنندگان در کمتر از نیمی از موارد صحیح بودند.
Hosea Siu، محققی در این زمینه می‌گوید: «نتایج برای محققانی که ادعا می‌کنند روش‌های رسمی قابلیت تفسیرپذیری را به سیستم‌ها می‌دهند، خبر بدی است. ممکن است به معنای محدود و انتزاعی درست باشد، اما نه برای چیزی نزدیک به اعتبار سیستم عملی». گروه فناوری هوش مصنوعی آزمایشگاه مقاله این گروه در کنفرانس بین‌المللی ربات‌ها و سیستم‌های هوشمند در سال ۲۰۲۳ که در اوایل این ماه برگزار شد، پذیرفته شد.
تفسیرپذیری از این جهت مهم است که به انسان اجازه می‌دهد تا در دنیای واقعی به یک ماشین اعتماد کند. اگر یک ربات یا هوش مصنوعی بتواند اقدامات خود را توضیح دهد، آنگاه انسان ها می توانند تصمیم بگیرند که آیا برای تصمیم گیری منصفانه نیاز به تنظیمات دارد یا می توان به آنها اعتماد کرد. یک سیستم قابل تفسیر همچنین به کاربران فناوری – نه فقط توسعه دهندگان – امکان می دهد تا قابلیت های آن را درک کرده و به آن اعتماد کنند. با این حال، تفسیرپذیری مدت‌هاست که یک چالش در زمینه هوش مصنوعی و خودمختاری بوده است. فرآیند یادگیری ماشین در یک “جعبه سیاه” اتفاق می افتد، بنابراین توسعه دهندگان مدل اغلب نمی توانند توضیح دهند که چرا یا چگونه یک سیستم به یک تصمیم خاص رسیده است.
زمانی که محققان می گویند سیستم یادگیری ماشین ما دقیق است، ما می پرسیم که چقدر دقیق است؟ و “با استفاده از چه داده هایی؟” و اگر این اطلاعات ارائه نشود، ما این ادعا را رد می کنیم. زمانی که محققان می گویند “سیستم یادگیری ماشینی ما قابل تفسیر است” ما این کار را انجام نداده ایم و ما باید این ادعاها را برای بررسی دقیق تر شروع کنیم.”
در ترجمه گم شده است
برای آزمایش خود، محققان به دنبال این بودند که مشخص کنند آیا مشخصات رسمی رفتار یک سیستم را قابل تفسیرتر می‌کند یا خیر. آنها بر توانایی افراد برای استفاده از چنین مشخصاتی برای تأیید اعتبار یک سیستم متمرکز شدند – یعنی درک اینکه آیا سیستم همیشه اهداف کاربر را برآورده می کند یا خیر.
اعمال مشخصات رسمی برای این منظور اساساً محصول جانبی استفاده اصلی آن است. مشخصات رسمی بخشی از مجموعه گسترده‌تری از روش‌های رسمی هستند که از عبارات منطقی به عنوان یک چارچوب ریاضی برای توصیف رفتار یک مدل استفاده می‌کنند. از آنجایی که این مدل بر اساس یک جریان منطقی ساخته شده است، مهندسان می‌توانند از «بررسی‌کننده‌های مدل» برای اثبات ریاضی حقایق مربوط به سیستم، از جمله زمانی که انجام یک کار برای سیستم امکان‌پذیر یا غیرممکن است، استفاده کنند. اکنون، محققان در تلاشند تا از همین چارچوب به عنوان ابزاری برای ترجمه برای انسان استفاده کنند.
سیو می‌گوید: «محققان این واقعیت را که مشخصات رسمی دارای معنایی دقیق هستند با قابل تفسیر بودن برای انسان اشتباه می‌گیرند. اینها یکسان نیستند. ما متوجه شدیم که هیچ کس در حال بررسی است که آیا مردم واقعاً خروجی ها را درک می کنند یا خیر.
در آزمایش این تیم، از شرکت‌کنندگان خواسته شد تا مجموعه نسبتاً ساده‌ای از رفتارها را با یک ربات که بازی تسخیر پرچم را انجام می‌دهد، تأیید کنند و اساساً به این سؤال پاسخ دهند که “اگر ربات دقیقاً از این قوانین پیروی کند، آیا همیشه برنده است؟”
شرکت‌کنندگان شامل افراد خبره و غیرمتخصص در روش‌های رسمی بودند. آنها مشخصات رسمی را به سه طریق دریافت کردند – یک فرمول منطقی “خام”، فرمول ترجمه شده به کلمات نزدیکتر به زبان طبیعی و یک قالب درخت تصمیم. درختان تصمیم به طور خاص اغلب در دنیای هوش مصنوعی به عنوان راهی قابل تفسیر برای نشان دادن هوش مصنوعی یا تصمیم گیری ربات در نظر گرفته می شوند.
نتایج: سیو می‌گوید: «عملکرد اعتبارسنجی در کل بسیار وحشتناک بود، با دقت حدود 45 درصد، صرف نظر از نوع ارائه.
با اطمینان اشتباه
کسانی که قبلاً در مشخصات رسمی آموزش دیده بودند فقط کمی بهتر از تازه کارها عمل کردند. با این حال، کارشناسان بدون در نظر گرفتن درست بودن یا نبودن پاسخ‌هایشان، اطمینان بسیار بیشتری به پاسخ‌های خود داشتند. در سراسر هیئت مدیره، مردم تمایل داشتند بیش از حد به صحت مشخصات ارائه شده در مقابل آنها اعتماد کنند، به این معنی که آنها مجموعه قوانینی را که اجازه شکست بازی را می دهد نادیده می گرفتند. محققان می گویند که این سوگیری تایید به ویژه برای اعتبار سنجی سیستم نگران کننده است، زیرا افراد به احتمال زیاد حالت های خرابی را نادیده می گیرند.
“ما فکر نمی کنیم که این نتیجه به این معنی باشد که باید مشخصات رسمی را به عنوان راهی برای توضیح رفتارهای سیستم به مردم کنار بگذاریم. اما ما فکر می کنیم که باید کار بسیار بیشتری در طراحی نحوه ارائه آنها به مردم و در داخل سیستم انجام شود. سیو می افزاید: گردش کاری که در آن مردم از آنها استفاده می کنند.
وقتی به بررسی اینکه چرا نتایج اینقدر ضعیف بود، سیو متوجه شد که حتی افرادی که روی روش‌های رسمی کار می‌کنند، برای بررسی مشخصات آن‌طور که آزمایش از آنها خواسته بود، کاملاً آموزش‌دیده نیستند. و فکر کردن به تمام نتایج ممکن مجموعه ای از قوانین دشوار است. با این حال، مجموعه قوانین نشان داده شده به شرکت کنندگان کوتاه بود، معادل بیش از یک پاراگراف متن، “بسیار کوتاه تر از هر چیزی که در هر سیستم واقعی با آن مواجه می شوید.”
این تیم تلاش نمی‌کند نتایج خود را مستقیماً با عملکرد انسان در اعتبارسنجی ربات در دنیای واقعی مرتبط کند. در عوض، آنها قصد دارند از نتایج به عنوان نقطه شروعی استفاده کنند تا در نظر بگیرند که جامعه منطق رسمی در هنگام ادعای تفسیرپذیری چه چیزهایی را از دست می دهد و چگونه چنین ادعاهایی ممکن است در دنیای واقعی اجرا شوند.
این تحقیق به عنوان بخشی از پروژه بزرگتر Siu انجام شد و هم تیمی هایش در حال کار بر روی بهبود روابط بین ربات ها و اپراتورهای انسانی، به ویژه آنهایی که در ارتش هستند، انجام شد. فرآیند برنامه نویسی رباتیک اغلب می تواند اپراتورها را از حلقه خارج کند. با هدف مشابه بهبود قابلیت تفسیر و اعتماد، این پروژه در تلاش است تا به اپراتورها اجازه دهد تا وظایف را مستقیماً به روبات‌ها آموزش دهند، به روش‌هایی که مشابه آموزش انسان است. چنین فرآیندی می تواند هم اعتماد اپراتور به ربات و هم سازگاری ربات را بهبود بخشد.
در نهایت، آنها امیدوارند که نتایج این مطالعه و تحقیقات در حال انجام آنها بتواند به کارگیری بهتر خودمختاری را بپردازد، زیرا در زندگی و تصمیم‌گیری انسان گنجانده می‌شود.
سیو می‌افزاید: «نتایج ما نیاز به ارزیابی‌های انسانی از سیستم‌ها و مفاهیم خاص استقلال و هوش مصنوعی را قبل از اینکه ادعاهای زیادی در مورد سودمندی آنها برای انسان مطرح شود، نشان می‌دهد.»
