ابزارهای جدیدی برای کمک به کاهش مصرف انرژی در مدل های هوش مصنوعی

در میان رقابت برای بزرگ‌تر کردن و بهتر کردن هوش مصنوعی، آزمایشگاه لینکلن در حال توسعه راه‌هایی برای کاهش نیرو، آموزش کارآمد و شفاف‌سازی مصرف انرژی است.

هنگام جستجوی پروازها در Google، ممکن است متوجه شده باشید که تخمین انتشار کربن هر پرواز اکنون در کنار هزینه آن ارائه شده است. این راهی است برای اطلاع رسانی به مشتریان در مورد تأثیرات زیست محیطی آنها، و به آنها اجازه می دهد تا این اطلاعات را در تصمیم گیری خود لحاظ کنند.

یک نوع شفافیت مشابه هنوز برای صنعت محاسبات وجود ندارد، علیرغم اینکه انتشار کربن آن بیشتر از کل صنعت هواپیمایی است. افزایش این تقاضای انرژی مدل های هوش مصنوعی هستند. مدل‌های عظیم و محبوب مانند ChatGPT روند هوش مصنوعی در مقیاس بزرگ را نشان می‌دهند و پیش‌بینی‌هایی را تقویت می‌کنند که پیش‌بینی می‌کنند مراکز داده تا سال 2030 تا 21 درصد از برق جهان را تامین کنند.

مرکز ابر محاسباتی آزمایشگاهی MIT لینکلن (LLSC) در حال توسعه تکنیک هایی برای کمک به مراکز داده در استفاده از انرژی است. تکنیک‌های آن‌ها از تغییرات ساده اما مؤثر، مانند سخت‌افزاری با قدرت محدود، تا استفاده از ابزارهای جدید که می‌توانند آموزش هوش مصنوعی را در مراحل اولیه متوقف کنند، متغیر است. مهمتر از همه، آنها دریافته اند که این تکنیک ها کمترین تأثیر را بر عملکرد مدل دارند.

در تصویر گسترده تر، کار آنها بسیج تحقیقات محاسبات سبز و ترویج فرهنگ شفافیت است. Vijay Gadepally، کارمند ارشد در LLSC که تلاش‌های تحقیقاتی آگاه از انرژی را رهبری می‌کند، می‌گوید: «محاسبات آگاه از انرژی واقعاً یک حوزه تحقیقاتی نیست، زیرا همه به داده‌های خود پایبند بوده‌اند. “کسی باید شروع کند، و ما امیدواریم که دیگران دنبال کنند.”

کاهش قدرت و خنک کننده

مانند بسیاری از مراکز داده، LLSC شاهد افزایش قابل توجهی در تعداد مشاغل هوش مصنوعی در حال اجرا بر روی سخت افزار خود بوده است. با توجه به افزایش مصرف انرژی، دانشمندان کامپیوتر در LLSC در مورد راه هایی برای اجرای کارآمدتر مشاغل کنجکاو شدند. محاسبات سبز یک اصل از مرکز است که به طور کامل توسط انرژی بدون کربن تغذیه می شود.

آموزش یک مدل هوش مصنوعی – فرآیندی که توسط آن الگوها را از مجموعه داده های عظیم یاد می گیرد – نیاز به استفاده از واحدهای پردازش گرافیکی (GPU) دارد که سخت افزاری پرقدرت هستند. به عنوان یک مثال، GPUهایی که GPT-3 (پیش ساز ChatGPT) را آموزش داده اند، تخمین زده می شود که 1300 مگاوات ساعت برق مصرف کرده اند که تقریباً برابر با مصرف متوسط ​​1450 خانوار آمریکایی در ماه است.

در حالی که بیشتر مردم به دلیل قدرت محاسباتی خود به دنبال پردازنده گرافیکی هستند، سازندگان راه هایی را برای محدود کردن میزان توانی که یک GPU مجاز به مصرف آن است ارائه می دهند. سیذارت سامسی، محققی در LLSC می‌گوید: «ما تأثیرات قدرت درپوش را مطالعه کردیم و دریافتیم که بسته به مدل می‌توانیم مصرف انرژی را حدود 12 تا 15 درصد کاهش دهیم.»

معاوضه برای کاهش قدرت در حال افزایش زمان کار است – GPU ها حدود 3 درصد بیشتر طول می کشد تا یک کار را انجام دهند، افزایشی که Gadepally می گوید با توجه به اینکه مدل ها اغلب در طول روزها یا حتی ماه ها آموزش می بینند، “به سختی قابل توجه است”. در یکی از آزمایش‌های خود که در آن مدل زبان محبوب BERT را آموزش دادند، محدود کردن توان GPU به 150 وات شاهد افزایش دو ساعته در زمان آموزش (از 80 به 82 ساعت) بود اما معادل انرژی یک هفته یک خانواده آمریکایی صرفه‌جویی کرد.

سپس این تیم نرم‌افزاری ساختند که این قابلیت کاهش قدرت را به سیستم زمان‌بندی پرکاربرد Slurm متصل می‌کند. این نرم افزار به صاحبان مراکز داده اجازه می دهد تا محدودیت هایی را در سراسر سیستم خود یا بر اساس شغل به کار تعیین کنند.

گادپالی می‌گوید: «ما امروز می‌توانیم این مداخله را مستقر کنیم و این کار را در تمام سیستم‌هایمان انجام داده‌ایم.

مزایای جانبی نیز به وجود آمده است. از زمان اعمال محدودیت‌های برق، پردازنده‌های گرافیکی در ابررایانه‌های LLSC حدود 30 درجه فارنهایت خنک‌تر و در دمای ثابت‌تری کار می‌کنند و استرس سیستم خنک‌کننده را کاهش می‌دهند. راه اندازی کولر سخت افزاری به طور بالقوه می تواند قابلیت اطمینان و طول عمر سرویس را نیز افزایش دهد. آن‌ها اکنون می‌توانند خرید سخت‌افزار جدید را به تأخیر بیندازند – کاهش «کربن تجسم‌شده» یا انتشار گازهای گلخانه‌ای ایجاد شده از طریق تولید تجهیزات – تا زمانی که کارایی‌های به‌دست‌آمده با استفاده از سخت‌افزار جدید این جنبه از ردپای کربن را جبران کند. آنها همچنین در حال یافتن راه هایی برای کاهش نیازهای سرمایشی با برنامه ریزی استراتژیک مشاغل برای اجرا در شب و در ماه های زمستان هستند.

Gadepally می‌گوید: «مراکز داده‌ها می‌توانند امروزه از این رویکردهای آسان برای افزایش کارایی استفاده کنند، بدون اینکه نیازی به تغییر در کد یا زیرساخت داشته باشند.

نگاهی کل نگر به عملیات مرکز داده برای یافتن فرصت هایی برای کاهش می تواند زمان بر باشد. برای تسهیل این فرآیند برای دیگران، این تیم – با همکاری پروفسور Devesh Tiwari و Baolin Li در دانشگاه نورث ایسترن – اخیراً یک چارچوب جامع برای تجزیه و تحلیل ردپای کربن سیستم‌های محاسباتی با کارایی بالا ایجاد و منتشر کرده است. متخصصان سیستم می توانند از این چارچوب تجزیه و تحلیل برای به دست آوردن درک بهتری از پایداری سیستم فعلی خود استفاده کنند و تغییرات را برای سیستم های نسل بعدی در نظر بگیرند.

تنظیم نحوه آموزش و استفاده از مدل ها

علاوه بر ایجاد تنظیمات در عملیات مرکز داده، این تیم در حال ابداع راه‌هایی برای کارآمدتر کردن توسعه مدل هوش مصنوعی است.

هنگام آموزش مدل‌ها، توسعه‌دهندگان هوش مصنوعی اغلب بر بهبود دقت تمرکز می‌کنند و به عنوان نقطه شروع، مدل‌های قبلی را پایه‌گذاری می‌کنند. برای دستیابی به خروجی مورد نظر، آنها باید بفهمند از چه پارامترهایی استفاده کنند و درست کردن آن می تواند هزاران پیکربندی را آزمایش کند. این فرآیند که بهینه‌سازی هایپرپارامتر نامیده می‌شود، حوزه‌ای است که محققان LLSC آن را برای کاهش اتلاف انرژی آماده کرده‌اند.

Gadepally می‌گوید: «ما مدلی را توسعه داده‌ایم که اساساً به سرعت یادگیری یک پیکربندی معین می‌پردازد. با توجه به این نرخ، مدل آنها عملکرد احتمالی را پیش بینی می کند. مدل های با عملکرد ضعیف زود متوقف می شوند. او می‌گوید: «ما می‌توانیم تخمین بسیار دقیقی را در اوایل به شما ارائه دهیم که بهترین مدل در بین 10 مدل برتر از 100 مدل در حال اجرا خواهد بود.

در مطالعات آنها، این توقف اولیه منجر به صرفه جویی چشمگیر شد: کاهش 80 درصدی انرژی مورد استفاده برای آموزش مدل. آنها این تکنیک را برای مدل های توسعه یافته برای بینایی کامپیوتری، پردازش زبان طبیعی و برنامه های کاربردی طراحی مواد به کار برده اند.

گادپالی می‌گوید: «به نظر من، این تکنیک بیشترین پتانسیل را برای پیشرفت روش‌های آموزش مدل‌های هوش مصنوعی دارد.

آموزش تنها بخشی از انتشار آلاینده های یک مدل هوش مصنوعی است. بزرگترین عامل انتشار در طول زمان استنتاج مدل یا فرآیند اجرای زنده مدل است، مانند زمانی که کاربر با ChatGPT چت می کند. برای پاسخگویی سریع، این مدل‌ها از سخت‌افزار اضافی استفاده می‌کنند که همیشه در حال اجرا هستند و منتظر هستند تا کاربر سؤالی بپرسد.

یکی از راه های بهبود کارایی استنتاج استفاده از مناسب ترین سخت افزار است. همچنین با دانشگاه نورث ایسترن، تیم بهینه‌سازی‌کننده‌ای را ایجاد کرد که با مدلی با کارآمدترین ترکیب سخت‌افزار، مانند پردازنده‌های گرافیکی پرقدرت برای بخش‌های محاسباتی شدید استنتاج و واحدهای پردازش مرکزی کم مصرف (CPU) برای افراد کمتر مطابقت دارد. -جنبه های درخواستی این اثر اخیرا برنده جایزه بهترین مقاله در سمپوزیوم بین المللی ACM در محاسبات موازی و توزیع شده با کارایی بالا شد.

استفاده از این بهینه ساز می تواند مصرف انرژی را 10 تا 20 درصد کاهش دهد در حالی که همچنان همان “هدف کیفیت خدمات” را برآورده می کند (مدل با چه سرعتی می تواند پاسخ دهد).

این ابزار به ویژه برای مشتریان ابری که سیستم‌ها را از مراکز داده اجاره می‌کنند و باید سخت‌افزار را از میان هزاران گزینه انتخاب کنند، مفید است. گادپالی می‌گوید: «بیشتر مشتریان نیازهای خود را بیش از حد برآورد می‌کنند؛ آنها سخت‌افزاری را انتخاب می‌کنند که توانایی بیش از حد را داشته باشد، فقط به این دلیل که چیز بهتری نمی‌دانند».

رشد آگاهی از محاسبات سبز

انرژی صرفه‌جویی شده با اجرای این مداخلات نیز هزینه‌های مرتبط با توسعه هوش مصنوعی را کاهش می‌دهد، اغلب با نسبت یک به یک. در واقع، هزینه معمولاً به عنوان پروکسی برای مصرف انرژی استفاده می شود. با توجه به این صرفه جویی ها، چرا مراکز داده بیشتری روی تکنیک های سبز سرمایه گذاری نمی کنند؟

سامسی می‌گوید: «من فکر می‌کنم این مشکل کمی مشوق و ناهماهنگی است. چنان مسابقه‌ای برای ساخت مدل‌های بزرگ‌تر و بهتر وجود داشته که تقریباً همه ملاحظات ثانویه کنار گذاشته شده است.»

آنها اشاره می کنند که در حالی که برخی از مراکز داده اعتبارات انرژی تجدیدپذیر را خریداری می کنند، این انرژی های تجدیدپذیر برای پوشش تقاضای رو به رشد انرژی کافی نیستند. اکثر مراکز داده انرژی الکتریکی از سوخت‌های فسیلی می‌آیند و آبی که برای خنک‌سازی استفاده می‌شود، به ایجاد حوضه‌های آبخیز تحت فشار کمک می‌کند.

همچنین ممکن است تردید وجود داشته باشد زیرا مطالعات سیستماتیک در مورد تکنیک های صرفه جویی در انرژی انجام نشده است. به همین دلیل است که این تیم تحقیقات خود را علاوه بر مخازن منبع باز، در مکان های بررسی شده نیز انجام داده است. برخی از بازیگران بزرگ صنعت، مانند Google DeepMind، از یادگیری ماشینی برای افزایش کارایی مرکز داده استفاده کرده‌اند، اما کار خود را در دسترس دیگران قرار نداده‌اند تا آن‌ها را استقرار یا تکرار کنند.

کنفرانس‌های برتر هوش مصنوعی اکنون برای بیانیه‌های اخلاقی تلاش می‌کنند که نحوه سوء استفاده از هوش مصنوعی را در نظر می‌گیرد. این تیم جنبه آب و هوایی را به عنوان یک موضوع اخلاقی هوش مصنوعی می بیند که هنوز توجه زیادی به آن نشده است، اما به نظر می رسد این نیز به آرامی در حال تغییر است. برخی از محققان اکنون ردپای کربن آموزش جدیدترین مدل‌ها را فاش می‌کنند و صنعت نیز تغییری در شفافیت انرژی نشان می‌دهد، همانطور که در این گزارش اخیر از Meta AI آمده است.

آنها همچنین اذعان دارند که شفافیت بدون ابزارهایی که بتواند مصرف خود را به توسعه دهندگان هوش مصنوعی نشان دهد دشوار است. گزارش در نقشه راه LLSC برای امسال است. آنها می‌خواهند بتوانند به هر کاربر LLSC، برای هر شغل، نشان دهند که چقدر انرژی مصرف می‌کنند و این مقدار چگونه با دیگران مقایسه می‌شود، مشابه گزارش‌های انرژی خانه.

بخشی از این تلاش مستلزم همکاری بیشتر با سازندگان سخت‌افزار برای آسان‌تر و دقیق‌تر کردن این داده‌ها از سخت‌افزار است. اگر سازندگان بتوانند روش خواندن داده‌ها را استاندارد کنند، ابزارهای ذخیره‌سازی انرژی و گزارش‌دهی می‌توانند در پلتفرم‌های سخت‌افزاری مختلف اعمال شوند. همکاری بین محققان LLSC و اینتل برای کار بر روی این مشکل در حال انجام است.

حتی برای توسعه دهندگان هوش مصنوعی که از نیازهای انرژی شدید هوش مصنوعی آگاه هستند، نمی توانند به تنهایی کار زیادی برای محدود کردن مصرف انرژی انجام دهند. تیم LLSC می خواهد به سایر مراکز داده کمک کند تا این مداخلات را اعمال کنند و گزینه های آگاه از انرژی را در اختیار کاربران قرار دهند. اولین همکاری آنها با نیروی هوایی ایالات متحده، حامی این تحقیق است که هزاران مرکز داده را اداره می کند. استفاده از این تکنیک ها می تواند کاهش قابل توجهی در مصرف انرژی و هزینه آنها ایجاد کند.

Gadepally می‌گوید: «ما کنترل را به دست توسعه‌دهندگان هوش مصنوعی می‌سپاریم که می‌خواهند ردپای خود را کاهش دهند. “آیا واقعاً نیاز دارم که مدل‌های بی‌نتیجه را بی‌وقفه آموزش دهم؟ آیا حاضرم برای صرفه‌جویی در مصرف انرژی، پردازنده‌های گرافیکی خود را کندتر اجرا کنم؟ طبق اطلاعات ما، هیچ مرکز ابررایانه دیگری به شما اجازه نمی‌دهد این گزینه‌ها را در نظر بگیرید. امروز با استفاده از ابزارهای ما، می‌توانید تصمیم بگیرید.”

برای مشاهده نشریات گروه مربوط به محاسبات آگاه از انرژی و یافته های شرح داده شده در این مقاله از این صفحه وب دیدن کنید.