یادگیری ماشینی مجموعه داده های عظیم را رام می کند

LOS ALAMOS، NM، 11 سپتامبر 2023 – یک الگوریتم یادگیری ماشینی توانایی پردازش داده‌هایی را نشان داده است که از حافظه موجود رایانه بیشتر است، با شناسایی ویژگی‌های کلیدی یک مجموعه داده عظیم و تجزیه آن به دسته‌های قابل مدیریت که رایانه را خفه نمی‌کنند. سخت افزار این الگوریتم که در آزمایشگاه ملی لوس آلاموس توسعه داده شد، یک رکورد جهانی را برای فاکتورگیری مجموعه های عظیم داده در طی آزمایشی در کنفرانس ملی Oak Ridge، پنجمین ابرکامپیوتر سریع جهان، به ثبت رساند.

الگوریتم بسیار مقیاس‌پذیر که به همان اندازه در لپ‌تاپ‌ها و ابررایانه‌ها مؤثر است، گلوگاه‌های سخت‌افزاری را حل می‌کند که مانع از پردازش اطلاعات برنامه‌های غنی از داده در تحقیقات سرطان، تصویربرداری ماهواره‌ای، شبکه‌های رسانه‌های اجتماعی، علوم امنیت ملی و تحقیقات زلزله می‌شود.

اسماعیل بوریما، فیزیکدان محاسباتی در آزمایشگاه ملی لوس آلاموس، گفت: «ما یک پیاده‌سازی خارج از حافظه از روش فاکتورسازی ماتریس غیر منفی ایجاد کرده‌ایم که به شما امکان می‌دهد مجموعه‌های داده بزرگ‌تری را نسبت به آنچه که قبلاً در یک سخت‌افزار مشخص ممکن بود، فاکتورسازی کنید.» . . بورئیما اولین نویسنده کاغذ در مجله ابرکامپیوتر در مورد الگوریتم رکوردشکنی. «پیاده‌سازی ما به سادگی کلان داده‌ها را به واحدهای کوچک‌تری تبدیل می‌کند که می‌توانند با منابع موجود پردازش شوند. بنابراین، ابزار مفیدی برای حفظ مجموعه داده‌های در حال رشد نمایی است.

«تحلیل سنتی داده‌ها به داده‌هایی نیاز دارد که با محدودیت‌های حافظه تناسب داشته باشند. مانیش باتارای، دانشمند یادگیری ماشین در لوس آلاموس و یکی از نویسندگان مقاله، گفت: رویکرد ما این درک را به چالش می کشد. “ما راه حلی برای کمبود حافظه پیاده سازی کرده ایم. زمانی که حجم داده ها از حافظه موجود بیشتر شود، الگوریتم ما آن را به بخش های کوچکتر تقسیم می کند. این بخش‌ها را یکی یکی پردازش می‌کند و آن‌ها را داخل و خارج از حافظه می‌کند. این تکنیک به ما توانایی منحصر به فردی برای مدیریت و تجزیه و تحلیل کارآمد مجموعه داده های بسیار بزرگ می دهد.

Boureima گفت که الگوریتم توزیع‌شده برای سیستم‌های محاسباتی مدرن و ناهمگن با کارایی بالا می‌تواند روی سخت‌افزاری به کوچکی یک رایانه رومیزی یا بزرگ و پیچیده‌ای مانند Chicoma، Summit یا ابررایانه‌های آینده Venado مفید باشد.

بیریما گفت: «سئوال دیگر این نیست که آیا امکان فاکتورسازی یک ماتریس بزرگتر وجود دارد یا خیر، بلکه این است که فاکتورسازی چقدر طول خواهد کشید.

پیاده‌سازی Los Alamos از ویژگی‌های سخت‌افزاری مانند پردازنده‌های گرافیکی برای تسریع در محاسبات و اتصال سریع برای انتقال مؤثر داده‌ها بین رایانه‌ها بهره می‌برد. در همان زمان، الگوریتم به طور موثر چندین کار را به طور همزمان انجام می دهد.

فاکتورسازی ماتریس غیرمنفی بخش دیگری از الگوریتم های با کارایی بالا است که توسط پروژه SmartTensors در Los Alamos توسعه یافته است.

Bureima گفت در یادگیری ماشینی، فاکتورسازی ماتریس غیرمنفی می تواند به عنوان شکلی از یادگیری بدون نظارت برای استخراج معنا از داده ها استفاده شود. “این برای یادگیری ماشین و تجزیه و تحلیل داده ها بسیار مهم است زیرا الگوریتم می تواند ویژگی های پنهان قابل توضیح در داده ها را شناسایی کند که معنای خاصی برای کاربر دارند.”

رکورد اجرا شد

در رکورد عملکرد تیم Los Alamos، این الگوریتم یک ماتریس متراکم 340 ترابایتی و یک ماتریس پراکنده 11 اگزابایتی را با استفاده از 25000 پردازنده گرافیکی پردازش کرد.

بویان الکساندروف، یکی از نویسندگان مقاله جدید و فیزیکدان نظری در لوس آلاموس که رهبری تیم توسعه دهنده هوش مصنوعی SmartTensors را بر عهده دارد، گفت: “ما در حال رسیدن به فاکتورسازی اگزابایت هستیم، کاری که تا آنجایی که ما می دانیم هیچ کس دیگری انجام نداده است.” سکو.

تجزیه داده ها یا فاکتورسازی یک تکنیک تخصصی داده کاوی است که با هدف استخراج اطلاعات مرتبط، ساده سازی داده ها به قالب های قابل فهم انجام می شود.

Bhattarai بیشتر بر مقیاس پذیری الگوریتم آنها تأکید می کند و خاطرنشان می کند: “در مقابل، روش های مرسوم اغلب با تنگناها دست و پنجه نرم می کنند که عمدتاً به دلیل تاخیر در انتقال داده بین پردازنده های رایانه و حافظه آن است.”

Bureima گفت: «ما همچنین نشان دادیم که شما لزوماً به رایانه های بزرگ نیاز ندارید. “مقیاس‌سازی تا 25000 GPU عالی است اگر بتوانید آن را بپردازید، اما الگوریتم ما روی دسک‌تاپ برای چیزی که قبلاً نمی‌توانستید کار کنید مفید خواهد بود.”

کاغذ: “NMF فراگیر خارج از حافظه در معماری CPU/GPU.” مجله ابررایانه. ارتباط دادن: https://link.springer.com/article/10.1007/s11227-023-05587-4 DOI: 10.1007/s11227-023-05587-4

منابع مالی: این تحقیق توسط DNN R&D و برنامه تحقیق و توسعه هدایت شده آزمایشگاهی در آزمایشگاه ملی لوس آلاموس تامین شده است.

LA-UR-23-29923