دستاورد جدید پژوهشگران شاید انویدیا را به دردسر بیندازد

تعدادی از پژوهشگران در یک مقاله‌ی تحقیقاتی مدلی جدید پیشنهاد داده‌اند که برای تعلیم مدل‌های زبانی بزرگ از محاسبات ضریب ماتریس بی‌نیاز است. اگر یافته‌ی جدید پژوهشگران رنگ حقیقت به‌ خود بگیرد، می‌تواند به‌سلطه‌ی انویدیا بر بازار تراشه‌های هوش مصنوعی پایان دهد.

ضریب ماتریس در حوزه‌ی هوش مصنوعی اهمیت بسیار بالایی دارد؛ محاسباتی پیچیده، طولانی و سنگین که تنها تراشه‌های گرافیکی از عهده‌ی پردازش آن‌ها برمی‌آیند.

محققان در مقاله‌ی خود به پردازنده‌ی گرافیکی بهینه‌شده‌ای اشاره‌ کرده‌اند که بدون نیاز به محاسبات ضریب ماتریس، ۶۱ درصد حافظه‌ی کمتری در پردازش‌ مدل‌های زبانی بزرگ نسبت‌ به پردازنده‌ی گرافیکی معمولی اشغال می‌کند.

ادعا می‌شود پردازنده‌ی گرافیکی بهینه‌شده در آزمایش‌ پژوهشگران، به‌طور کلی ۱۰ برابر حافظه‌ی کمتری نسبت‌ به پردازنده‌ی گرافیکی معمولی مصرف می‌کند. محققان برای آزمایش از یک مدار مجتمع دیجیتال برنامه‌پذیر (FPGA) سفارشی استفاده کردند. این FPGA سفارشی، مدل‌های چند میلیارد پارامتری را با توان ۱۳ وات پردازش می‌کند.

نتایج تجربی نشان می‌دهند که مدل‌های زبانی بزرگ بدون استفاده از ضریب ماتریس عملکردی هم‌سطح با مدل‌های پایه‌ی ++Transformer در وظایف سبک دارند و با افزایش ابعاد مدل، اختلاف عملکرد افزایش می‌یابد. مدل‌های زبانی بزرگ بی‌نیاز از ضریب ماتریس می‌توانند از نظر کارایی و احتمالاً از نظر خطا، عملکرد بهتری نسبت به ++Transformer داشته باشند.