💠 تحول در معماری مدلهای هوش مصنوعی؛ کوچکتر، سریعتر، مؤثرتر
🔹 یکی از مهمترین روندهای گزارش سال ۲۰۲۵ «
شاخص هوش مصنوعی استنفورد» همین تصویر است:
کوچکترین مدلهایی که توانستهاند امتیاز بالای ۶۰٪ را در آزمون معیاری MMLU (دانش چندحوزهای دانشگاه ماساچوست) کسب کنند، در کمتر از دو سال، بهطرز چشمگیری کوچکتر، دقیقتر و بهینهتر شدهاند.
🔹 از PaLM گوگل با بیش از ۵۰۰ میلیارد پارامتر در سال ۲۰۲۲، به Phi-3-mini مایکروسافت با حدود ۳.۸ میلیارد پارامتر در می ۲۰۲۴ رسیدهایم؛ بدون افت کیفیت عملکرد. این به معنای انقلابی در بهرهوری، دموکراتیزهسازی مدلها، کاهش هزینههای محاسباتی، و توسعهپذیری در مقیاس گسترده است.
🔹 محور عمودی (مقیاس لگاریتمی): تعداد پارامترها
🔹 محور افقی: تاریخ انتشار مدلها
📌 مدلهایی مثل LLaMA 65B، LLaMA 2 34B، Mistral 7B و در نهایت Phi-3-mini نشان میدهند چطور مسیر «کارایی فشرده» در حال شکلدهی آینده مدلهای زبانی است.
🔹 یافته کلیدی: در آینده نزدیک، برتری در هوش مصنوعی الزاماً به معنی بزرگتر بودن مدل نیست؛ بلکه بهینهتر بودن معماری، کیفیت داده، و مهندسی دقیق اهمیت بالاتری پیدا کرده است.
🌐
متاکاگ |
فراتر از شناخت