افت عملکرد مدل‌ها در مکالمات پیچیده!
در پژوهشی جدید که شامل بیش از ۲۰۰هزار مکالمه شبیه‌سازی‌شده بوده، مشخص شده که عملکرد LLmها در مکالمات چندمرحله‌ای، نسبت به مکالمات تک‌مرحله‌ای، به‌طور متوسط ۳۹٪ کاهش پیدا می‌کنه.
چرا این اتفاق می‌افته؟
برخلاف تصور رایج، چالش اصلی LLMها تو این موضوع فقط مربوط به درک زبان یا حجم داده نیست، بلکه به نحوه تصمیم‌گیری در جریان مکالمه مربوط می‌شه.
این مشکل دو تا ریشه‌ی اصلی داره:
1. فرضیه‌سازی زودهنگام
مدل‌ها معمولاً در مراحل ابتدایی مکالمه فرضیه‌هایی رو می‌سازن، حتی وقتی اطلاعات کافی ندارن خیلی زود سعی می‌کنند به یک پاسخ نهایی برسن.
2. اعتماد بیش از حد به پاسخ‌های قبلی
در ادامه‌ی مکالمه، مدل به پاسخ‌های قبلی خودش بیش از حد اعتماد می‌کنه و مسیر اشتباه رو ادامه می‌ده حتی اگه کاربر اطلاعات جدیدی ارائه بده. به زبان ساده، مدل گم می‌شه و دیگر راهش رو پیدا نمی‌کنه.
چکار میشع کرد که کمتر این اتفاق بیفته؟
پرامپت‌های ساختار یافته و مرحله‌ای
حفظ شفافیت در مراحل مکالمه
استفاده از مدل‌های مجهز به حافظه
@silicon_brain I از هوش مصنوعی عقب نمانید
>>Click here to continue<<