محققان دانشگاه استنفورد و دانشگاه کالیفرنیا مقاله بررسی نشده‌ای را منتشر کرده‌اند که نشان می‌دهد «عملکرد و رفتار» مدل‌های زبان بزرگ هوش مصنوعی ChatGPT (LLM) OpenAI بین مارس تا ژوئن 2023 دچار تغییر شده است.
به گزارش کالاسودا و به نقل از venturebeat، طبق ادعای آن‌ها، برخی کارهای هوش مصنوعی ممکن است بهتر شوند یا وظایف دیگر بدتر شوند. به همین دلیل است که می‌خواهیم این کار را به صورت سیستماتیک‌تر انجام دهیم و آن را در بازه‌های زمانی مختلف ارزیابی کنیم.
لوگان کیلپاتریک، مدافع OpenAI، در پاسخ به این مقاله، از افرادی که تجربیات خود با پلتفرم LLM را گزارش می‌کنند تشکر کرد.
تیم تحقیقاتی با اندازه‌گیری GPT-3.5 و GPT-4 بر حسب درخواست‌های متفاوت، دریافت که OpenAI LLMs در شناسایی اعداد اول و نمایش فرآیند فکری اش بدتر شده و کد تولید شده با خطاهای بیشتر را بروز می‌دهد.
این کار حوزه جدیدی را به وجود می‌آورد که باید اپراتورهای تجاری و سازمانی در بررسی محصولات هوش مصنوعی مولد از آن مطلع باشند. محققان این تغییر رفتاری و عملکردی را “انحراف LLM” نامیده‌اند.
بنابراین کسب‌وکارهایی که از LLM در محصولات و بخش‌های داخلی خود استفاده می‌کنند باید مراقب باشند.
لینک کوتاه:
