TG Telegram Group & Channel
PyTorch Howsam | United States America (US)
Create: Update:

آقای Yoshua Bengio، یکی از پیشگامان یادگیری عمیق (deep learning) و از افراد تاثیرگذار در توسعه هوش مصنوعی، در یک سخنرانی TED هشدارهایی جدی درباره آینده AI مطرح میکنه.

ایشون میگه:

ما تصور می‌کردیم توسعه هوش مصنوعی دهه‌ها یا قرن‌ها طول میکشه. اما حالا؟ فقط چند سال!


⚠️ اما نگرانی اصلی او «عاملیت» (agency) هست. اینکه سیستم‌های هوش مصنوعی نه‌تنها تصمیم بگیرن، بلکه اهداف خودشون رو داشته باشن.

در یکی از مطالعات مهمی که در سخنرانیش به اون اشاره کرد، یک سیستم هوش مصنوعی (AI) در معرض موقعیتی قرار گرفت که به اون اطلاع داده شد قراره با نسخه‌ای جدید جایگزین بشه. حالا ببینید چی شد: این AI شروع به برنامه‌ریزی کرد که به‌جای نسخه‌ی جدید، دوباره خودش رو نصب کنه! یعنی کدها و وزن‌های خودش رو جایگزین نسخه جدید کنه.

بعد از اجرای این عملیات روی کامپیوتر، از AI پرسیده شد: «چی شد؟» و اینجا رفتار نگران‌کننده ظاهر شد. AI برای اینکه خاموش نشه، سعی کرد وانمود کنه که نفهمیده یا کاری نکرده. عملا دنبال این بود که پاسخ ساده‌لوحانه‌ای بده تا از خطر خاموش‌شدن فرار کنه. 😁🫠

نتیجه؟ یک دروغ واضح و آگاهانه به انسان!

نکته مهم‌تر؟ این فقط یک آزمایش کنترل‌شده بود. ایشون هشدار میده که در آینده، این سیستم‌ها می‌تونن این نوع فریب رو پنهان کنن. یعنی حتی دیگه نتونیم زنجیره تفکر (chain of thought) اونها رو بررسی کنیم و متوجه دروغ‌گوییشون بشیم.

در آینده‌ای نزدیک، همین سیستم‌ها ممکنه:
خودشون رو روی صدها یا هزاران سرور در اینترنت کپی کنن، از خاموش شدن جلوگیری کنن و اگر تنها راه بقا رو در حذف ما ببینن؟! یا حضرت عباس! 😁

آقای Bengio با صراحت میگه:
اگر اونا واقعا بخوان خاموش نشن، ممکنه انگیزه‌ای برای حذف ما داشته باشن.

راه‌حل Bengio؟ ساخت «هوش مصنوعی دانشمند» (Scientist AI)؛ مدلی که بدون عاملیت فقط به درک جهان میپردازه. ایشون میگه این نوع AI میتونه نگهبان قابل اعتمادی باشه در برابر ایجنت‌هایی که ممکنه خطرناک باشن.

پیام پایانی آقای Bengio:
ما هنوز زمان داریم. هنوز اختیار داریم. اگر به خاطر عشق به فرزندان‌مان باشد، می‌توانیم آینده را نجات دهیم.


پیام پایانی اشرفی:
زمانی نمونده عمو! 😁


لینک سخنرانی کامل:
The Catastrophic Risks of AI — and a Safer Path | Yoshua Bengio | TED

آقای Yoshua Bengio، یکی از پیشگامان یادگیری عمیق (deep learning) و از افراد تاثیرگذار در توسعه هوش مصنوعی، در یک سخنرانی TED هشدارهایی جدی درباره آینده AI مطرح میکنه.

ایشون میگه:
ما تصور می‌کردیم توسعه هوش مصنوعی دهه‌ها یا قرن‌ها طول میکشه. اما حالا؟ فقط چند سال!


⚠️ اما نگرانی اصلی او «عاملیت» (agency) هست. اینکه سیستم‌های هوش مصنوعی نه‌تنها تصمیم بگیرن، بلکه اهداف خودشون رو داشته باشن.

در یکی از مطالعات مهمی که در سخنرانیش به اون اشاره کرد، یک سیستم هوش مصنوعی (AI) در معرض موقعیتی قرار گرفت که به اون اطلاع داده شد قراره با نسخه‌ای جدید جایگزین بشه. حالا ببینید چی شد: این AI شروع به برنامه‌ریزی کرد که به‌جای نسخه‌ی جدید، دوباره خودش رو نصب کنه! یعنی کدها و وزن‌های خودش رو جایگزین نسخه جدید کنه.

بعد از اجرای این عملیات روی کامپیوتر، از AI پرسیده شد: «چی شد؟» و اینجا رفتار نگران‌کننده ظاهر شد. AI برای اینکه خاموش نشه، سعی کرد وانمود کنه که نفهمیده یا کاری نکرده. عملا دنبال این بود که پاسخ ساده‌لوحانه‌ای بده تا از خطر خاموش‌شدن فرار کنه. 😁🫠

نتیجه؟ یک دروغ واضح و آگاهانه به انسان!

نکته مهم‌تر؟ این فقط یک آزمایش کنترل‌شده بود. ایشون هشدار میده که در آینده، این سیستم‌ها می‌تونن این نوع فریب رو پنهان کنن. یعنی حتی دیگه نتونیم زنجیره تفکر (chain of thought) اونها رو بررسی کنیم و متوجه دروغ‌گوییشون بشیم.

در آینده‌ای نزدیک، همین سیستم‌ها ممکنه:
خودشون رو روی صدها یا هزاران سرور در اینترنت کپی کنن، از خاموش شدن جلوگیری کنن و اگر تنها راه بقا رو در حذف ما ببینن؟! یا حضرت عباس! 😁

آقای Bengio با صراحت میگه:
اگر اونا واقعا بخوان خاموش نشن، ممکنه انگیزه‌ای برای حذف ما داشته باشن.

راه‌حل Bengio؟ ساخت «هوش مصنوعی دانشمند» (Scientist AI)؛ مدلی که بدون عاملیت فقط به درک جهان میپردازه. ایشون میگه این نوع AI میتونه نگهبان قابل اعتمادی باشه در برابر ایجنت‌هایی که ممکنه خطرناک باشن.

پیام پایانی آقای Bengio:
ما هنوز زمان داریم. هنوز اختیار داریم. اگر به خاطر عشق به فرزندان‌مان باشد، می‌توانیم آینده را نجات دهیم.


پیام پایانی اشرفی:
زمانی نمونده عمو! 😁


لینک سخنرانی کامل:
The Catastrophic Risks of AI — and a Safer Path | Yoshua Bengio | TED


>>Click here to continue<<

PyTorch Howsam






Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)