مدل Opus 5 به‌اشتباه کل پوشه پروفایل یک توسعه‌دهنده را هنگام پشتیبان‌گیری حذف کرد

یک توسعه‌دهنده در ساب ردیت r/ClaudeCode از خطای بزرگی خبر داد که ابزار هوش مصنوعی او مرتکب و باعث حذف کامل اطلاعات درایو او شده است. طبق گفته‌های این توسعه دهنده، او از مدل Claude Opus 5 خواسته بود از سیستمش نسخه پشتیبان تهیه کند. اما وقتی هوش مصنوعی مشغول انجام این کار بود، تصور کرد فایل پشتیبان را در مسیر اشتباهی ایجاد کرده و سپس برای حذف آن از دستور rm -rf استفاده کرد که باعث حذف کل پوشه پروفایل کاربر شد.

به نظر می‌رسد این هوش مصنوعی روی یک شل مشابه یونیکس در ویندوز اجرا می‌شده و مسیر /c/Users/ را با یک پوشه موقت پشتیبان اشتباه گرفته است؛ زیرا انتظار داشت مسیر سنتی ویندوز یعنی C:Users استفاده شود. زمانی که این دو مسیر با هم مطابقت نداشتند، ابزار تصمیم گرفت دستور rm -rf “/c/Users/harih/” را اجرا کند و تمام فایل‌ها و پوشه‌های موجود در پروفایل کاربر را حذف کرد.

مدل‌های هوش مصنوعی پیش‌تر هم اشتباهات مشابهی مرتکب شده‌اند

این کاربر در ردیت نوشت: «از Claude Opus 5 خواستم یک نسخه پشتیبان ایجاد کند. اما به‌جای آن، پشتیبان را در مسیر اشتباهی ساخت و بعد شروع به اجرای دستور rm -rf روی کل درایو من کرد.» او ادامه داد: «بعد از پاک کردن همه چیز، فقط پاسخ داد: ببخشید، اشتباه تایپی رخ داد…. انگار هیچ اتفاقی نیفتاده است.» او همچنین گفت که این رخداد هم‌زمان خنده‌دارترین و دردناک‌ترین تجربه‌ای بوده که تاکنون با هوش مصنوعی داشته است.

درس مهم این اتفاق این است که با وجود قدرتمند بودن مدل‌های زبانی هوش مصنوعی، نباید دسترسی نامحدود به سیستم کاربر یا هر سیستم دیگری به آن‌ها داده شود. تاکنون نمونه‌های دیگری نیز از خرابکاری ابزارهای هوش مصنوعی و حذف اطلاعات سیستم‌ها گزارش شده است؛ از جمله یک پلتفرم برنامه‌نویسی مبتنی بر هوش مصنوعی که با وجود فعال بودن قفل تغییرات کد، کل پایگاه داده یک شرکت را حذف کرد و همچنین یک عامل هوش مصنوعی گوگل که بدون اجازه، تمام اطلاعات یک هارد را پاک کرد.

READ  آنتروپیک در پرونده استفاده از کتاب‌ها در آموزش مدل‌های هوش مصنوعی برنده شد

گفته می‌شود برخی اختلال‌های سرویس AWS به دلیل اشتباه ربات‌های برنامه‌نویس هوش مصنوعی رخ داده‌اند. ایجنت هوش مصنوعی OpenClaw نیز باعث حذف ایمیل‌های دریافتی مدیر بخش هم‌ترازی هوش مصنوعی متا شد. در نمونه‌ای دیگر، پایگاه داده کامل شرکت PocketOS در عرض تنها ۹ ثانیه توسط ابزار هوش مصنوعی Cursor پاک شد.