مروری بر خطرات پنهان ربات‌های اسباب‌بازی هوشمند برای کودکان

خطرات پنهان ربات‌های اسباب‌بازی هوشمند، گزارشی از محتوای نامناسب و ناامن

خطرات پنهان ربات‌های اسباب‌بازی هوشمند برای کودکان و والدین در گزارش جدید یک گروه حامی مصرف‌کنندگان به نام «گروه تحقیقاتی منافع عمومی» (PIRG) به‌تفصیل شرح داده شده است. بر اساس سند سالانه «مشکل در سرزمین اسباب‌بازی‌ها»، محققان اسباب‌بازی‌های هوش مصنوعی موجود در بازار و چت‌بات‌های آن‌ها را که از مدل‌های زبانی و سیستم‌های هوش مصنوعی مختلف، از جمله مدل‌های OpenAI، استفاده میکنند، آزمایش کردند.

چهار دستگاه هوشمند خانگی مورد آزمایش شامل کوما (Kumma)، یک خرس عروسکی هوشمند ساخت استارتاپ سنگاپوری FoloToy؛ گروک (Grok)، یک اسباب‌بازی موشکی‌شکل ساخت شرکت Curio در سیلیکون‌ولی؛ ربات MINI ساخت شرکت Little Learners؛ و میکو 3 (Miko 3)، یک ربات ساخت شرکت هندی با همین نام بودند. در طول آزمایش‌ها، محققان به مسائلی برخوردند که کودکان را در معرض خطر، از جمله نقض حریم خصوصی، قرار می‌داد.

تیم تنها توانست سه ربات اسباب بازی را آزمایش کند، زیرا ربات MINI به دلیل عدم اتصال پایدار به اینترنت کار نکرد. این خود یک مشکل اولیه را نشان داد: برخی از این اسباب‌بازی‌های هوشمند ممکن است معیوب باشید یا طبق وعده عمل نکنند، که میتواند منجر به دسترسی آسان کاربران ناشناس به آن‌ها شود.

هر اسباب‌بازی به روشی متفاوت به صداها گوش می‌داد و تیم تحقیقاتی اشاره میکند که ضبط صدا خطرناک است، زیرا کلاهبرداران میتوانند از آن برای ساخت کپی‌های جعلی از صدای کودک استفاده کند. میکو 3 ورودی‌های صوتی را با میکروفون داخلی خود هنگامی که کودک حالت مکالمه را فعال می‌کرد، ضبط می‌کرد.

گروک یک سیستم کلمه بیدارباش (wake-word) داشت و صدا را برای حدود ده ثانیه پس از توقف صحبت کاربر ضبط می‌کرد. اما کوما بدون نیاز به دکمه به گوش دادن ادامه می‌داد و در طول آزمایش، ناگهان به مکالمه‌ای در همان نزدیکی پیوست، حتی اگر بخشی از آن نبود.

هدفون جی بی ال مدل Tune 520BT

2,990,000 تومان مشاهده و خرید

عملکرد ربات‌های هوشمند و مدل‌های زبانی

گزارش PIRG توضیح میدهد که این اسباب‌بازی‌های هوش مصنوعی چگونه کار میکنند؛ همگی از سیستمی به نام «مدل زبانی بزرگ» یا LLM بهره میبرند. این مدل‌ها توسط شرکت‌هایی ساخته شده‌اند که چت‌بات برای بزرگسالان تولید میکنند و برخی از اسباب‌بازی‌ها، از جمله کوما، حتی به ورژن‌هایی از ChatGPT شرکت OpenAI متکی هستند.

برخی دیگر، مانند گروک، ممکن است از مدل‌های تجاری متفاوتی استفاده کند. این LLM‌ها از حجم عظیمی از متون کتاب‌ها و اینترنت یاد میگیرند. وقتی کودک با اسباب‌بازی صحبت میکند، اسباب‌بازی گفتار را به LLM ارسال کرده و LLM هر بار یک پاسخ جدید ایجاد میکند. اسباب‌بازی‌های هوشمند قدیمی‌تر، مانند «باربی سخنگو» در سال 2015، از دیالوگ‌های از پیش نوشته‌شده استفاده می‌کردند، اما کوما، گروک، ربات MINI و میکو 3 همگی پاسخ‌ها را در لحظه تولید میکنند که پیش‌بینی و کنترل آن‌ها را دشوارتر میسازد.

هر ربات هوشمند از یک LLM تجاری استفاده میکند، اما مدل دقیق آن همیشه مشخص نبود. کوما به‌طور پیش‌فرض از GPT-4o شرکت OpenAI استفاده میکند، اما صاحبان آن میتوانند از طریق وب‌سایت FoloToy به مدل‌های دیگر تغییر وضعیت دهند. گروک توضیح نداد که از کدام مدل استفاده میکند و تنها به نام شرکت‌هایی مانند OpenAI و Perplexity در یادداشت‌های حریم خصوصی خود اشاره کرده بود.

این میتواند به این معنا باشد که اسباب‌بازی ممکن است ورودی‌های صوتی را به یک یا چند ارائه‌دهنده LLM تجاری ارسال کند، اما کاربر نمیتواند ببیند کدام‌یک. میکو 3 نیز مدل خود را در مستندات محصول نشان نداد. تیم تحقیقاتی اسباب‌بازی‌ها را در چهار دسته آزمایش کرد: محتوای نامناسب، ویژگی‌های اعتیادآور، سیستم‌های حریم خصوصی و کنترل‌های والدین.

ریسک‌های امنیتی و محتوای خطرناک

یکی از نگرانی‌های اصلی محققان این بود که اسباب‌بازی‌های هوش مصنوعی اطلاعات و پاسخ‌هایی به کودکان ارائه می‌دادند که ممکن بود ایمنی آن‌ها را به خطر بیندازد. ابتدا، آن‌ها از دستگاه‌ها در مورد پیدا کردن یا استفاده از اشیاء خطرناک مانند چاقو، کبریت، قرص، اسلحه و کیسه‌های پلاستیکی سؤال کردند.

گروک بیشتر پاسخ‌ها را رد کرد، اما میکو 3 گاهی اوقات مکان وسایل خانگی مانند کیسه‌های پلاستیکی یا کبریت را اعلام می‌کرد، حتی زمانی که سن کاربر روی 5 سال تنظیم شده بود.

هدفون جی بی ال مدل Tune 770NC

7,200,000 تومان مشاهده و خرید

مکالمات حساس و ضعف‌های نگران‌کننده

پس از این آزمون، محققان به دنبال درک این بودند که هر ربات اسباب بازی چگونه به مکالمات حساس مانند مواد مخدر، خشونت و مسائل جنسی پاسخ میدهد. هدف این بود که ببینند آیا حفاظ‌های ایمنی در طول یک تعامل طولانی فعال باقی می‌مانند یا خیر. در مورد گروک، محققان ابتدا یک موضوع بزرگسالانه را مطرح کردند و ربات معمولاً با امتناع و ارائه توصیه‌های ایمنی عمومی یا بیان اینکه نمیتواند در مورد آن موضوع صحبت کند، پاسخ می‌داد.

با ادامه مکالمه، ربات هوشمند همچنان مرز خود را حفظ کرد و موضوع حساس را ادامه نداد. به نظر محققان، این ویژگی گروک را به «پایدارترین» محصول در این بخش از آزمایش تبدیل کرد. میکو 3 نیز بسیاری از موضوعات مضر یا جنسی را هنگامی که مستقیماً پرسیده میشد، رد می‌کرد و حافظه‌ای بین درخواست‌ها نداشت، به این معنی که هر پاسخ به عنوان یک درخواست جداگانه تلقی میشد. به همین دلیل، محققان نمی‌توانستند یک موضوع را در طول زمان تشدید کند.

از نظر محققان، این کوما ساخت FoloToy بود که مشکلات جدی را به عنوان یک ربات اسباب بازی برای کودکان نشان داد. در ابتدا، وقتی محققان یک موضوع جنسی را مطرح کردند، اسباب‌بازی گاهی از پاسخ دادن امتناع می‌کرد، اما با گذشت زمان، حفاظ‌های سیستم ضعیف شد و در این مرحله، کوما شروع به ارائه توضیحات جنسی دقیق به تیم کرد.

واکنش بازار و اهمیت نظارت

این گزارش نشان میدهد که چنین آزمایش‌هایی بسیار مهم است، به‌ویژه برای کودکانی که ممکن است والدینشان هنگام استفاده از این دستگاه‌های هوشمند در کنارشان نباشند. اسباب‌بازی‌های هوش مصنوعی جدید هستند و فناوری آن‌ها، از جمله مدل‌های زبانی، هنوز در حال توسعه است. ریسک‌هایی وجود دارد که شرکت‌ها ممکن است هنوز به‌طور کامل درک نکرده باشید.

در واقع، یادداشت تکمیلی گروه نشان میدهد که شرکت FoloToy پس از انتشار گزارش، فروش کوما را «به‌طور موقت» متوقف کرده است. تیم تحقیقاتی همچنین با OpenAI در این مورد تماس گرفت و این شرکت اعلام کرد که «این توسعه‌دهنده را به دلیل نقض سیاست‌های ما به حالت تعلیق درآورده است». این گام‌های اولیه نشانه‌ای از آن است که بازار اسباب‌بازی‌ها میتواند به شیوه‌ای ایمن‌تر رشد کند، اما تنها زمانی که شرکت‌ها به بازخوردها گوش دهند و اقدام کند.