চ্যালেঞ্জ প্রসঙ্গে টয়োটা বলেছে, “অধিকাংশ রোবটই নিজেদের সামনে থাকা বস্তু এবং জ্যামিতির সঙ্গে প্রতিক্রিয়ামূলক আচরণের জন্য প্রোগ্রাম করা হয়। ফলে তারা আসল বস্তু এবং সেটির প্রতিবিম্বের মধ্যকার পার্থক্যটি নির্ণয় করতে পারে না। এ কারণে সাধারণ পানি খাওয়ার গ্লাস বা চকচকে টোস্টার রোবটকে বাড়িতে নিজ কাজটি ঠিকমতো করার বেলায় ঝামেলা পাকিয়ে ফেলে।”
টয়োটা এ সমস্যার সমাধান করেছে নতুন এক প্রশিক্ষণ প্রক্রিয়ার মাধ্যমে। ওই প্রক্রিয়ায় রোবট নিজের সামনের দৃশ্যকে ৩ডি জ্যামিতিতে গ্রহণ করে এবং বস্তু ও পৃষ্ঠকে শনাক্ত করে।
ভিডিওতে দেখা গেছে, টয়োটা রোবট ঘরের বিভিন্ন উপাদানকে ৩ডি জ্যামিতিকভাবে দেখছে এবং টেবিল ও কাউন্টারের মতো পৃষ্ঠগুলো শনাক্ত করতে পারছে। স্বচ্ছ্ব গ্লাস শনাক্ত করে তা পাশে সরিয়ে রাখতেও দেখা গেছে রোবটকে।
এ প্রসঙ্গে টিআরআইয়ের ভাইস প্রেসিডেন্ট ম্যাক্স ভাজরাচারিয়া বলছে, “গৃহস্থালী পরিবেশে রোবটকে কর্মকাণ্ডের প্রশিক্ষণ দেওয়ার ক্ষেত্রে বৈচিত্র ও জটিলতা প্রশ্নে বিশেষ চ্যালেঞ্জ দেখা দেয় যেখানে ছোট ছোট কাজ বড় চ্যালেঞ্জ হয়ে দাঁড়াতে পারে।”