La nuova tecnologia AI del team migliora notevolmente le capacità di riconoscimento dei robot

Un robot muove un pacchetto giocattolo di burro attorno a un tavolo nell'Intelligent Robotics and Vision Lab dell'Università del Texas a Dallas. Ad ogni spinta, il robot impara a riconoscere l'oggetto attraverso un nuovo sistema sviluppato da un team di scienziati informatici dell'UT Dallas.

Il nuovo sistema consente al robot di spingere gli oggetti più volte fino a quando non viene raccolta una sequenza di immagini, che a sua volta consente al sistema di segmentare tutti gli oggetti nella sequenza finché il robot non riconosce gli oggetti. Gli approcci precedenti si basavano su una singola spinta o presa da parte del robot per “imparare” l’oggetto.

Il team ha presentato il suo documento di ricerca alla conferenza Robotics: Science and Systems dal 10 al 14 luglio a Daegu, in Corea del Sud. I documenti per la conferenza sono selezionati per la loro novità, qualità tecnica, significato, impatto potenziale e chiarezza.

Il giorno in cui i robot potranno cucinare la cena, sparecchiare il tavolo della cucina e svuotare la lavastoviglie è ancora lontano. Ma il gruppo di ricerca ha fatto un progresso significativo con il suo sistema robotico che utilizza l’intelligenza artificiale per aiutare i robot a identificare e ricordare meglio gli oggetti, ha affermato il dottor Yu Xiang, autore senior dell’articolo.

"Se chiedi a un robot di prendere una tazza o di portarti una bottiglia d'acqua, il robot deve riconoscere quegli oggetti", ha detto Xiang, assistente professore di informatica presso la Erik Jonsson School of Engineering and Computer Science.

La tecnologia dei ricercatori dell'UTD è progettata per aiutare i robot a rilevare un'ampia varietà di oggetti trovati in ambienti come le case e per generalizzare, o identificare, versioni simili di oggetti comuni come bottiglie d'acqua di varie marche, forme o dimensioni.

All'interno del laboratorio di Xiang c'è un contenitore pieno di pacchetti giocattolo di alimenti comuni, come spaghetti, ketchup e carote, che vengono utilizzati per addestrare il robot da laboratorio, chiamato Ramp. Ramp è un robot manipolatore mobile di Fetch Robotics alto circa 4 piedi su una piattaforma mobile rotonda. La rampa è dotata di un lungo braccio meccanico con sette snodi. Alla fine c'è una “mano” quadrata con due dita per afferrare gli oggetti.

Xiang ha affermato che i robot imparano a riconoscere gli oggetti in modo paragonabile a come i bambini imparano a interagire con i giocattoli.

"Dopo aver spinto l'oggetto, il robot impara a riconoscerlo", ha detto Xiang. “Con questi dati, addestriamo il modello di intelligenza artificiale in modo che la prossima volta che il robot vedrà l’oggetto, non avrà bisogno di spingerlo di nuovo. La seconda volta che vedrà l’oggetto, lo raccoglierà semplicemente”.

La novità del metodo dei ricercatori è che il robot spinge ogni oggetto da 15 a 20 volte, mentre i precedenti metodi di percezione interattiva utilizzavano solo una singola pressione. Xiang ha affermato che più pressioni consentono al robot di scattare più foto con la sua fotocamera RGB-D, che include un sensore di profondità, per conoscere ogni elemento in modo più dettagliato. Ciò riduce il rischio di errori.

“Dopo aver spinto l’oggetto, il robot impara a riconoscerlo. Con questi dati, addestriamo il modello di intelligenza artificiale in modo che… la seconda volta che vedrà l’oggetto, lo riprenderà”.

Dr. Yu Xiang, assistente professore di informatica presso la Scuola di Ingegneria e Informatica Erik Jonsson

Il compito di riconoscere, differenziare e ricordare gli oggetti, chiamato segmentazione, è una delle funzioni primarie necessarie ai robot per completare le attività.

“Per quanto ne sappiamo, questo è il primo sistema che sfrutta l’interazione dei robot a lungo termine per la segmentazione degli oggetti”, ha affermato Xiang.

Ninad Khargonkar, uno studente di dottorato in informatica, ha affermato che lavorare al progetto lo ha aiutato a migliorare l'algoritmo che aiuta il robot a prendere decisioni.

“Una cosa è sviluppare un algoritmo e testarlo su un set di dati astratti; un'altra cosa è testarlo su compiti nel mondo reale", ha detto Khargonkar. "Vedere quella performance nel mondo reale è stata un'esperienza di apprendimento fondamentale."

Il prossimo passo per i ricercatori è migliorare altre funzioni, tra cui la pianificazione e il controllo, che potrebbero consentire attività come la selezione dei materiali riciclati.

Altri autori dell'articolo dell'UTD includevano lo studente laureato in informatica Yangxiao Lu; gli studenti senior di informatica Zesheng Xu e Charles Averill; Kamalesh Palanisamy MS'23; Dr. Yunhui Guo, assistente professore di informatica; e il dottor Nicola Ruozzi, professore associato di informatica. Ha partecipato anche il Dott. Kaiyu Hang della Rice University.