Usando un guante lleno de sensores mientras manejan una variedad de objetos, los investigadores del Instituto Tecnológico de Massachusetts (MIT) han compilado un conjunto de datos masivo que permite a un sistema de Inteligencia Artificial (AI) reconocer objetos a través del tacto. La información podría aprovecharse para ayudar a los robots a identificar y manipular objetos, y podría ayudar en el diseño de prótesis.
Los investigadores desarrollaron un guante de punto de bajo costo, llamado “guante táctil escalable” (STAG del inglés ‘scalable tactile glove‘), equipado con unos 550 sensores diminutos en casi toda la mano.
Cada sensor captura señales de presión cuando los humanos interactúan con los objetos de varias maneras. Una red neuronal procesa las señales para “aprender” un conjunto de datos de patrones de presión-señal relacionados con objetos específicos. Luego, el sistema usa ese conjunto de datos para clasificar los objetos y predecir sus pesos con solo sentirlos, sin necesidad de información visual.
En un artículo publicado en Nature, los investigadores describen un conjunto de datos que compilaron utilizando STAG para 26 objetos comunes, entre ellos una lata de refresco, tijeras, pelota de tenis, cuchara, bolígrafo y taza. Usando el conjunto de datos, el sistema predijo las identidades de los objetos con una precisión de hasta el 76%. El sistema también puede predecir los pesos correctos de la mayoría de los objetos dentro de unos 60 gramos.
Los guantes similares utilizados hoy en día cuestan miles de dólares y, a menudo, contienen solo unos 50 sensores que capturan menos información. A pesar de que STAG produce datos de muy alta resolución, está hecho de materiales disponibles comercialmente por alrededor de US$10.
El sistema de detección táctil podría usarse en combinación con la visión tradicional por computadora y los conjuntos de datos basados en imágenes para brindar a los robots una comprensión más humana de la interacción con objetos.
“Siempre hemos querido que los robots hagan lo que los humanos pueden hacer, como lavar los platos u otras tareas. Si quieres que los robots hagan estas cosas, deben ser capaces de manipular objetos“, dice Subramanian Sundaram, ex estudiante graduado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT.
Los investigadores también utilizaron el conjunto de datos para medir la cooperación entre las regiones de la mano durante las interacciones entre objetos. Por ejemplo, cuando alguien usa la articulación media de su dedo índice, rara vez usa el pulgar. Pero las puntas de los dedos índice y medio siempre corresponden al uso del pulgar. “Por primera vez, mostramos de forma cuantificable que, si estoy usando una parte de mi mano, la probabilidad de que use otra parte de mi mano“.
Los fabricantes de prótesis pueden usar la información para, por ejemplo, elegir lugares óptimos para colocar sensores de presión y ayudar a personalizar las prótesis para las tareas y objetos con los que las personas interactúan regularmente.
STAG está laminado con un polímero eléctricamente conductor que cambia la resistencia a la presión aplicada. Los investigadores cosieron hilos conductores a través de orificios en la película del polímero conductor, desde la punta de los dedos hasta la base de la palma. Los hilos se superponen de una manera que los convierte en sensores de presión. Cuando alguien que usa el guante siente, levanta, sujeta y deja caer un objeto, los sensores registran la presión en cada punto.
Los hilos se conectan desde el guante a un circuito externo que traduce los datos de presión en “mapas táctiles”, que son esencialmente vídeos breves de puntos que crecen y se contraen en un gráfico de una mano. Los puntos representan la ubicación de los puntos de presión, y su tamaño representa la fuerza: cuanto más grande es el punto, mayor es la presión.
A partir de esos mapas, los investigadores compilaron un conjunto de datos de aproximadamente 135,000 cuadros de vídeo de las interacciones con 26 objetos diferentes. Esos mapas pueden ser utilizados por una red neuronal para predecir la identidad y el peso de los objetos, y proporcionar información sobre la manera en que los humanos ‘agarran’ objetos.
Para identificar objetos, los investigadores diseñaron una red neuronal convolucional (CNN, del inglés: convolutional neural network), que generalmente se usa para clasificar imágenes, para asociar patrones de presión específicos con objetos específicos. Pero el truco fue elegir mapas de diferentes tipos de ‘agarre’ del mismo objeto, para así obtener una imagen completa de ese objeto.
La idea era imitar la forma en que los humanos pueden sostener un objeto de diferentes maneras para reconocerlo, sin usar su vista. De manera similar, la CNN de los investigadores reconocerá un objeto, por ejemplo, sosteniendo una taza desde la parte inferior, superior y de mango.