Óculos de realidade aumentada do MIT permitem visão semelhante à raio X

A conceituada universidade de tecnologia americana criou um dispositivo que pode ajudar trabalhadores a localizar objetos com precisão ou identificar peças para montagem de produtos.

Os óculos, desenvolvidos pelo Instituto de Tecnologia de Massachusetts, combinam tecnologias de visão computacional e percepção sem fio para localizar automaticamente itens específicos que estão ocultos, como dentro de uma caixa ou debaixo de uma pilha, e, em seguida, orientar o usuário para recuperá-los.

O sistema utiliza sinais de radiofrequência (RF) para localizar itens ocultos que foram rotulados com etiquetas RFID. Esses sinais podem passar por materiais comuns, como caixas de papelão, recipientes de plástico ou divisórias de madeira, e são refletidos pelas etiquetas para serem detectados por uma antena de RF.

Os óculos X-AR direcionam o usuário à medida que ele caminha pela sala em direção ao local do item, que é mostrado como uma esfera transparente na interface de realidade aumentada (AR). Uma vez que o usuário encontra o item e o pega, os óculos verificam se o objeto é o correto por meio da tecnologia de etiquetas RFID.

Quando testado em um ambiente semelhante a um depósito, os pesquisadores descobriram que o X-AR conseguia localizar itens ocultos com uma precisão média de 9,8 centímetros e que os usuários pegavam o item correto com 96% de precisão.

O X-AR é uma tecnologia que pode ajudar os funcionários de armazéns de comércio eletrônico a encontrar itens rapidamente, mesmo que eles estejam em prateleiras desorganizadas ou dentro de caixas. Além disso, o X-AR pode ajudar a identificar o item exato necessário para um pedido, mesmo que muitos objetos semelhantes estejam na mesma caixa. A tecnologia também pode ser utilizada em instalações de fabricação para auxiliar os técnicos a localizarem as peças corretas para montar um produto.

“Todo o nosso objetivo com este projeto era construir um sistema de realidade aumentada que permitisse ver coisas que são invisíveis – coisas que estão em caixas ou cantos – e, ao fazer isso, pode guiá-lo em direção a elas e realmente permitir que você veja. o mundo físico de maneiras que não eram possíveis antes”, diz Fadel Adib, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação, diretor do grupo Signal Kinetics no Media Lab e autor sênior de um artigo em X-AR.

Os co-autores de Adib são os assistentes de pesquisa Tara Boroushaki, que é o principal autor do artigo; Maisy Lam; Laura Dodds; e a ex-pós-doutora Aline Eid, que agora é professora assistente na Universidade de Michigan. A pesquisa será apresentada no Simpósio USENIX sobre Projeto e Implementação de Sistemas em Rede.

Para criar os óculos de realidade aumentada com visão de raio-X, os pesquisadores precisaram primeiramente equipar um óculos existente com uma antena capaz de se comunicar com itens marcados com RFID. Geralmente, a maioria dos sistemas de localização RFID utiliza várias antenas localizadas a vários metros de distância, mas nesse caso, foi necessário uma antena leve que pudesse alcançar largura de banda alta o suficiente para se comunicar com as tags.

“Um grande desafio foi projetar uma antena que se encaixasse nos óculos sem cobrir nenhuma das câmeras ou atrapalhar seu funcionamento. Isso importa muito, pois precisamos usar todas as especificações do visor”, diz Eid.

Para criar os óculos de realidade aumentada com visão de raio-X, a equipe utilizou uma antena de loop simples e leve e testou técnicas para aumentar a largura de banda, como o afunilamento da antena e a adição de lacunas. Como as antenas geralmente são usadas ao ar livre, os pesquisadores as otimizaram para enviar e receber sinais quando conectadas ao visor dos óculos.

Depois que a equipe construiu uma antena eficaz, eles se concentraram em usá-la para localizar itens marcados com RFID.

O SAR é um método de processamento de sinal que usa técnicas de radar para criar uma imagem de alta resolução de um objeto. Ele funciona emitindo ondas de radar em direções diferentes e combinando os sinais de retorno para criar uma imagem 3D do objeto. No caso do X-AR, a equipe usou essa técnica para obter informações precisas sobre a localização de objetos marcados com RFID e exibir a localização em tempo real na interface de realidade aumentada.

O X-AR utiliza dados visuais capturados pela capacidade de rastreamento automático dos óculos para construir um mapa do ambiente e determinar a localização do usuário dentro desse ambiente. À medida que o usuário se desloca, o X-AR calcula a probabilidade da etiqueta RFID em cada localização. A probabilidade será maior no local exato da tag, permitindo assim que o X-AR localize o objeto oculto com base nessas informações.

“Embora tenha apresentado um desafio quando estávamos projetando o sistema, descobrimos em nossos experimentos que ele realmente funciona bem com o movimento humano natural. Como os humanos se movem muito, isso nos permite fazer medições de vários locais diferentes e localizar um item com precisão”, diz Dodds.

Depois que o X-AR localiza o objeto e o usuário o pega, os óculos precisam verificar se o usuário pegou o objeto correto. No entanto, nesse momento, o usuário está parado e a antena dos óculos não está em movimento, impossibilitando o uso do SAR para localizar a tag.

No entanto, à medida que o usuário pega o objeto, a etiqueta RFID se move junto com ele. O X-AR pode medir o movimento da etiqueta RFID e, em seguida, utilizar sua capacidade de rastreamento manual para localizar o item na mão do usuário. Após localizá-lo, o X-AR verifica se a tag está enviando os sinais de RF corretos para confirmar se é o objeto correto.

Os pesquisadores utilizaram recursos de visualização holográfica para exibir as informações de maneira simples para o usuário. Após o usuário colocar os óculos, ele usa menus para selecionar um objeto de um banco de dados de itens marcados. Quando o objeto é localizado, ele é circundado por uma esfera transparente, permitindo que o usuário visualize sua localização na sala. O dispositivo projeta a trajetória para o objeto na forma de passos no chão, que podem ser atualizados dinamicamente à medida que o usuário caminha.

“Nós abstraímos todos os aspectos técnicos para que possamos fornecer uma experiência clara e perfeita para o usuário, o que seria especialmente importante se alguém o colocasse em um ambiente de armazém ou em uma casa inteligente”, diz Lam.

Para testar o X-AR, os pesquisadores criaram um ambiente simulado, preenchendo as prateleiras com caixas de papelão e latas de plástico e colocando etiquetas RFID nos objetos.

Os pesquisadores descobriram que o X-AR pode guiar o usuário em direção a um item de destino com um erro de menos de 10 centímetros. Isso significa que, em média, o item foi localizado a menos de 10 centímetros de onde o X-AR direcionou o usuário. Os métodos de linha de base que os pesquisadores testaram tiveram um erro médio de 25 a 35 centímetros.

Eles também descobriram que o X-AR verificou corretamente se o usuário pegou o item correto em 98,9% das vezes, reduzindo os erros de coleta em 98,9%. A precisão foi de 91,9% quando o item ainda estava dentro de uma caixa.

“O sistema não precisa ver o item visualmente para verificar se você pegou o item certo. Se você tiver 10 telefones diferentes em embalagens semelhantes, talvez não consiga diferenciar entre eles, mas pode orientá-lo a escolher o certo”, diz Boroushaki.

Agora que demonstraram o sucesso do X-AR, os pesquisadores planejam explorar como diferentes modalidades de detecção, como WiFi, tecnologia mmWave ou ondas terahertz, podem ser usadas para aprimorar suas capacidades de visualização e interação. Eles também planejam aprimorar a antena para que seu alcance ultrapasse os 3 metros e estender o sistema para ser usado por vários óculos coordenados.

“Como não existe nada parecido hoje, tivemos que descobrir como construir um tipo de sistema completamente novo do começo ao fim”, diz Adib. “Na realidade, o que criamos é uma estrutura. Existem muitas contribuições técnicas, mas também é um modelo de como você projetaria um headset AR com visão de raio-X no futuro.”

“Este documento dá um passo significativo no futuro dos sistemas AR, fazendo-os funcionar em cenários fora da linha de visão”, diz Ranveer Chandra, diretor administrativo de pesquisa da indústria da Microsoft, que não esteve envolvido neste trabalho. “Ele usa uma técnica muito inteligente de alavancar a detecção de RF para aumentar os recursos de visão computacional dos sistemas AR existentes. Isso pode direcionar os aplicativos dos sistemas AR para cenários que não existiam antes, como varejo, manufatura ou novos aplicativos de qualificação”.

Esta pesquisa foi apoiada, em parte, pela National Science Foundation, pela Sloan Foundation e pelo MIT Media Lab.

Fonte: https://news.mit.edu/

Imagem: Reprodução Youtube