Um desenvolvedor de IA invadiu seu iPhone para se tornar os olhos do GPT-4, transformando seu iPhone em um assistente que tudo vê com IA.
Mckay Wrigley foi ao Twitter esta semana para revelar como ele criou um assistente de IA que pode ver usando seu iPhone.
Wrigley usou uma combinação selvagem de software, YoloV8 para detecção de objetos, um modelo de visão, GPT-4 para IA, OpenAI Whisper para voz, Google Custom Search Engine e Python, hackeados juntos “de uma maneira divertida”. Ele diz que foi “100 vezes mais fácil” do que parece criar e que “é assim que o mundo será em breve”.
GPT-4 com olhos
Usei meu iPhone para dar olhos GPT-4. Meu assistente de visão AI:- aprendi o que é uma dieta Keto- identifiquei alimentos Keto na minha geladeira- pesquisei na internet- encontrei uma receita com os ingredientesO futuro está aqui! pic.twitter.com/bOMhJfWRP02 de maio de 2023
Então, como é esse mundo, exatamente? Como você pode ver em seu vídeo, GPT-4 pode olhar em volta e identificar objetos usando a câmera de seu iPhone. Wrigley diz que usou o assistente de visão para aprender o que é uma dieta cetônica, identificar alimentos cetônicos em sua geladeira e pesquisar na internet uma receita com ingredientes.
Wrigley esclarece que está usando um Mac para executar o modelo de visão, que mostra o fluxo de vídeo, já que o iPhone não consegue lidar com o trabalho pesado. Mas isso pode ser um vislumbre de como seria um futuro alimentado por IA usando o Apple VR. Espera-se que a Apple revele seu novo fone de ouvido Reality Pro na WWDC 2023, um fone de ouvido de realidade mista para jogos, colaboração, fitness e muito mais.
O que é realmente empolgante é como uma ferramenta como essa pode um dia ser usada para acessibilidade, ajudando usuários cegos e com deficiência visual do iPhone a identificar objetos em suas casas usando IA, possivelmente transformando a maneira como eles interagem com as coisas em casa. Presumivelmente, há espaço aqui para ferramentas que podem ler coisas em voz alta, como rótulos de alimentos ou instruções na embalagem. Quem sabe, a acessibilidade pode muito bem ser uma surpresa adormecida da revolução da IA.
