esto es todo Pasillo bajo Por Yanko Rutgersun boletín informativo sobre la intersección en constante evolución de la tecnología y el entretenimiento, publicado específicamente para Borde Suscriptores una vez por semana.
Cuando Mark Drummond estaba trabajando en Vision Pro en Apple, tuvo una epifanía que realmente no encajaba con la narrativa preferida de Cupertino.
Drummond dirigió el equipo de Character Intelligence, que él mismo construyó, entre otras cosas. Encuentro con dinosaurios experimental. Preinstalada en Vision Pro, la demostración pone a los espectadores cara a cara con criaturas prehistóricas interactivas.
«Lo construimos con Jon Favreau», dice Drummond, refiriéndose a Apple. Asociación a largo plazo con El mandaloriano salida. “Antes de que pudiéramos llevar auriculares a Burbank, usábamos iPhones y iPads”, recuerda. Tenía sentido confiar en los dispositivos móviles para las demostraciones. VisionOS es básicamente una bifurcación de iPadOS. «Ha funcionado realmente. Hemos tenido una experiencia realmente buena con el iPhone y el iPad», afirma.
A través de esa experiencia, Drummond se dio cuenta de que estos dispositivos portátiles simplemente no eran una alternativa decente a los auriculares. «Lo que aprendimos mientras buscábamos fuentes de sorpresa y deleite con personajes interactivos en realidad mixta es que un auricular no es en realidad el mejor (dispositivo) para este tipo de cosas», dice.
«Sigo pensando que es una pieza de hardware genial», dice Drummond. Sin embargo, los auriculares también pueden resultar alienantes, desconectando a los espectadores del mundo y de las personas que los rodean. «Es un poco solitario», dice Drummond. Por otro lado, tener una aplicación AR en el teléfono hace que sea más fácil mostrársela a los demás. «La gente puede apoyarse en tu hombro», dice Drummond.
Por eso, poco después de dejar Apple en 2023, Drummond adoptó los dispositivos móviles para contar historias en realidad aumentada. Durante los últimos dos años y medio, ha estado trabajando en una nueva aplicación AR para iPhone llamada Duendecito Se trata de contar historias interactivas centradas en los dispositivos móviles.
En resumen, Pixi está trabajando en algo que puede describirse mejor como una versión de realidad aumentada de una tarjeta de felicitación por correo electrónico. Cuando se lance en las próximas semanas, Pixi permitirá que cualquiera elija un personaje y un escenario interactivos, agregue un mensaje personalizado y luego envíelo a sus contactos a través de iMessage o WhatsApp. Una vez que el destinatario abre este mensaje de Pixi, el personaje aparece superpuesto en la vista de la cámara del entorno del mundo real, interactuando con él.
Durante una demostración reciente, las experiencias de realidad aumentada de Pixi incluyeron un gato animado y un robot. Pueden contar chistes, jugar al tres en raya contigo o desafiarte a golpear un topo, directamente en tu escritorio.
A primera vista, nada de esto parece particularmente nuevo si alguna vez has jugado con un filtro AR de Snapchat o cualquier otra aplicación AR en tu móvil. «Si no te avergonzó un poco el primer producto, lo lancé ‘demasiado tarde'», dice Drummond, sugiriendo que la compañía incorporará personajes adicionales e historias más avanzadas en el futuro.
Sin embargo, Pixi incorpora algunos elementos interactivos interesantes: por ejemplo, un comediante gato cuenta un chiste de papá tras otro hasta que la aplicación detecta que el espectador está sonriendo a través de la cámara frontal del teléfono. Luego, el personaje agradece al espectador su interés como un comediante que finaliza su programa y ofrece un saludo personal.
«Para que un personaje se sienta presente, tiene que prestar atención», dice Drummond. Esto incluye no sólo prestar atención al espectador, sino también al entorno en el que está presente. «Este tipo de atención sólo es posible a través de la IA en el dispositivo», afirma. Pixi utiliza inteligencia artificial y aprendizaje automático para reconocer expresiones faciales, y la aplicación también descarga rápidamente modelos de aprendizaje automático personalizados para reconocer objetos y luego integrarlos en la historia.
Cuando la realidad aumentada móvil se hizo popular por primera vez con los filtros de Snapchat y las aplicaciones basadas en ARKit, los desarrolladores no tenían mucho con qué trabajar cuando se trataba de interactuar con el entorno del mundo real del espectador. Básicamente, las aplicaciones detectan superficies y colocan cualquier objeto virtual encima de esas superficies. Con el tiempo, las aplicaciones de realidad aumentada se han vuelto más inteligentes en cuanto al encubrimiento, permitiendo a los personajes esconderse detrás de objetos del mundo real. Con el tiempo, algunos incluso ofrecieron una detección de objetos rudimentaria.
Con los recientes avances en inteligencia artificial, existe la posibilidad de aumentar el reconocimiento de objetos, hasta el punto de que las aplicaciones podrán reconocer clases de objetos, comprender cómo funcionan e integrarlos en experiencias interactivas. Así es como Drummond prevé que funcionarán las tarjetas de felicitación de Pixi en el futuro:
«Digamos que tengo una amiga (que es) abogada. Tiene un ascenso y quiero felicitarla. Le envío (a Duendecillo con perro) un golden retriever, que aparece en el piso de la oficina. Ella lo mira, luego comienza a olfatear. Se dirige hacia el archivador y se concentra intensamente en uno de los cajones de ese archivador. Piensa: Perro, estas son sólo declaraciones de impuestos viejas. El perro no cederá. Se ve, huele y luce deslumbrante. Ella abre el cajón. En su interior escondimos una galleta gigante virtual para perros (con el mensaje: “Felicitaciones, nos vemos el viernes”).
¿Todo esto sería técnicamente posible también con la aplicación Vision Pro? tal vez. Pero hay muchas otras razones que frenan a los auriculares, incluido su precio de 3.500 dólares. «Es caro», admite Drummond, y añade: «Sigo pensando que es una ganga dada la cantidad de tecnología asombrosa que tienen, sólo esas pantallas».
Sin embargo, el alto precio del dispositivo también ha obstaculizado su adopción, e IDC estima que la compañía lo envió. Sólo 45.000 unidades Durante el trimestre vacacional del año pasado. «No tiene mucha penetración en el mercado», afirma Drummond.
Incluso las personas que poseen uno pueden dudar en usarlo cada vez que alguien les envía un clip o una prueba de dos minutos. “No siempre se tiene lo que se necesita y hay costos de instalación y desmontaje”, dice Drummond. «Tenemos nuestros teléfonos con nosotros todo el tiempo».
No es ningún secreto que Vision Pro fue solo el primer paso para Apple, que supuestamente está trabajando en sus propias gafas inteligentes y gafas AR. Sin embargo, Drummond cree que estos productos de gafas no podrán reemplazar a los teléfonos inteligentes en los próximos años debido a limitaciones físicas. Los teléfonos ahora son capaces de ejecutar modelos complejos de aprendizaje automático de forma nativa, mientras que las gafas tendrán una potencia y capacidades informáticas muy limitadas. Debido a estas limitaciones, probablemente servirá como otra pantalla para notificaciones e instrucciones, similar al Apple Watch. «Creo que el Apple Watch y las gafas harán más o menos el mismo trabajo», afirma.
Esto significa que los desarrolladores de AR que buscan crear experiencias de entretenimiento interactivas pueden descubrir que el teléfono sigue siendo la mejor plataforma en el futuro previsible, una que se vuelve cada día más capaz gracias a la inteligencia artificial.
(etiquetas para traducción)Columna