Fusionar fotografías y datos de encuestas para crear un chatbot gemelo digital • The Register

Según se informa, Google está jugando con la idea de utilizar sus últimos modelos de IA Gemini para analizar y, al igual que las imágenes de Google Photos y el texto de la Búsqueda de Google, reconstruir una historia de vida para los usuarios.

La tecnología se está explorando actualmente en el marco del “Proyecto Ellman” y estaría impulsada por el nuevo modelo multimodal de lenguaje grande de Google, Gemini, anunciado esta semana. La idea es ingerir diferentes tipos de datos de múltiples fuentes, como fotografías almacenadas en Google Photos o información pública extraída de Internet, para crear un chatbot más personalizado.

El equipo que trabaja en Google Photos y Gemini presentó el Proyecto Ellman y describió el producto potencial como: «Imagina abrir ChatGPT, pero ya sabe todo sobre tu vida. ¿Qué le preguntarías?» de acuerdo con para CNBC. El proyecto lleva el nombre del crítico literario y biógrafo Richard David Ellmann, quien se especializó en escribir sobre escritores irlandeses como James Joyce, Oscar Wilde y William Butler Yeats.

El Proyecto Ellman utilizaría IA para crear una biografía de los usuarios a partir de sus datos personales. «No podemos responder preguntas difíciles ni contar buenas historias sin una visión general de tu vida», dijo Google en las diapositivas de su presentación. «Examinamos sus fotografías, observamos sus etiquetas y ubicaciones para identificar un momento significativo. Cuando damos un paso atrás y entendemos su vida en su totalidad, su historia general se vuelve clara».

Presumiblemente, los usuarios amnésicos podrían preguntarle a Ellman Chat si tienen una mascota o no, y verificaría si tienen fotos de mascotas en sus datos e identificaría si hay otras fotos en las que miembros de la familia estuvieran cerca, por ejemplo, un perro o un gato. para descubrir la respuesta.

Un portavoz de Google se negó a responder El registro dudas sobre qué tipo de acceso tendría que darle un usuario al modelo para que recopile sus datos personales. ¿Tendrías que inspeccionar la información almacenada en tus teléfonos inteligentes o portátiles, por ejemplo?

«Google Photos siempre ha utilizado la IA para ayudar a las personas a buscar sus fotos y vídeos, y estamos entusiasmados con el potencial de los LLM para desbloquear experiencias aún más útiles», nos dijo el representante.

«Este es un concepto de lluvia de ideas que un equipo se encuentra en las primeras etapas de exploración. Como siempre, nos tomaremos el tiempo necesario para asegurarnos de hacerlo de manera responsable, con la protección de la privacidad de los usuarios como nuestra principal prioridad».

Géminis podría identificar hitos importantes y momentos importantes en la vida de una persona al mirar cosas como fotos de graduación o vacaciones. En teoría, podría recopilar información sobre la universidad a la que asistieron o los lugares a los que asistieron analizando información en la Búsqueda de Google. Google describió el proceso de agregar datos personales para crear una vista más detallada de la vida de alguien.

«Una de las razones por las que un LLM es tan poderoso para este enfoque panorámico es que puede tomar el contexto no estructurado de todas las diferentes elevaciones de este árbol y usarlo para mejorar la forma en que comprende otras regiones del árbol», según a la presentación. «Este LLM puede utilizar el conocimiento de la cima del árbol para inferir que este es el nacimiento de Jack y que él es el primer y único hijo de James y Gemma», dijo Google en un ejemplo.

Al analizar a los usuarios en profundidad, el Proyecto Ellman también se puede utilizar para predecir qué productos podrían interesarle comprar a la gente o a dónde quieren viajar mirando capturas de pantalla de las imágenes que han guardado. También podría determinar los principales sitios web y aplicaciones que visitaron con más frecuencia, que es todo lo que se necesita para ganar dinero con la publicidad. ®