Microsoft ha ampliado los poderes y el alcance de su AI de visión de copilotos para ayudarlo con todo tipo de contenido. En una publicación de blog del martes, la compañía reveló que los Insiders de Windows ahora pueden optar por compartir todo su escritorio con una visión de copilot donde puede pedirle que analice y responda preguntas sobre todos los elementos en su pantalla.

Un gran salto adelante

Disponible en los EE. UU. Para Windows 10 y 11 y pronto a otros países no europeos, la visión de copilot en Windows actúa como un compañero virtual, proporcionando otro conjunto de ojos para ayudarlo con archivos, aplicaciones y otros elementos mostrados y compartidos en la pantalla. Puede pedirle que analice o resume el contenido, o responda a cualquier pregunta al respecto.

Con la última habilidad accesible para Windows Insiders, puede compartir todo su escritorio con copiloto, lo que le lleva a la IA a hablar sobre ello en tiempo real.

«Puede ayudar a analizar contenido, proporcionar información y responder sus preguntas, entrenarlo en voz alta», dijo Microsoft en su publicación de blog. «Obtenga consejos para realizar mejoras en su proyecto creativo, ayudar a mejorar su currículum u orientación mientras navega por un nuevo juego».

Para usar Copilot para discutir todo su escritorio, inicie la aplicación. Haga clic en el icono de las gafas, seleccione el escritorio que le gustaría compartir y luego solicite a Copilot que ayude con lo que esté viendo o use. Para dejar de compartir, presione Stop o X.

Los expertos de Windows ahora también pueden habilitar la visión de una conversación de voz. Si está chateando con copiloto y desea ayuda en lo que esté en la pantalla, simplemente haga clic en el icono de las gafas y comparta su escritorio o una ventana individual.

Aunque está disponible solo para Windows Insiders por ahora, las últimas habilidades revelan un progreso continuo para Copilot Vision. Todos los usuarios de Windows actualmente pueden recurrir a la aplicación para obtener ayuda. ¿No está seguro de cómo usar una aplicación específica? Con la opción Highlights, puede preguntarle a Copilot cómo lograr una determinada tarea. La IA luego te mostrará a dónde ir y qué hacer.

Por ejemplo, tal vez estás jugando un juego y estás atrapado en un cierto nivel. Pregunte a Copilot Vision para obtener consejos sobre cómo proceder, y lo empujará. Quizás esté viendo una foto en un programa como Adobe Photoshop Elements y se pregunte cómo mejorar la iluminación. Pregunte el consejo de Copilot Vision y explicará los pasos específicos a seguir en los elementos de Photoshop.

Incluso puede compartir dos aplicaciones o archivos a la vez, y Copilot Vision conectará los puntos entre ellas. Por ejemplo, puede compartir tanto su calendario como una página web de eventos interesantes y pedirle a la IA que encuentre fechas cuando sea libre de asistir a los eventos que le gustan. Copilot Vision encontrará una fecha adecuada e incluso le hablará a través de los pasos para agregar el evento a su calendario.

Anteriormente, la versión de escritorio de la herramienta funcionaba solo en Edge y solo podía analizar y responder preguntas sobre su página web actual. Ahora, cualquier cosa que abra en Windows está disponible para que comparta con Copilot.

El intercambio de escritorio que ahora está siendo probado por Windows Insiders debería aparecer en la versión regular de Copilot para todos los usuarios en el futuro cercano. Por ahora, sin embargo, deberá registrarse en el programa Windows Insider si desea darle una vuelta.

Cómo probarlo

En Windows 10 u 11, abra el Aplicación de Copilot Windows. Haga clic en el icono de anteojos a la derecha de la solicitud. Verá una lista de todos sus archivos abiertos, aplicaciones y Windows. Encienda el interruptor para el elemento que desea compartir con Copilot, ya sea una ventana individual o en todo el escritorio si es un experto en Windows. La IA debería saludarte en cualquier voz que configures. (Utilizo la voz de onda con su acento británico elegante).

Luego puede hacerle cualquier pregunta sobre el contenido compartido, y debe proporcionar la información que necesita o guiarlo a través de un proceso específico. Cuando haya terminado con la conversación, simplemente haga clic en Detener o X para volver al mensaje de copiloto.

Si desea incluir un segundo elemento en la conversación, haga clic en el icono de anteojos nuevamente y encienda el interruptor para la ventana adicional. Luego puede hacer una pregunta que se refiere a los dos elementos abiertos.

Mi experiencia

Tomé la visión de copilotos para darle un giro usando algunos de los ejemplos que enumeré. Por ejemplo, abrí una foto en los elementos de Photoshop que tenía algunos reflejos de luz y le pregunté a Copilot cómo eliminarlos. Explicó dónde y cómo usar la herramienta Spot Healing Brush en el programa para eliminar los reflejos.

También abrí mi calendario y un calendario de los próximos juegos de los Yankees de Nueva York. Le pedí a Copilot que encontrara una fecha en la que sería libre de ver un juego entre los Yankees y los Orioles. Identificó una fecha específica e incluso me preguntó si quería agregar el evento a mi calendario y me ofreció mostrarme cómo hacerlo.

La privacidad siempre es una preocupación por el intercambio de pantalla y las herramientas de captura (recuerde, estoy pensando en usted). Pero con Copilot Vision, estás en el asiento del conductor. Debe elegir activamente compartir una ventana específica con la IA; De lo contrario, no puede ver o analizar lo que hay en su pantalla.

«Copilot Vision en Windows es una forma completamente nueva de interactuar con su PC de Windows, ayudándole cuando sea necesario», dijo Microsoft en una publicación de blog de junio. «Cuando elige habilitarlo, Copilot Vision puede ver lo que ve y hablar con usted en tiempo real. Actúa como su segundo juego de ojos, capaz de analizar contenido, ayudar cuando está perdido, proporcione información y responda sus preguntas a medida que avanza. Ya sea que esté navegando, trabajando o profundamente en un proyecto, Vision de copilot ofrece ideas instantáneas y respuestas, manteniendo su flujo suave y sin esfuerzo». «.

Obtenga las principales historias de la mañana en su bandeja de entrada cada día con nuestro Boletín de Tech Today.