GitHub Copilot estrena control del ordenador para leer aplicaciones, pulsar botones, escribir y completar tareas entre programas desde su CLI y su aplicación de escritorio.
GitHub ha añadido el uso del ordenador a Copilot, una función que permite al asistente interactuar con aplicaciones de escritorio en macOS y Windows. Está disponible en vista previa pública tanto en GitHub Copilot CLI como en la aplicación de GitHub Copilot.
El asistente puede leer el contenido accesible de una aplicación y utilizar también el contexto visual de la pantalla. A partir de ahí puede pulsar controles, introducir o editar texto, usar teclas, desplazarse, arrastrar elementos y avanzar por un proceso que implique varias ventanas.
Esta capacidad amplía la automatización más allá del código y de las herramientas conectadas mediante API. Puede utilizarse con programas antiguos o aplicaciones gráficas que no tengan una interfaz de programación, una línea de comandos o una integración MCP disponible.
GitHub propone tareas como resumir notificaciones abiertas en un navegador, actualizar contenido dentro de una presentación o mover información entre aplicaciones. Para obtener mejores resultados conviene indicar el objetivo final, los programas que deben utilizarse y cualquier restricción que Copilot tenga que respetar.
El control no se activa de forma silenciosa. Copilot solicita permiso antes de manejar una aplicación y permite revisar o restablecer las autorizaciones concedidas. En macOS también guía al usuario para habilitar los permisos de Accesibilidad y Grabación de pantalla que necesita el sistema operativo.
En Copilot CLI se activa con el comando /computer on y puede consultarse o apagarse con /computer show y /computer off. En la aplicación de escritorio se encuentra en Ajustes, dentro de Computer Use. Las organizaciones pueden deshabilitar la función mediante sus ajustes administrados.
