Ce que reçoit votre agent

L’instruction

Quand vous relâchez ⌃ ⌥, voici ce qui arrive dans votre presse-papiers, avec les chemins complets vers votre dossier Exports :

I made a recording that contains annotations for you to understand what I need you to do.
Here are my instructions: ~/Movies/Kirocast/Exports/TalkMode_1790274261.transcript.json
Here is the recording: ~/Movies/Kirocast/Exports/TalkMode_1790274261.mp4
Here are the annotation keys, and necessary elements to understand the recording: ~/Movies/Kirocast/Exports/TalkMode_1790274261.events.json

These files are still being written as you read this. If one is missing, wait a few seconds and read it again. If the instructions file never appears, nothing was said during the recording: work from the video and the annotations.

Les fichiers sont listés dans l’ordre où les ouvrir. Le dernier paragraphe est là parce que l’instruction arrive dans votre presse-papiers quelques secondes avant que les fichiers soient terminés : votre agent sait ainsi qu’il doit les attendre.

Vos paroles

Le fichier d’instructions est la transcription de ce que vous avez dit, réalisée sur votre Mac. Vos paroles sont découpées en segments à chaque pause ou fin de phrase, et chaque mot porte son propre horodatage :

"segments": [
  {
    "confidence": 0.94,
    "endT": 1.9,
    "t": 0.5,
    "text": "Export does nothing.",
    "words": [
      { "confidence": 0.99, "endT": 0.92, "t": 0.5, "text": "Export" },
      { "confidence": 0.97, "endT": 1.24, "t": 0.92, "text": "does" },
      { "confidence": 0.86, "endT": 1.9, "t": 1.24, "text": "nothing." }
    ]
  }
]

• t et endT : le début et la fin du segment ou du mot, en secondes depuis le début de la vidéo.
• text : ce que vous avez dit.
• confidence : le degré de certitude du modèle de reconnaissance vocale, de 0 à 1. Un score bas signale un mot peut-être mal compris.

L’enregistrement

La vidéo montre l’écran que vous désigniez, à la taille idéale pour un modèle : jusqu’à 1 536 pixels sur le grand côté, à 5 i/s. Elle est muette : votre voix est dans la transcription. L’image montre l’écran entier à chaque instant ; chaque clic y est signalé, et chaque cercle que vous avez tracé devient un ovale.

Le guide Export pour l’IA détaille ce que la vidéo conserve.

Les clés d’annotation

Le fichier d’événements est le journal horodaté de ce qui s’est passé à l’écran. Deux types d’entrées comptent le plus dans une prise en Mode conversation :

{ "button": "left", "clickCount": 1, "t": 2.3, "track": "cursor", "type": "click", "x": 0.612, "y": 0.084 },
{ "attentionPriority": "high", "endT": 6.2, "intent": "highlight_target", "interaction": false,
  "rect": { "height": 0.062, "width": 0.071, "x": 0.577, "y": 0.054 },
  "t": 3.4, "target": { "kind": "button", "label": "Export" }, "track": "effects", "type": "focus" }

• Un clic ("track": "cursor") : vous avez cliqué en x, y, à l’instant t.
• Un cercle tracé ("type": "focus") : la zone entourée, sous forme de rect, de t à endT. "interaction": false indique à votre agent qu’il s’agit d’un élément désigné, distinct des clics.
• La cible (target) : l’élément situé sous votre cercle, lu via l’accessibilité de macOS. Ici, un bouton nommé Export. Elle apparaît quand macOS sait nommer l’élément.

Les positions vont de 0 à 1, à partir du coin supérieur gauche de l’écran. Le guide Le fichier d’événements décrit chaque champ et chaque type d’événement.

Les lire ensemble

Les trois fichiers partagent une même horloge, les secondes de la vidéo : un agent peut donc les aligner.

1. Lire la transcription pour connaître la demande.
2. Associer chaque phrase aux événements de même t. « Export does nothing », dit à 0,5 s, suivi d’un clic à 2,3 s et d’un cercle autour du bouton Export à 3,4 s.
3. Regarder l’image à cet instant. La vidéo montre l’écran entier, bord à bord : une position se convertit directement en pixels, x × la largeur de la vidéo, y × sa hauteur. Dans une vidéo de 1 536 pixels de large, un x de 0.612 correspond au pixel 940.

Vos paroles sont les instructions. Pour ajouter ce que vous n’avez pas dit, par exemple le projet sur lequel travailler, tapez-le après l’instruction au moment de la coller.