Des agents IA qui pilotent de vraies applications Android, avec toi aux commandes
Agents IA sur un vrai téléphone Android : lis l'écran, tape, saisis du texte, glisse, opère les apps autorisées sans API, validation humaine avant écriture.
Un agent IA mobile observe l'écran Android en cours, décide de la prochaine action bornée, tape, saisit du texte ou glisse, puis vérifie le résultat. Melaya Device Control tourne sur un vrai téléphone appairé, limite l'agent aux applications autorisées, et marque une pause pour validation humaine avant toute publication ou autre écriture protégée.
Computer use, mais pour le téléphone
De nombreux workflows importants se terminent dans une application sans API exploitable. Les agents mobiles utilisent l'interface visible, ils travaillent donc avec les mêmes commandes qu'une personne voit. Cela couvre les applications mobile-only et peu intégrées, mais ça veut aussi dire que le workflow doit gérer les changements d'écran, les interruptions, les permissions et les états d'interface ambigus.
Melaya sépare le raisonnement de l'exécution sur l'appareil. Le modèle choisi peut proposer des étapes, pendant que Device Control effectue des gestes bornés sur le téléphone Android appairé et enregistre ce qui s'est passé.
La boucle sûre de l'agent mobile
Une boucle fiable, c'est observer, décider, agir, vérifier, puis s'arrêter. L'agent lit l'écran en cours, choisit une action autorisée, l'exécute, puis confirme l'état attendu avant de continuer. Il ne doit jamais supposer qu'un tap a réussi ou que l'écran suivant correspond à une séquence mémorisée.
- Liste d'applications autorisées par app
- Aucun besoin de root ni de jailbreak
- Validation avant les écritures protégées
- Historique d'actions et de décisions rejouable
- Comportement explicite de timeout, de retry et de retour à Melaya
Où les agents mobiles ont leur place
Les bons cas d'usage incluent la navigation répétitive, la préparation de brouillons, la saisie de données entre applications, les tests exploratoires sur Android et les workflows bloqués par l'absence d'API. Les mauvais cas d'usage incluent les actions financières sans supervision, le contrôle d'appareil critique pour la sécurité, le contournement de CAPTCHA, ou tout workflow qui viole les règles d'une application ou le consentement d'une personne.
Melaya cible actuellement Android. Il ne faut pas l'évaluer comme un produit de contrôle d'iPhone, ni comme un remplacement pour un grand service de test en device farm.
Questions fréquentes
Qu'est-ce qu'un agent IA mobile ?
C'est un agent IA capable d'observer une interface mobile et d'interagir avec elle, généralement en lisant l'état de l'écran et en effectuant des gestes comme des taps, de la saisie de texte et des glissements.
Est-ce que Melaya a besoin d'une API pour chaque application ?
Non. Device Control peut piloter l'interface Android visible, ce qui est utile quand aucune API ou aucun connecteur adapté n'est disponible.
Est-ce que Melaya contrôle les iPhone ?
Aucun contrôle d'iPhone n'est proposé. Le produit Device Control actuel est conçu pour Android.
L'agent peut-il publier sans validation ?
Les actions de publication protégées sont interceptées et mises en attente de validation humaine. L'utilisateur peut relire ou modifier le brouillon avant son envoi.
