ИИ-агенты, которые управляют настоящими приложениями Android, а контроль остается у тебя
Запускай ИИ-агентов на настоящем Android: экран, нажатия, ввод текста и свайпы в разрешенных приложениях без API, с подтверждением человеком перед записью.
Мобильный ИИ-агент видит текущий экран Android, выбирает следующее ограниченное действие: нажатие, ввод текста или свайп, а затем проверяет результат. Melaya Device Control работает на подключенном настоящем телефоне Android, ограничивает агента разрешенными приложениями и приостанавливается перед публикацией или другой защищенной записью, ожидая подтверждения человеком.
Computer use, но для телефона
Многие важные рабочие процессы заканчиваются внутри приложения, у которого нет практичного API. Мобильные агенты используют видимый интерфейс, поэтому работают с теми же элементами управления, что видит человек. Это открывает доступ к приложениям, доступным только на мобильных устройствах и слабо интегрированным с внешними системами, но также означает, что рабочий процесс должен справляться с изменениями экрана, прерываниями, разрешениями и неоднозначным состоянием интерфейса.
Melaya разделяет рассуждение и выполнение действий на устройстве. Выбранная модель предлагает шаги, а Device Control выполняет ограниченные жесты на подключенном телефоне Android и записывает, что произошло.
Безопасный цикл мобильного агента
Надежный цикл строится так: наблюдение, решение, действие, проверка и остановка. Агент читает текущий экран, выбирает одно разрешенное действие, выполняет его и подтверждает ожидаемое состояние, прежде чем продолжить. Он не должен считать нажатие успешным по умолчанию или что следующий экран совпадет с заранее заученной последовательностью.
- Белый список разрешенных приложений
- Без рут-доступа и джейлбрейка
- Подтверждение человеком перед защищенной записью
- Воспроизводимая история действий и решений
- Четко заданные тайм-аут, повторные попытки и возврат в Melaya
Где применимы мобильные агенты
Хорошие сценарии: повторяющаяся навигация, подготовка черновиков, ввод данных между приложениями, исследовательское тестирование Android и рабочие процессы, заблокированные отсутствием API. Плохие сценарии: финансовые операции без надзора человека, управление устройством в задачах, критичных для безопасности, обход капчи или любой рабочий процесс, который нарушает правила приложения или согласие человека.
Сейчас Melaya ориентирована на Android. Ее не стоит рассматривать как продукт для управления iPhone или замену крупному сервису тестирования на ферме устройств.
Часто задаваемые вопросы
Что такое мобильный ИИ-агент?
Это ИИ-агент, который может наблюдать за мобильным интерфейсом и взаимодействовать с ним: обычно он читает состояние экрана и выполняет такие жесты, как нажатия, ввод текста и свайпы.
Нужен ли Melaya API для каждого приложения?
Нет. Device Control может работать с видимым интерфейсом Android, что полезно, когда подходящий API или коннектор недоступен.
Управляет ли Melaya iPhone?
Управление iPhone не заявлено. Текущий продукт Device Control предназначен только для Android.
Может ли агент публиковать без подтверждения?
Защищенные действия публикации перехватываются и откладываются для подтверждения человеком. Пользователь может проверить или отредактировать черновик перед отправкой.
