Agent之AutoGLM：AutoGLM(面向GUI的自主基礎代理)的簡介、安裝和使用方法、案例應用之詳細攻略

AutoGLM的簡介

2024年10與25日，智譜AI發(fā)布AutoGLM！AutoGLM是ChatGLM家族的最新系列模型，旨在通過圖形用戶界面（GUI），例如手機和網頁，實現自主任務完成代理。它是一個能夠自主控制數字設備的基礎代理系統(tǒng)，專注于網頁瀏覽器和Android系統(tǒng)作為代表性的GUI場景。AutoGLM整合了一套全面的技術和基礎設施，創(chuàng)建了適合用戶交付的可部署代理系統(tǒng)。

AutoGLM的開發(fā)帶來了兩個關鍵見解：

一是GUI控制的適當“中間接口”設計至關重要，它能夠分離規(guī)劃和落地行為；

二是AutoGLM采用了一種新穎的漸進式訓練框架，支持自我進化的在線課程強化學習。

AutoGLM是清言app的“自動駕駛”模式哦！ 它能幫你用自然語言完成手機上的各種任務，就像有個小助手在幫你操作一樣。無論是網購、訂餐，還是處理工作事務，AutoGLM都能輕松搞定！

文章地址：AutoGLM

視頻演示地址01：https://xiao9905./AutoGLM/static/videos/android_overall_video.mp4

視頻演示地址02：https://xiao9905./AutoGLM/static/videos/web_overall_video.mp4

1、特點

>> 自主性：AutoGLM能夠自主完成任務，無需人工干預。

>> GUI交互：能夠通過圖形用戶界面（GUI）與手機和網頁進行交互。

>> 中間接口：設計了合適的中間接口，分離了規(guī)劃和落地行為，提高了靈活性和準確性。

>> 漸進式訓練：采用新穎的漸進式訓練框架，支持自我進化的在線課程強化學習。

>> 高性能：在網頁瀏覽和Android設備控制方面都取得了較高的成功率。

>> 多平臺支持：目前支持網頁和Android平臺，未來可能支持更多平臺。

AutoGLM的安裝和使用方法:

AutoGLM的網頁使用能力將逐步通過Qingyan Plugin提供給公眾，而其在Android上的手機使用能力目前正在進行邀請內部測試（申請表鏈接已提供）。

T1、Web端官網測試

官網測試：智譜清言

T2、基于瀏覽器AI助手插件

瀏覽器AI助手插件：https://chromewebstore.google.com/detail/%E6%99%BA%E8%B0%B1%E6%B8%85%E8%A8%80-%E4%BD%A0%E7%9A%84%E6%B5%8F%E8%A7%88%E5%99%A8ai%E5%8A%A9%E6%89%8B/mnpdbmgpebfihcndnpgdaihnkmloclkd

T3、手機端下載

持續(xù)更新中……

AutoGLM的案例應用

AutoGLM在網頁瀏覽和Android設備控制方面進行了評估：

1、網頁瀏覽

在VAB-WebArena-Lite上實現了55.2%的成功率（第二次嘗試提高到59.1%），在OpenTable評估任務中實現了96.2%的成功率。

2、Android設備控制

在AndroidLab (VAB-Mobile)上實現了36.2%的成功率，在流行的中國應用程序的常見任務中實現了89.7%的成功率。