MCPcopy Create free account
hub / github.com/bytedance/UI-TARS-desktop

github.com/bytedance/UI-TARS-desktop

Chat with this repo
repository ↗ · DeepWiki ↗ · release v0.3.1 ↗ · + Follow · compare 3 versions
5,541 symbols 15,645 edges 1,480 files 1,123 documented · 20% ● updated 56d agov0.3.0 · 2025-11-04★ 39,210355 open issues

Browse by type

⨍ Functions 4,135◇ Types & classes 1,406
What it actually does AI analysis from the code graph — generated when you open this
loading…
README

Agent TARS Banner

Introduction

English | 简体中文

TARS* 是一个多模态 AI Agent Stack,目前包含两个项目:Agent TARS 和 UI-TARS-desktop:

Agent TARS UI-TARS-desktop
Agent TARS 是一个通用的多模态 AI Agent Stack,它将 GUI Agent 和 Vision 的强大功能带入你的终端、计算机、浏览器和产品中。 它主要提供 CLI 和 Web UI 供使用。 旨在通过前沿的多模态 LLMs 和与各种现实世界 MCP 工具的无缝集成,提供更接近人类任务完成方式的工作流程。 UI-TARS Desktop 是一个桌面应用程序,基于 UI-TARS 模型提供原生的 GUI Agent。 它主要提供 本地计算机以及浏览器操作器。

Table of Contents

News

  • [2025-11-05] 🎉 我们很高兴地宣布 Agent TARS CLI v0.3.0 正式发布!此版本新增了多种工具的流式调用支持(shell 命令、多文件结构化展示)、Runtime Setting 和耗时统计、Event Stream 可视化用于数据流追踪和调试,以及 AIO Sandbox 集成、支持隔离的执行环境。
  • [2025-06-25] 我们发布了 Agent TARS Beta 和 Agent TARS CLI - Introducing Agent TARS Beta,这是一个多模态 AI agent,旨在通过丰富的多模态能力(如 GUI Agent、Vision)和与各种现实世界工具的无缝集成,探索更接近人类任务完成方式的工作形式。
  • [2025-06-12] - 🎁 我们很高兴宣布发布 UI-TARS Desktop v0.2.0!此次更新引入了两个强大的新功能:Remote Computer Operator 和 Remote Browser Operator—— 完全免费。无需配置:只需点击即可远程控制任何计算机或浏览器,体验全新的便利和智能水平。
  • [2025-04-17] - 🎉 我们很高兴宣布发布全新的 UI-TARS Desktop 应用程序 v0.1.0,具有重新设计的 Agent UI。该应用程序增强了计算机使用体验,引入了新的浏览器操作功能,并支持先进的 UI-TARS-1.5 模型以提供更好的性能和精确控制。
  • [2025-02-20] - 📦 推出了 UI TARS SDK,这是一个强大的跨平台工具包,用于构建 GUI 自动化 agent。
  • [2025-01-23] - 🚀 我们更新了Cloud Deployment部分的中文版:GUI模型部署教程,其中包含与 ModelScope 平台相关的新信息。你现在可以使用 ModelScope 平台进行部署。

Agent TARS

<a href="https://npmjs.com/package/@agent-tars/cli?activeTab=readme"><img src="https://img.shields.io/npm/v/@agent-tars/cli?style=for-the-badge&colorA=1a1a2e&colorB=3B82F6&logo=npm&logoColor=white" alt="npm version" /></a>
<a href="https://npmcharts.com/compare/@agent-tars/cli?minimal=true"><img src="https://img.shields.io/npm/dm/@agent-tars/cli.svg?style=for-the-badge&colorA=1a1a2e&colorB=0EA5E9&logo=npm&logoColor=white" alt="downloads" /></a>
<a href="https://nodejs.org/en/about/previous-releases"><img src="https://img.shields.io/node/v/@agent-tars/cli.svg?style=for-the-badge&colorA=1a1a2e&colorB=06B6D4&logo=node.js&logoColor=white" alt="node version"></a>
<a href="https://discord.gg/HnKcSBgTVx"><img src="https://img.shields.io/badge/Discord-Join%20Community-5865F2?style=for-the-badge&logo=discord&logoColor=white" alt="Discord Community" /></a>
<a href="https://twitter.com/agent_tars"><img src="https://img.shields.io/badge/Twitter-Follow%20%40agent__tars-1DA1F2?style=for-the-badge&logo=twitter&logoColor=white" alt="Official Twitter" /></a>
<a href="https://applink.larkoffice.com/client/chat/chatter/add_by_link?link_token=deen76f4-ea3c-4964-93a3-78f126f39651"><img src="https://img.shields.io/badge/飞书群-加入交流群-00D4AA?style=for-the-badge&logo=lark&logoColor=white" alt="飞书交流群" /></a>
<a href="https://deepwiki.com/bytedance/UI-TARS-desktop"><img src="https://img.shields.io/badge/DeepWiki-Ask%20AI-8B5CF6?style=for-the-badge&logo=gitbook&logoColor=white" alt="Ask DeepWiki" /></a>

Agent TARS 是一个通用的多模态 AI Agent Stack,它将 GUI Agent 和 Vision 的强大功能带入你的终端、计算机、浏览器和产品中。

它主要提供 CLI 和 Web UI 供使用。 旨在通过前沿的多模态 LLMs 和与各种现实世界 MCP 工具的无缝集成,提供更接近人类任务完成方式的工作流程。

Showcase

请帮我在 Priceline 上预订 9 月 1 日从圣何塞到纽约最早的航班,以及 9 月 6 日最晚的返程航班

https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8

预订酒店 使用额外的 MCP Servers 生成图表
指令: 我 9 月 1 日到 9 月 6 日在洛杉矶,预算 5000 美元。请帮我在 booking.com 上预订离机场最近的丽思卡尔顿酒店,并为我编制一份交通指南 指令: 为我绘制杭州一个月的天气图表

更多用例,请查看 #842。

Core Features

  • 🖱️ 一键开箱即用的 CLI - 支持 有界面 Web UI 和 无界面 server 执行。
  • 🌐 混合 Browser Agent - 使用 GUI Agent、DOM 或混合策略控制浏览器。
  • 🔄 Event Stream - 协议驱动的 Event Stream 驱动 Context Engineering 和 Agent UI。
  • 🧰 MCP Integration - 内核构建在 MCP 之上,同时支持挂载 MCP Servers 来连接现实世界的工具。

Quick Start

Agent TARS CLI

# 使用 `npx` 启动。
npx @agent-tars/cli@latest

# 全局安装,需要 Node.js >= 22
npm install @agent-tars/cli@latest -g

# 使用你喜欢的模型提供商运行
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

访问完整的 Quick Start 指南获取详细的设置说明。

Documentation

🌟 探索 Agent TARS Universe 🌟

分类 资源链接 描述
🏠 核心枢纽 Website 进入 Agent TARS 生态系统的入口
📚 Quick Start Quick Start 5 分钟从零快速上手
🚀 最新动态 Blog 发现前沿功能和愿景
🛠️ 开发者专区 Docs 掌握每个命令和功能
🎯 Showcase Examples 查看官方和社区构建的用例
🔧 参考文档 API 完整的技术参考

UI-TARS Desktop

UI-TARS

UI-TARS Desktop 是一个由 UI-TARS 和 Seed-1.5-VL/1.6 系列模型驱动的原生 GUI agent,可在你的本地计算机上使用。

    &nbsp&nbsp 📑 <a href="https://arxiv.org/abs/2501.12326">Paper</a> &nbsp&nbsp
    | 🤗 <a href="https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B">Hugging Face Models</a>&nbsp&nbsp
    | &nbsp&nbsp🫨 <a href="https://discord.gg/pTXwYVjfcs">Discord</a>&nbsp&nbsp
    | &nbsp&nbsp🤖 <a href="https://www.modelscope.cn/collections/UI-TARS-bccb56fa1ef640">ModelScope</a>&nbsp&nbsp

🖥️ Desktop Application &nbsp&nbsp | &nbsp&nbsp 👓 Midscene (use in browser) &nbsp&nbsp

Showcase

指令 本地操作器 远程操作器
请帮我在 VS Code 设置中打开 VS Code 的自动保存功能,并将自动保存操作延迟设置为 500 毫秒。
你能帮我查看一下 GitHub 上 UI-TARS-Desktop 项目的最新 open issue 吗?

Features

  • 🤖 由 Vision-Language Model 驱动的自然语言控制
  • 🖥️ 截图和视觉识别支持
  • 🎯 精确的鼠标和键盘控制
  • 💻 跨平台支持 (Windows/MacOS/Browser)
  • 🔄 实时反馈和状态显示
  • 🔐 私密且安全 - 完全本地处理

Quick Start

参见 Quick Start

Contributing

参见 CONTRIBUTING.md。

License

本项目基于 Apache License 2.0 许可证。

Citation

如果你觉得我们的论文和代码对你的研究有用,请考虑给个 star :star: 和引用 :pencil:

@article{qin2025ui,
  title={UI-TARS: Pioneering Automated GUI Interaction with Native Agents},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv preprint arXiv:2501.12326},
  year={2025}
}

Extension points exported contracts — how you extend this code

browse all types & interfaces →

Core symbols most depended-on inside this repo

browse all functions →

Shape

Function 2,177
Method 1,958
Interface 784
Class 593
Enum 29

Languages

TypeScript100%

Modules by API surface

apps/ui-tars/src/main/remote/proxyClient.ts48 symbols
packages/agent-infra/browser-use/src/browser/page.ts44 symbols
multimodal/tarko/agent-interface/src/agent-event-stream.ts40 symbols
packages/ui-tars/operators/browser-operator/src/browser-operator.ts35 symbols
multimodal/gui-agent/action-parser/src/FomatParsers.ts34 symbols
multimodal/tarko/agent-server-next/src/types.ts33 symbols
multimodal/gui-agent/operator-browser/src/browser-operator.ts33 symbols
multimodal/tarko/agent-server-next/src/server.ts29 symbols
multimodal/tarko/agent-ui/src/common/services/apiService.ts28 symbols
multimodal/tarko/agent-interface/src/agent.ts28 symbols
multimodal/tarko/agent-snapshot/src/agent-replay-snapshot-hook.ts27 symbols
packages/ui-tars/visualizer/src/component/player.tsx25 symbols

Dependencies from manifests, versioned

@agent-infra/bing-searchworkspace:* · 1×
@agent-infra/browserworkspace:* · 1×
@agent-infra/browser-context0.1.2 · 1×
@agent-infra/browser-searchworkspace:* · 1×
@agent-infra/browser-useworkspace:* · 1×
@agent-infra/duckduckgo-searchworkspace:* · 1×
@agent-infra/loggerworkspace:* · 1×
@agent-infra/mcp-client1.1.6-beta.3 · 1×
@agent-infra/mcp-server-browserworkspace:* · 1×
@agent-infra/mcp-server-commandsworkspace:* · 1×
@agent-infra/mcp-server-filesystemworkspace:* · 1×
@agent-infra/mcp-sharedworkspace:* · 1×

Datastores touched

(mongodb)Database · 1 repos
dbDatabase · 1 repos

For agents

$ claude mcp add UI-TARS-desktop \
  -- python -m otcore.mcp_server <graph>

⬇ download graph artifact

Ask about this repo answers extend the page