Instant Agent

你可能想在本地的机器上部署一个属于自己的开源大模型，但是即使是最强的消费级产品 RTX 5090，也必须在特定量化下运行较小的模型。而 Google Colab 提供了强大的算力，像是 Pro 6000 和 A100。这个脚本旨在一键启动，以一种非常便捷的方式快速部署开源大模型。不仅可以在云端做临时的工作，也能直接暴露 API。

脚本会在 Colab 的机器里自动配好模型下载、vLLM 后端、opencode / oh my pi / codex 的安装，以及 herdr 的自动启用。默认部署的是 Qwen 3.8 27B uncensored，BF16。在 A100 High-RAM 的配置下，实测单路 26 tok/s，12 路并发合计 232 tok/s。

为什么用 herdr

Colab 新出的 CLI 支持 SSH，但一次只限一个连接，herdr 开多个窗口正好补上。CLI 还带自动保活，完成任务后再开一个 shell 窗口把结果文件传回来。

适合什么

如果你的电脑带不动这样的模型但却想尝试，如果你想做的任务频频触发拒绝回答，或者你有临时的任务不想在本地做，亦或仅仅是觉得本地部署模型风扇声很吵，那么这个脚本开箱即用，非常合适。