iOS 应用(节点)

iOS 应用(节点)

适用范围

在以下情况使用此页面:

  • 配对或重新连接 iOS 节点
  • 从源代码运行 iOS 应用
  • 调试网关发现或 canvas 命令

可用性:内部预览。iOS 应用尚未公开发布。

功能

  • 通过 WebSocket(LAN 或 tailnet)连接到网关。
  • 暴露节点能力:Canvas、屏幕快照、相机捕获、位置、对话模式、语音唤醒。
  • 接收 node.invoke 命令并报告节点状态事件。

要求

  • 在另一台设备上运行的网关(macOS、Linux 或 Windows via WSL2)。
  • 网络路径:
    • 同一 LAN 配置 Bonjour,
    • 通过单播 DNS-SD(moltbot.internal.)的 Tailnet,
    • 手动主机/端口(后备)。

快速开始(配对 + 连接)

  1. 启动网关:
moltbot gateway --port 18789
  1. 在 iOS 应用中,打开设置并选择一个发现的网关(或启用手动主机并输入主机/端口)。

  2. 在网关主机上批准配对请求:

moltbot nodes pending
moltbot nodes approve <requestId>
  1. 验证连接:
moltbot nodes status
moltbot gateway call node.list --params "{}"

发现路径

Bonjour(LAN)

网关在 local. 上宣传 _moltbot._tcp。iOS 应用会自动列出这些。

Tailnet(跨网络)

如果 mDNS 被阻止,使用单播 DNS-SD 区域(推荐域:moltbot.internal.)和 Tailscale 分离 DNS。 有关 CoreDNS 示例,请参见 Bonjour

手动主机/端口

在设置中,启用手动主机并输入网关主机 + 端口(默认 18789)。

Canvas + A2UI

iOS 节点渲染 WKWebView canvas。使用 node.invoke 来驱动它:

moltbot nodes invoke --node "iOS Node" --command canvas.navigate --params '{"url":"http://<gateway-host>:18793/__moltbot__/canvas/"}'

注意:

  • 网关 canvas 主机提供 /__moltbot__/canvas//__moltbot__/a2ui/
  • 当广告 canvas 主机 URL 时,iOS 节点在连接时自动导航到 A2UI。
  • 使用 canvas.navigate{"url":""} 返回内置脚手架。

Canvas eval / snapshot

moltbot nodes invoke --node "iOS Node" --command canvas.eval --params '{"javaScript":"(() => { const {ctx} = window.__moltbot; ctx.clearRect(0,0,innerWidth,innerHeight); ctx.lineWidth=6; ctx.strokeStyle=\"#ff2d55\"; ctx.beginPath(); ctx.moveTo(40,40); ctx.lineTo(innerWidth-40, innerHeight-40); ctx.stroke(); return \"ok\"; })()"}'
moltbot nodes invoke --node "iOS Node" --command canvas.snapshot --params '{"maxWidth":900,"format":"jpeg"}'

语音唤醒 + 对话模式

  • 语音唤醒和对话模式在设置中可用。
  • iOS 可能会暂停后台音频;当应用未激活时,将语音功能视为尽力而为。

常见错误

  • NODE_BACKGROUND_UNAVAILABLE:将 iOS 应用带到前台(canvas/相机/屏幕命令需要它)。
  • A2UI_HOST_NOT_CONFIGURED:网关没有广告 canvas 主机 URL;检查网关配置中的 canvasHost
  • 配对提示从未出现:运行 moltbot nodes pending 并手动批准。
  • 重新安装后重新连接失败:钥匙串配对令牌被清除;重新配对节点。

相关文档