GPT-6「看不懂 3D」实锤!250道题只拿0.53分,Claude没及格 中国語原文

前一阵,GPT-6 Astra 画 CAD 的视频在 X 上实火。

一时间,GPT-6 Astra 的 BenchCAD 跑分达到了惊人的 95.9%,评论区不少人已经在讨论 CAD 工程师的再就业问题了。

不过,也有工程师出来泼了盆冷水:这些零件,一个都别往生产线送。因为,画得像,不代表画得对。

这个 benchmark 叫 ScienceVision。它的评测范围不止于工程制图,还覆盖生物、化学、医学影像、建筑和机械 CAD 共 5 个科学领域、22 个子领域,包含 250 道基于真实三维数据构建的题目,要求模型通过自主操作三维对象,完成观察、测量与分析。

考得最好的 GPT-6-Astra(搭配 Codex)只拿到了 0.53 分。满分 1 分。

BenchCAD 上 95.9 分的选手,到了三维科学理解与推理的考场上,只过了一半。

来看结果,最高分 0.53(GPT-6-Astra 搭配 Codex),刚过满分的一半。而且这还不是答对率,它是包含部分得分的平均指标,真正完全答对的比例还要更低。

没有哪个模型五科全优。GPT-6 Astra 在建筑、机械 CAD 和化学三科领先(0.458、0.580、0.609),生物被 Claude Fable 5.1 以 0.650 超过,医学影像则是 Claude Opus 5.5 以 0.399 领先。

榜单前五的模型里,加上交互检视工具后涨得最多的 GPT-6.1 Sol 也只涨了 0.02,GPT-6 Astra 两种设置差不到 0.01,Claude Opus 5.5 还掉了 0.02。

知道差在哪,才知道怎么追。

下次再有人宣布「AI 科学家来了」,可以先让它做完这 250 道题再说。感兴趣的可以点下面的链接了解细节:

GitHub 开源链接:

https://github.com/UniPat-AI/ScienceVision/

Benchmark 链接:

https://huggingface.co/datasets/UnipatAI/ScienceVision

论文链接:

https://github.com/UniPat-AI/ScienceVision/blob/main/paper/sciencevision.pdf

编辑:所罗门 桃子

举报/反馈
シェア: Weibo Qzone
本記事の内容について協業をご検討ですか?
1 営業日以内にご連絡いたします
お問い合わせ