Meta发布三款机型:新款 3.1-405B 以及较小型号的升级版:3.1-70B 和 3.1-8B。如果 405B 真如基准测试所示,那么这将是开源机型首次与最好的封闭机型相媲美——这是一个深刻的转变。
网友评价Llama 3.1-405B:
-
是与 GPT-4o / Claude-3.5 竞争的开源模型
-
Llama-405b 在 CPU 上运行。获得 1.67 个 token/s 的输出,无需 GPU,每秒输入 10 个标记/单词。速度慢但可用,用它总结了长达 2 小时的医疗技术讨论。
-
在与 4o 进行的每个测试类别中,它的失败都比胜利的多。
-
感觉与 GPT-4 不相上下。但 llama3 70b 也相当不错(即使是小的也还好)
-
对于我日常的任务来说,Llama 远远落后于 gpt4。如果你不了解主题,它就会编造看似正确的东西。
-
从主观上来说,这个东西似乎比 GPT-4o 更聪明。
-
从技术角度来看,有趣的是,这是一个密集模型。有趣的是,密集模型和稀疏模型在相似的总体能力水平上存在一致的定性差异 - 例如,这种密集模型似乎更适合创意写作。
-
在我看来明显比 70B 好。到目前为止看起来非常令人印象深刻。
在他们自己的论文中,根据人工评估,它在编码方面输给了 GPT-4o 和 3.5 Sonnet,而在多轮编码方面则输得更惨:
开源人工智能是前进的道路?
今天,几家科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。去年,Llama 2 仅与落后的上一代模型相当。今年,Llama 3 与最先进的模型相媲美,并在某些领域处于领先地位。从明年开始,我们预计未来的 Llama 模型将成为业内最先进的。但即使在此之前,Llama 已经在开放性、可修改性和成本效益方面处于领先地位。
今天,我们正朝着开源 AI 成为行业标准的目标迈进。我们发布了第一个前沿级开源 AI 模型 Llama 3.1 405B,以及全新改进的 Llama 3.1 70B 和 8B 模型。除了相对于封闭模型具有显著更好的成本/性能之外,405B 模型是开放的这一事实将使其成为微调和提炼较小模型的最佳选择。
除了发布这些模型之外,我们还与一系列公司合作,以发展更广泛的生态系统。亚马逊、Databricks 和 NVIDIA 正在推出全套服务,以支持开发人员微调和提炼自己的模型。Groq 等创新者为所有新模型构建了低延迟、低成本的推理服务。这些模型将在所有主要云平台上提供,包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴尔、德勤等公司已准备好帮助企业采用 Llama 并使用自己的数据训练自定义模型。随着社区的发展和更多公司开发新服务,我们可以共同使 Llama 成为行业标准,并将 AI 的好处带给每个人。
Meta 致力于开源 AI。我将概述为什么我相信开源是最适合您的开发堆栈、为什么开源 Llama 对 Meta 有利、为什么开源 AI 对世界有利,因此是一个将长期存在的平台。
为什么开源 AI 对开发人员有利
当我与世界各地的开发商、首席执行官和政府官员交谈时,我通常会听到几个主题:
-
我们需要训练、微调和提炼我们自己的模型。
-
我们需要掌控自己的命运,而不是被一家封闭的供应商所束缚。
-
我们需要保护我们的数据。
-
我们需要一个高效且运行成本低廉的模型。
-
我们希望投资于将成为长期标准的生态系统。
马克扎克伯格说:
-
他对人工智能未来的愿景不是超级智能的上帝,而是数十亿个AI版本
网友:
1、开源AI与unix和linux真是不能类比:操作系统是偏重硬件的,面向个人和中小企业,与数据、算法关系不大,而AI则是与数据量、算力有关的,只开放源代码基本无用,只能起到人设高尚的宣传作用。
2、大模型本质:
-
1%是Transformer算法
-
4%是工程技术
-
5%靠大规模集群、算力的涌现
开源AI作用不会超过5%。
3、OpenAI这样闭源公司,目标是打造AGI通用人工智能,依靠大规模算力和精细调教,这些都是依靠资本和专利,可以想象,未来人工智能是依靠规模取胜,而这种规模是收集榨取了全世界的算力资源,对环境和未来有透支,这样的超级榨取能全球开花吗?正如比特币炼矿一样。
4、我发现有关“开源 AI”的语言令人困惑。“开源”通常意味着要开放“源代码”,对吗?
也就是说,有人类可读的代码,用户可以阅读和修改?
如果是这样,那么当前的 ML 模型如何开源?
它们是非常大的矩阵,在大多数情况下,用户无法理解。
它们看起来类似于二进制文件,是的,用户可以修改,但对用户来说非常模糊,需要付出巨大的努力才能理解和有效修改。
5、扎克伯格的这封题为《开源人工智能是前进的道路》的公开信非常引人入胜,我认为它会产生很大的影响。然而,看起来我们在让他们停止滥用“开源”一词的斗争中已经失败了!
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://www.iotsj.com//kuaixun/3573.html