上海交通大学和哈佛大学的研究人员推出新微调框架LoRA-Dash,旨在解决特定任务微调模型需要大量计算资源的问题。该框架对高效微调过程中的TSD进行了严格定义,并详细分析了其性质。LoRA-Dash可以在参数量减少8~16倍的情况下,达到相同效果。
AI上海交通大学 | Duplicated with: 1 | Rating: 63 | 2024-09-17 10:00:40 AM |
OpenAI o1项目的核心论文《Let's Verify Step by Step》火爆传阅,作者Ilya Sutskever等人探讨了提高大语言模型多步推理能力的方法。论文主要比较了结果监督和过程监督两种方法在训练奖励模型上的效果。OpenAI o1项目是多年研究的成果,从去年10月开始真正加速发展。
AIOpenAI | Rating: 62 | 2024-09-17 06:20:29 AM |
姚班马腾宇等数学证明,CoT让Transformer更接近图灵完备,论文入选ICLR 2024。Transformer可以模拟任意多项式大小的数字电路,解决任何问题。论文作者马腾宇和Denny Zhou证明,CoT可以显著提升Transformer的表达能力。
AI腾讯 | Rating: 62 | 2024-09-17 06:20:29 AM |
谷歌DeepMind的一篇论文揭示了原理和o1的工作方式几乎一致,表明增加测试时计算比扩展模型参数更有效。该论文的研究团队设计了一组实验,使用PaLM2-S*在MATH数据集上测试,结果显示使用自我修订方法时,随着测试时计算量增加,模型性能可以提升。OpenAI将o1-mini的速度提高7倍,每天都能使用50条;o1-preview则提到每周50条。
AI谷歌 | Rating: 50 | 2024-09-17 05:40:25 AM |
北大校友Robert Yang发起的Sid项目,创造了1000个智能体「我的世界」,以GPT-4加持下,每个智能体都是社会中独立自主的个体。项目获得了a16z的200万美元种子轮投资。智能体可以长期自主、组织性、亲人类动机和有意识的沟通,远远超过了英伟达Voyager、AutoGPT和ReAct等项目。
AI北大 | Rating: 72 | 2024-09-16 05:01:07 AM |
MagicLab公司推出全球首个实现自主咖啡拉花的人形机器人,左手拧螺丝,右手咖啡拉花,预计年底将在产线开展试运行。该机器人还能为工厂员工分发夜宵、在室内外场景担任领路员,甚至能帮咱遛狗。公司专注于通用机器人技术和AI技术,计划中包括仿生四足机器人、工业四足机器人、通用人形机器人等产品。
AIMagicLab | Rating: 57 | 2024-09-15 04:30:44 AM |
陶哲轩早在8月份就使用了OpenAI o1的满血版本,测试了其数学问题识别能力,发现它能成功识别克莱姆定理。陶哲轩形容使用体验为给一个平庸无奇但又有点小能力的研究生提供建议。OpenAI o1的能力比以前的模型有所改进,但仍然会犯不小的错误。
AIOpenAI | Rating: 57 | 2024-09-15 04:30:44 AM |
2024-09-14 08:40:32 AM |
中科院自动化所和阿里云推出了街景定位大模型AddressCLIP,基于CLIP构建,可以通过一张照片实现街道级精度的定位。该模型已入选ECCV2024论文AddressCLIP- Empowering Vision-Language Models for City-wide Image Address Localization。研究人员使用图像-GPS数据对构建数据集,通过筛选、投票等数据清洗机制过滤得到每个图像的街道级地址文本。
AI阿里 | Rating: 88 | 2024-09-14 08:01:58 AM |
Duplicated with: 1 | 2024-09-14 08:00:52 AM |