| 
DeepSeek又发新模子了,此次是一个OCR 模子。10月20日开yun体育网,DeepSeek在Github开源了这一新模子,并发布《DeepSeek-OCR:Contexts Optical Compression》(《DeepSeek OCR:坎坷文光学压缩》)论文,讲明了这一恶果。

论文提到,现时的大谈话模子在处理历程中濒临着要紧的策画挑战,文本内容过长,因此团队探索了一种具有后劲的处置决策:附近视觉模态动作文本信息的高效压缩介质。
具体来说,这一OCR模子不错将文本压缩成视觉模态,所谓“一图胜千言”,这么不错浪掷更少的Token,测试清楚,通过文本到图像的枢纽不错收场近 10 倍无损坎坷文压缩,OCR 准确率还能保握在 97% 以上。
论文提到,在践诺应用中,单张A100-40G显卡,可援助逐日20万页以上的大谈话模子/视觉谈话模子闇练数据生成。
纯粹来看,团队的念念路是,既然一张图就能包含大批翰墨信息,同期用的 Token 更少,那就不错将文本转成图像,这便是题目中提到的“光学压缩”,用视觉模态压缩文本信息。这一限制显袒露该枢纽在长坎坷文压缩和大模子的顾忌渐忘机制等盘考方进取具有极端后劲。
DeepSeek-OCR由两个中枢组件构成,其中DeepEncoder(编码器)慎重图像特征索乞降压缩,DeepSeek3B-MoE(解码器)慎重从压缩后的视觉 Token 中重建文本。
解码用具的是 DeepSeek-3B-MoE 架构。天然只消 3B 参数,但弃取了 MoE(羼杂内行)遐想,64 个内行中激活 6 个,再加 2 个分享内行,践诺激活参数约 5.7 亿。这也让模子既有 30 亿参数模子的抒发材干,又保握了5亿参数模子的推理效力。
实验数据清楚,当文本 token 数目在视觉 token 的 10 倍以内(即压缩率小于10倍)时,模子的解码(OCR)精度可达 97%;即使在压缩率达到 20倍的情况下,OCR 准确率仍保握在约60%。
DeepSeek 团队在论文里还建议了具有瞎想力的将来——用光学压缩模拟东谈主类的渐忘机制。东谈主类的顾忌会随时代零落,越久远的事情难忘越无极,那是否AI也能这么?于是,团队遐想将更久远的坎坷文,安逸削弱渲染图像的大小,以进一步减少token浪掷。跟着图像越来越小,内容也越来越无极,最终达到“文本渐忘”的效果,就像东谈主类顾忌的零落弧线不异。
论文中提到,这照旧个需要进一步访谒的早期盘科场合,但这关于均衡表面上无穷的坎坷文信息是一个很好的枢纽,若是真能收场,关于处理超长坎坷文将是个广泛冲破。因此,此次发布的DeepSeek-OCR 名义上是个 OCR 模子,但从另一个角度来看,其盘考代表了一个有前程的新场合。
有网友合计,这是一步好棋,东谈主类便是阅读视觉翰墨,同期解析物理天下的时空想法,若是能和谐谈话和视觉,可能通向超等智能。
这一OCR模子发布不久就在GitHub赢得跳动1400颗星星。从论文签字来看,这不异式由 DeepSeek 三位盘考员 Haoran Wei、Yaofeng Sun、Yukun Li 共同完成。行业音问清楚,其中一作 Haoran Wei 曾在阶跃星辰职责过,曾主导斥地了旨在收场“第二代 OCR”的 GOT-OCR2.0 系统,因此由其主导 DeepSeek 的 OCR 样式也在原理之中。
不外,DeepSeek迟迟不发R2这么的新模子,市集照旧有一些声息合计其逾期了,也有不雅点合计,DeepSeek现在仅仅在修都“内功”,为下一代模子蓄力。
举报 第一财经告白伙同,请点击这里此内容为第一财经原创,著述权归第一财经通盘。未经第一财经籍面授权,不得以任何形式加以使用,包括转载、摘编、复制或建造镜像。第一财经保留根究侵权者法律背负的权益。如需赢得授权请干系第一财经版权部:banquan@yicai.com 文章作家  刘晓洁 干系阅读 中国模子厂商开辟“开源战场”,顶层遐想再添一把火开源不仅仅单纯的时候技巧,而会成为推进东谈主工智能生态和产业落地的要害机制。 7 80 08-29 14:46 大模子落地企业端:开源闭源之争未根除 | 海斌访谈关于大模子初创企业,一些买卖模式是不健康的 5 116 08-08 16:48 AI进化速递丨小米开源声息解析大模子 MiDashengLM-7B腾讯混元开源四款小尺寸模子,最小仅0.5B;苹果组建新团队斥地类ChatGPT式的“问答引擎”。 105 08-04 21:09 聚焦东谈主工智能等界限,工信部对“开源”作出新部署工信部暗示,开源有劲推进了时候的冲破和应用,成为汲引新质分娩力、运转高质料发展的迫切力量。 83 07-25 10:42 周鸿祎评DeepSeek流量下滑:梁文锋没花心念念作念,他一门心念念搞AGI周鸿祎暗示开yun体育网,梁文锋一门心念念搞AGI,是一个有期望的东谈主,而况把时候沿途开源免费。 173 07-23 11:52 一财最热 点击关闭
|