高功能 、可商用 ,国产大模子又有开源新动向。 8 月 7 日 ,百亿参数高功能通用大模子「XVERSE-13B」宣告开源 。
而 XVERSE-13B 的打造者 ,正是前腾讯公司副总裁姚星教师于2021年初建树的AI 与元宇宙技术效率公司元象 XVERSE 。 姚星在去职守业以前,姚星主导建树了腾讯首总体工智能试验室 AI Lab(2016 年)以及首个机械人试验室 Robotics X (2018 年),曾经增长腾讯在机械学习、合计机视觉、语音到做作语言处置等前沿 AI 技术的钻研与运用 ,主导推出多个有行业影响力的运用与产物,搜罗国家围棋队 AI 陪练「绝艺」 、王者光华 AI「绝悟」、中国首款临床用智能显微镜 、AI 驱动的新药发现平台「云深智药」及腾讯智慧种植妄想 iGrow 等。 打造最强功能的开源大模子 XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子,可收费商用。它具备了高功能 、全开源 、可商用等诸多优势 ,能大大飞腾高校以及企业部署运用大模子的老本 ,不光实现为了国产可替换,也是中文运用更好的抉择。 在多项威信的尺度中文以及英文测评中 ,功能逾越了 Llama-2-13B 、Baichuan-13B 等国内外开源大模子(见下图一) 。 图一 :经由多项威信测评,XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子。作为一个通用大模子,XVERSE-13B 可提供文本天生 、自动化写作 、数据合成 、知识问答、多语言翻译、特色化交互、人物脚色饰演 、业余小助手等多方面的天生效率 ,在医疗、文旅、金融以及娱乐等多个行业具备广漠运用远景。 据清晰 ,元象近期还将宣告大模子 Chat 版 ,开箱即用 ,不断优化开拓者体验 。 磨炼语料对于大模子下场至关紧张。XVERSE-13B 构建了一个高达 1.4 万亿高品质 、多样化 tokens 的磨炼数据集,同时优化采样策略以及数据机关方式,让模子反对于中 、英、俄、西等 40 多种语言 ,而且多语言使命处置的功能与下场俱佳。 XVERSE-13B 反对于 8192 的高下文窗口 ,是同尺寸模子中最长的,从而能卓越应答重大场景 |