装在小盒子的AI足够强吗？

2024-05-28 09:25

Firefly推出大语言模型本地部署的产品：AIBOX-1684X，目前已适配主流的大语言模型，包括 ChatGLM3-6B，以下是 ChatGLM3 在 AIBOX-1684X 上的实机演示：



ChatGLM3-6B 采用更多元的训练数据和策略，在不同角度的数据集，采用了全新设计的 Prompt 格式，支持工具调用 (Function Call) 、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。


性能实测结果

  • 更强大的基础模型

ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试：


1716862265775398.png


在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。


  • 更强大的基础模型

除了对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试：


1716862316400230.png


在多个长文本应用场景下的估测试中，与二代模型相比，其效果平均提升程度大于50%。在论文阅读、文档摘要和财报分析等应用中，提升尤为显著。


小盒子搞定AI私有化部署

AIBOX现已正式推出，即刻体验ChatGLM3实机效果，点击图片查看详情：


1716862372964060.png


商务合作或更多咨询请联系：sales@t-firefly.com