把大模型“装”进小盒子
——AIBOX-1684X 大模型人工智能盒子
算力高达32 TOPS!支持主流大模型私有化部署,
把AI的能力私有化,一个盒子就能满足个性化的AI部署!
算法丰富,全面的人工智能私有化部署

32TOPS超高算力AI处理器BM1684X

搭载SOPHON算能AI处理器BM1684X,拥有八核ARM Cortex-A53,最高主频2.3GHz,采用12nm工艺制程;拥有高达32Tops(INT8)算力,
或16TFLOPS(FP16/BF16)算力、或2Tops(FP32)高精度算力,支持主流编程框架,可广泛应用于云端及边缘应用的人工智能推理

强大的多路视频AI处理性能

最高支持32路1080P H.264/H.265的视频解码,32路1080P高清视频全流程处理(解码+AI分析),
满足视频流人脸检测、车牌识别等各类AI应用场景的需求

强大的网络通讯能力

支持双路1000Mbps以太网 ,高速稳定的网络通讯方式,满足不同应用场景需求

工业级全金属外壳,高效散热。匠心工艺,美观精致

配置工业级全金属外壳,铝合金结构导热,顶盖外壳侧面采用条幅格栅设计,保证外部空气流通,高效散热,保障在高温运行状态下的
运算性能和稳定性。顶盖采用多孔六边形设计, 简洁美观。整机小巧精致,运行稳定,满足各种工业级的应用需求

可实现国产化定制,产品自主可控

可实现国产化硬件方案,技术完全自主可控,工业级产品质量,稳定的供货周期,满足各种行业的需求

完善的开发资料

提供配套的源代码、教程、技术资料和开发工具,让开发变得更加简单方便

广泛的应用场景

广泛适用于智能监控、AI教学、算力服务、边缘计算、大模型私有化部署、数据安全和隐私保护等场景

智能监控
AI教学
算力服务
边缘计算
大模型私有化部署
数据安全

产品参数

规格参数
基本参数 SOC

SOPHON BM1684X

集成高性能八核ARM A53,12nm工艺制程,主频高达2.3GHz

TTPU

内置张量计算模块TPU,算力高达:32TOPS(INT8)、16TFLOPS (FP16/BF16)、2TFLOPS(FP32)

编解码

32路H.265/H.264 1080p@25fps 视频解码、

32路1080P@25fps高清视频全流程处理(解码+AI分析),

支持 12 路H.265/H.264 1080p@25fps 视频编码

内存

8GB/12GB/16GB LPDDR4/LPDDR4X

存储

32GB/64GB/128GB eMMC、1*TF Card

电源

DC 12V/4A (DC 5.5*2.5mm)

系统

Ubuntu

软件支持

・ 支持Transformer架构下超大规模参数模型的私有化部署,如LLaMa2、ChatGLM、Qwen等大型语言模型,

以及ViT、Grounding DINO、SAM等视觉大模型

・ 支持AIGC领域的Stable Diffusion图像生成模型的私有化部署

・ 支持CNN、RNN、LSTM等传统网络架构,支持多种深度学习框架,

包括TensorFlow、PyTorch、MXNet、PaddlePaddle、ONNX和Darknet,并支持自定义算子开发・ 支持Docker容器化管理技术

尺寸

90.6mm * 84.4mm * 48.5mm

重量

≈ 420g

环境

工作温度:-20℃~60℃,存储温度:-20℃~70℃,存储湿度:10%~90%RH(无凝露)

接口参数 网络

2*1000Mbps以太网

USB

2*USB3.0(限流1A)

其他接口

1*电源键、1*Type-C (Debug serial)