把大模型“装”进小盒子

—— AIBOX-3576 低功耗大模型盒子

超高能效比!支持主流大模型私有化部署,
把 AI 的能力私有化,一个盒子就能满足个性化的 AI 部署!

支持大模型私有化部署

主机内置 ARM Mali G52 MC3 GPU,算力可达 6 TOPS;能够进行更智能的数据处理、语音识别、图像分析,满足大多数终端设备边缘计算 AI 应用需求

八核 64 位 AIOT 处理器 RK3576

新一代八核 64 位高性能 AIOT 处理器 RK3576,采用大小核构架(4×A72 +4×A53),先进工艺制程,主频高达 2.2GHz,为高性能计算和
多任务处理提供了强大支持。搭载 Mali-G52 MC3 GPU,145G FLOPS 的 GPU 可以支持有效的异构计算,满足图形密集型应用的需求

4K@120 fps 高帧率视频解码

支持 8K@30fps / 4K@120fps 解码(H.265 / HEVC、VP9、AVS2、AV1 )和
4K@60fps 解码(H.264 / AVC),4K@60fps 编码(H.265 / HEVC、H.264 / AVC)

强大的网络通讯能力

支持双路 1000Mbps 以太网 ,高速稳定的网络通讯方式,满足不同应用场景需求

全金属外壳,高效散热

配置工业级全金属外壳,铝合金结构导热,顶盖外壳侧面采用条幅格栅设计,
保证外部空气流通,高效散热,保障在高温运行状态下的运算性能和稳定性

顶盖采用多孔六边形设计,简洁美观。整机小巧精致,运行稳定,满足各种工业级的应用需求

完善的开发资料

支持 Linux OS,为产品研产提供安全稳定的系统环境。提供配套的源代码、教程、技术资料和开发工具,让开发变得更加简单方便

广泛的应用场景

广泛适用于智能监控、AI教学、算力服务、边缘计算、大模型私有化部署、数据安全和隐私保护等场景

智能监控
AI教学
算力服务
边缘计算
大模型私有化部署
数据安全

产品参数

规格参数
基本参数 SOC

Rockchip RK3576

八核64位处理器(4×A72 + 4×A53),主频最高 2.2GHz

GPU

G52 MC3 @ 1GHz,支持 OpenGL ES 1.1/2.0/3.2,OpenCL 2.0,Vulkan 1.1,内嵌高性能 2D 加速硬件

NPU

6 TOPS NPU,支持 INT4/8/16/FP16/BF16/TF32 混合运算

ISP

内置1600万像素 ISP,支持低光降噪,支持RGB-IR sensor,支持最高120dB HDR,AI-ISP提升低噪度的图像效果

编解码

解码:4K@120fps: H.265/HEVC、VP9、AVS2、AV1,4K@60fps: H.264/AVC

编码:4K@60fps: H.265/HEVC、H.264/AVC

内存

LPDDR4(4GB/8GB 可选)

存储

eMMC(16GB/32GB/64GB/128GB/256GB 可选)、UFS2.0(可选)

扩展存储

1 * M.2(与USB3.0下层口二选一,默认USB3.0功能)(主机内部)、1 * TF Card

电源

DC 12V/3A(DC 5.5 * 2.1mm)

功耗

典型功耗:1.2W(12V/100mA)

最大功耗:7.2W(12V/600mA)

休眠功耗:0.072W (12V/6mA)

系统

Linux OS(Ubuntu)

软件支持

・ 支持Transformer架构下超大规模参数模型的私有化部署,

如Gemma-2B、LlaMa2-7B、ChatGLM3-6B、Qwen1.5-1.8B等大型语言模型

・ 支持CNN、RNN、LSTM等传统网络架构,支持多种深度学习框架,

包括TensorFlow、PyTorch、MXNet、PaddlePaddle、ONNX和Darknet,并支持自定义算子开发

・ 支持Docker容器化管理技术

尺寸

93.4mm * 93.4mm * 50mm

重量

≈ 500g

环境

工作温度:-20℃~60℃ 存储温度:-20℃~70℃ 存储湿度: 10%~90%RH(无凝露)

接口参数 网络

2 * 1000Mbps 以太网(RJ45)

视频输出

1 * HDMI2.1(4K@120fps)

USB

2 * USB3.0(限流1A)

其他接口

1 * Type-C (AIBOX-3576: 烧录)、1 * Console (调试串口)、 1 * 电源键、1 * MaskRom