NN-Compiler v3.4 编译器发布:全面优化大语言模型注意力计算
新版本引入了全新Flash-Attention硬件算子融合机制,使得在GX-900模组上运行Llama-3架构模型的首字延迟压缩40%,内存带宽占用降低33%。
查阅编译说明与补丁包 →J9电子APP专注于高性能自研NPU微架构与端侧边缘智能推理计算卡的研发与工程量产。面对日益复杂的轻量化大语言模型与多模态计算机视觉负载,我们通过独特的软硬件协同设计打破内存墙制约,在仅 5W 至 45W 严苛功耗约束下提供高达 32 至 256 TOPS 的 INT8 峰值矩阵吞吐量,助力全球工业智能装备、车载控制与边缘视觉系统实现真正的毫秒级确定性响应。
针对工业级、车载级与高密度边缘计算集群的差异化工程要求,J9电子入口提供涵盖低功耗系统级SoC、标准PCIe全高全长推理加速卡及嵌入式MXM模组的完整产品线,满足从极低温恶劣户外到密闭控制柜的全天候无故障运行需求。
集成双核全自研张量加速核与四路ISP图像处理管道,专为多路高码率网络视频流目标抓拍、周界防范及实时姿态分析量身打造。
半高半长被动散热规格,支持多卡高密度并联部署于工控主机与微型边缘服务器,稳定支撑复杂流水线瑕疵智能检测与三维定位。
搭载第三代张量矩阵扩展指令集,单卡原生支撑7B/13B轻量化大语言模型与多模态视觉大模型在边缘机器人侧离线高速推理运行。
区别于单纯堆叠通用算力的粗放路径,我们通过自主设计的稀疏张量调度架构与近存计算技术,解决边缘计算场景下能耗制约、编译门槛高和热失控痛点。
指令集由底层完全自研,免除第三方架构专利授权风险,对主流卷积与Transformer注意力矩阵提供单指令多数据的高效原语映射。
采用细粒度动态电压频率调节技术,在严苛的被动无风扇散热密闭壳体内依然保持算力满载,杜绝因过热降频导致推理帧率跳变。
提供从PyTorch、ONNX及TensorFlow模型到芯片微码的一键转换,内嵌PTQ训练后量化算法,INT8精度损耗控制在0.3%以内。
硬件集成直接内存存取(DMA)旁路引擎,图像输入到算子计算直接完成流水编排,典型YOLO系列模型端到端推理时延低于4.2ms。
官方预编译超过650个标准深度学习数学算子,对自定义非线性激活函数与位置编码支持自定义C/C++内联算子扩展开发。
全系芯片设计严格遵循AEC-Q100 Grade 2测试准则,具备ECC全链路内存纠错能力,确保工业现场连续无故障运行超100,000小时。
算法模型演进与半导体物理制造工艺必须紧密耦联。J9电子官网研发团队由硅谷与国内资深集成电路专家组成,针对注意力机制算子中常见的“内存访存受限”问题,开发了多级缓存驻留与张量动态分配专利算法,减少片外DRAM存取达68%以上。
为方便大客户工程师就近进行样板调试与算力压测,J9电子入口在全国集成电路与智能制造核心城市设立了四个设备完善的开放兼容性验证实验室。
浦东新区张江集成电路产业园3期B座
配备示波器集群、热像仪及环境高低温老化箱,常驻系统固件高级架构师支持。
南山区高新南九道科技生态园8栋
专注于无人系统与嵌入式边缘盒子板卡级硬件快速打样,现场提供多模态SDK联调。
海淀区中关村软件园二期东区4号楼
面向高校院所及算法软件企业的大模型算子编译测试中心,提供算子即时补全。
高新区天府软件园G区集成电路孵化区
重点配合西南工业重镇的机器视觉表面瑕疵分选、特种轨道交通巡检样机验证。
拒绝参数空转。J9电子平台自主芯片产品已在多个对稳定性、时延及能耗提出极端考验的产业环境中持续运行超过 500 天。
部署TX-500工业推理卡后,单机可同步处理8路4K工业线扫相机输入,对微米级划痕与极耳对齐度实现99.98%的检出率,单帧检测时间从原来的38ms骤降至6.5ms。
在密闭野外机箱内运行NX-100低功耗SoC,无需风扇即可抵抗酷暑高温,同时对16路高清卡口进行非机动车、行人和机动车全特征结构化提取并回传中心。
GX-900模组内置于机器人头部与躯干,在完全断网环境下独立运行视觉导航算法与对话模型,实现视线避障与语言指令执行的端到端零网络延迟体验。
来自工业自动化系统集成商、车载Tier-1供应商与智能终端硬件厂商一线技术团队的实测评价。
“在电芯缺陷检测产线上,我们最头疼的是工控机在密闭机柜中长期高温工作导致显卡降频。换装J9电子APP的TX-500板卡后,整卡功耗下降近60%,整个夏季没有发生一次因过热引起的降频或卡顿,转换PyTorch模型只需运行一行脚本。”
“我们针对交通边缘盒子对比测试了三款国内外的SoC。J9电子娱乐的NX-100在解码16路H.265视频流的同时,还能稳定以25帧运行密集目标结构化网络,算力利用率高达92%以上,ISP在暗光环境下的画质非常扎实。”
“研发双足机器人对机载计算平台的重量和功耗要求苛刻到克与瓦特。GX-900模组给了我们极大的惊喜,在不到50W的功耗下能够本地离线跑通Transformer视听大模型,技术支持团队甚至连夜为我们定制了专有注意力算子。”
工业芯片产品线承诺至少 10 年稳定供货周期,免除频繁硬件改板顾虑。
专属半导体架构专家提供 24 小时内底层驱动答疑与现场量产调试协同。
自主知识产权设计微架构,供应链与晶圆代工制造合规安全无阻断隐患。
通过极限高低温冲击、振动加速度及电磁抗扰度(EMC)多项国家实验室检测。
成熟规范的集成电路工程导入体系,J9电子入口协助客户在 2 周内完成从模型量化评估到板级系统点亮的全部工作。
客户提供目标模型结构与推理时延指标,原厂编译专家输出芯片理论仿真报告与量化评估数据。
签订保密协议后 3 个工作日内寄出工程评估板卡,附带完整SDK开发包与参考底板硬件设计原理图。
客户工程师可远程接入或亲临就近实验室,进行温升、吞吐压测及高阶模型自定义算子调优。
提供钢网开口指导与自动化产测工具包,确保客户端批量生产下线良品率达到行业最高标准。
保持编译器与驱动固件的高频迭代,不断拓展底层硬件对前沿人工智能算法的吞吐潜能。
新版本引入了全新Flash-Attention硬件算子融合机制,使得在GX-900模组上运行Llama-3架构模型的首字延迟压缩40%,内存带宽占用降低33%。
查阅编译说明与补丁包 →详细剖析了端侧量化剪枝工程在工业摄像头与移动底盘中的实测参数,系统阐明了混合精度INT4/INT8在保持99%准确率前提下的降功耗技巧。
获取白皮书全文PDF →基于晶圆级先进封装技术的新一代通用计算卡完成样片回货与第一阶段Linux系统引导,为下一步超高密度算力服务器部署打下坚实基础。
了解工程进度详情 →解答硬件开发商在模型迁移、驱动支持及样品交付中最关心的工程细节。
我们提供完善的 NNGraph 工具链,客户只需将训练好的 ONNX 或 TorchScript 模型作为输入,编译器会自动完成算子拓扑图优化、常量折叠与非线性激活层融合,并生成在自研 NPU 上高效执行的二进制指令微码文件,通常在 5 分钟内即可完成普通视觉模型的全流程转换。
TX-500 与 NX-100 系列芯片均通过了 AEC-Q100 Grade 2 标准严苛考验,支持在 -40℃ 至 +85℃ 的工业级宽温区间稳定运行。所有板卡均设计有完备的电源抗浪涌抑制电路与全链路 ECC 校验技术,在密闭无风扇散热工控机内可满足工业客户长年无故障运转的需求。
企业用户只需在本页下方表单提交公司名称、业务场景及预估采购规模。我们的行业方案经理将在 24 小时内与您联系并完成信息确认,签署 NDA 后立即安排寄送完整的芯片工程样片、开发底板以及包含完整 API 接口文档和示例工程的 SDK 软件安装包。
J9电子平台支持开放式的 C/C++ 自定义算子内核编写。用户可以使用我们提供的张量内联指令集直接针对 NPU 向量单元编写特定计算逻辑,并与编译器无缝链接;同时,我们的现场应用工程师(FAE)团队也可以协助您在 3 个工作日内完成专有算子的原厂优化与性能达标验证。
欢迎自动化设备厂商、车载计算单元集成商与具身智能硬件团队联系我们。J9电子直营将为您匹配专属的半导体架构顾问,提供全套芯片数据手册(Datasheet)、硬件参考设计原理图及全功能 SDK 测试评估权限。