陈冠中：地瓜机器东说念主RDK系列部署生成式AI模子

该讲述主要先容了地瓜机器东说念主RDK系列在部署生成式AI模子方面的关系内容，包括RDK系列家具、模子部署、LLM期间选型以及实质服从演示。这些内容展示了RDK系列在镶嵌式系统中应用生成式AI模子的智商和上风，为智能机器东说念主设备提供了期间参考和实验教化。

RDK系列家具先容

1. 镶嵌式系统轮廓

镶嵌式系统是为特定任务设想的谋划机系统，用于截止、监测或实验特定功能，无为应用于汽车、家电、医疗竖立等鸿沟。它具有实时性、可靠性、低功耗、低资本等性格，包含微措置器或微截止器及关系硬件和软件。

2. RDK系列家具细目

RDK全称为Robotics Developer Kits，是基于地瓜智能芯片打造的机器东说念主设备者套件，包括RDK X3、RDK X3 Module、RDK X5、RDK X5 Module等。RDK X5具有多种谋划智商和设立，如CPU、GPU、DDR、Wi-Fi等，还具备丰富的接口和功能，如多轨范兼容耳机、双频Wi-Fi、千兆网口等，可天真选定内存，便捷一语气机器东说念主底盘和电机，便于调试和设备。其公版模子在标的检测任务中，不同模子（如Yolov8系列、Yolov10系列）具有不同的尺寸、类别数、参数目、BPU蔓延、BPU隐隐量和后措置时候等性能贪图。

伸开剩余83%

RDK上的模子部署

1. 东说念主工智能与当然话语措置关系办法

生成式AI把柄教导或数据创建新内容，深度学习是其基础期间，机器学习是东说念主工智能子集，当然话语措置使谋划机能相识和生成当然话语文本，触及多种任务，诳言语模子基于海量数据预检会，常见有ChatGPT、文心一言等。

2. 地瓜器具链过程与期间

包括问题界说、数据准备、模子选定/设备、检会与调优、量化、部署等格局。模子量化通过缩小权重和激活精度减小存储和谋划量，如8bit量化决策，可完了芯片级谋划加快，编译器优化能普及模子性能，如提高BPU帧率、缩小蔓延、提高哄骗率、减少DDR带宽占用等，还先容了模子展望库和Model Zoo关系内容。

RDK上LLM期间选型

1. LLM类别及性格

主要分为基于Transformer和基于轮回神经鸠集RNN的模子。Transformer依赖凝视力机制措置数据，在NLP任务中施展出色；RNN适用于措置序列数据，早期话语模子多基于其校正版块。

2. RWKV话语模子性格

RWKV模子架构罗致Transformer念念想，在Time Mixing和Channel Mixing方面有校正。Time Mixing通过加权平均和非线性变换整合不同期间步信息，捕捉序列全局和局部信息；Channel Mixing罗致高效线性变换和激活函数交融通说念信息，减少谋划复杂度。该模子具有可阐述性强、高效并行检会、空间复杂度恒定、线性时候复杂度等优点，每次推理里面有固定大小凹凸文信息向量。

RDK上LLM服从演示

展示了端侧RWKV - V5、端侧Llama 1B和云霄Qwen多模态在RDK系列家具上的实质服从，通过交互界面呈现模子的问答智商和多模态措置智商，如文本阐述（阐述黑洞）和图像上传措置等功能，体现了RDK系列家具对不同类型生成式AI模子的部署和开动智商，以及在实质应用场景中的施展。

免责声明：咱们尊重学问产权、数据诡秘，只作念内容的网罗、整理及共享，讲述内容开头于鸠集,讲述版权归原撰写发布机构悉数，通过公开正当渠说念得到，如触及侵权，请实时谋划咱们删除，如对讲述内容存疑，请与撰写、发布机构谋划

发布于：广东省