LLM-Driven, Datasheet-Aware Automated Hardware Compatibility Verification for Early-Stage, Pre-Schematic Embedded System Design
分阶段LLM框架把前原理图硬件兼容验证准确率做到97.5%,直接上传数据表的做法会漏…:PCB每重设计一次平均花费4.4万美元,每个项目平均返工2.9次,而很多兼容问题在画原理图之前就能发现。问题在于:把数据表整份丢给LLM查询不可靠——5份数据表就产生约223k输入token,LLM会系统性漏掉关键工程属性。DEVICES框架把验证拆成构图、按标准抽属性、确定性脚本三步,在7个设计、34份数据表上做到97.5%准确率,上下文缩小8.6倍。
把数据表整份上传给LLM查询,会因上下文过长漏掉属性、因提示不规范导致验证不完整;DEVICES把验证拆成构图、按显式标准抽属性、确定性脚本三个阶段。在7个设计、34份数据表上,它达到97.5%验证准确率,上下文规模压缩8.6倍。
把LLM验证流水拆成构图、精准属性抽取、确定性脚本三个阶段,可以让前原理图阶段的硬件兼容验证达到97.5%准确率。证据是7个设计、34份数据表的受控评测,以及与上传查询基线的直接对比。
1. 旧做法的失败:整份上传数据表再即兴提问,规格分散取不回(5份即约223k token),属性被系统性遗漏,判断结果也不一致。 2. 方法与对照:三阶段流水——建设计图、按电气/通信/电源/环境四类显式标准精准抽属性、生成确定性脚本做数值比较(LLM不算数),中间结果逐步保存。 3. 结果与行动:97.5%准确率、上下文缩8.6倍;在前原理图阶段接入此流水,不要再整份上传数据表。
测试集为7个嵌入式系统设计、34份制造商数据表,覆盖接口级的电气、通信、电源、工作环境四类兼容性。基线是上传查询工作流:整份上传数据表后即兴提示LLM,5份数据表即产生约223k输入token,基线LLM遗漏多个必要工程属性。DEVICES达到97.5%验证准确率,上下文规模缩减8.6倍。主要失败模式是长稀疏上下文触发中间丢失,导致属性系统性遗漏,而非LLM逻辑推理失败。
- 它要解决什么
- 在详细原理图出来之前,能否只靠数据表和高层连接描述,用LLM自动查出硬件接口级的兼容问题,并且结果可溯源、可复现?
- 研究路径
- 框架接收数据表和高层连接描述。第一步建设计图:节点为器件,边标注共享交互域。第二步按电气、通信、电源、工作环境四类显式标准,只检索匹配的属性,避免长上下文。第三步用检索到的属性生成确定性可执行脚本,由脚本完成数值比较,LLM不参与计算。各阶段中间结果均保存,保证每一步可回溯。
- 这对工程意味着什么
- 第一步行动:在前原理图阶段接入分阶段兼容验证流水,用显式领域标准驱动属性抽取,用确定性脚本做数值判断。要避开的捷径:不要把整份数据表直接丢给LLM问——长稀疏上下文会系统性漏属性,让结果偏向误报兼容。
- 证据定位
- 在7个嵌入式系统设计、34份制造商数据表上,DEVICES达到97.5%兼容验证准确率,上下文规模比上传查询基线缩小8.6倍。基线做法是把数据表整体上传后即兴提问:5份数据表就产生约223k输入token,LLM在此条件下遗漏了多个必要工程属性。失败诊断表明,主因是长稀疏上下文触发中间丢失,而不是LLM推理能力不足。(筛选维度:形式化验证、可复核评测)
- 适用边界
- 只评测了7个设计和34份数据表,样本规模有限;兼容性只覆盖接口级电气、通信、电源和工作环境,不含软件、封装或应用功能兼容性;不同数据表格式和质量对属性抽取准确率的影响,摘录文本中没有量化。
方法与英文摘要
输入是硬件数据表和高层连接描述。第一步构建设计图:节点是器件,边标注共享交互域。第二步按电气、通信、电源、工作环境四类显式标准,只抽取需要的工程属性,不注入整份文档。第三步由LLM生成确定性脚本,数值比较交给脚本执行,LLM不做算术。每个阶段保存中间结果,保证可溯源。
We present an LLM-driven, datasheet-aware framework for early-stage hardware compatibility verification that identifies documentation-level interface incompatibilities based on hardware datasheets and high-level component connectivity descriptions. It does not require, and can therefore be used, before detailed schematic simulation and implementation. We view trustworthy LLM-assisted design automation not as directly generating answers from documents, but as transforming engineering information through traceable verification stages. Given hardware datasheets and high-level component connectivity descriptions, the framework constructs a design graph that captures device connectivity and shared interaction domains, retrieves only the engineering properties required by explicit, domain-oriented verification criteria , and generates deterministic scripts for compatibility evaluation. By decomposing compatibility analysis into modular stages and preserving intermediate results, the framework reduces context overhead, improves transparency and tractability, enables scaling, and avoids reliance on LLMs for numerical computation. Evaluated on seven embedded-system designs comprising 34 datasheets, our framework achieves 97.5% compatibility-verification accuracy and an 8.6 times reduction in input context size compared with ``upload-and-query'' workflows. These results demonstrate the feasibility of LLM-assisted, specification-based hardware compatibility verification at an early design stage, as well as the need for, and substantial benefits of, modular task decomposition, formalized verification criteria, and task-aware compact context construction.