#Qwen3-32B-NVFP4 标签

浏览该标签下的所有文章

文章列表

修复 TensorRT-LLM OpenAI API 兼容性问题

分类:工程代码

在TensorRT-LLM 1.3.0rc6上部署Qwen3-32B模型时,上游客户端OpenClaw无法触发工具调用。通过HTTP代理抓包发现六个核心问题,包括`developer`角色被丢弃、推理内容泄露、流式响应ID不一致等。修复方案涉及修改`openai_protocol.py`等文件,通过角色映射、激活推理解析器、统一ID、规范字段默认值及排除非标准字段等方法逐一解决。修复后工具调用成功,多轮对话恢复正常。