AI 摘要
Dify 1.10.1 搭配 OpenAI-API-compatible 插件添加自定义模型时出现 max_tokens_too_small 错误,原因是默认最小令牌数 5 低于模型要求。Docker 部署可修改映射配置文件,将 5 改为 16 或更高即可解决。
环境信息
Dify版本:1.10.1
插件版本:OpenAI-API-compatible 0.0.36
异常问题
添加自定义模型出现 {"error":{"code":"max_tokens_too_small","message":"max_tokens must be at least 10 (request id: xxxxx)"}} 错误;

通过GitHub提问,目前是已知问题:与 OpenAl-API 兼容的插件在进行凭证验证时使用了固定的“max_tokens: 5”设置,低于许多模型所要求的最小令牌数5;
修改方法
docker部署解决方案:
找到映射的目录文件:
docker/volumes/plugin_daemon/cwd/langgenius/openai_api_compatible-0.0.**@**/.venv/lib/python3.12/site-packages/dify_plugin/interfaces/model/openai_compatible/llm.py找到 validate_credentials_max_tokens = credentials.get("validate_credentials_max_tokens", 5) or 5 进行修改
修改为5为16或者更高,就可以解决这个问题。
不明觉历。
硬件配置要求要多高啊
2h4g就能跑,不需要gpu,只要有大模型的接口就能玩。
哦哦,看来还是比较费钱。。
还好,部署在家庭云上,eo反代公网,公益站token,成本就一电费。
本地部署?
是的,私有化部署dify,然后编写程序调用私有化dify,开发agent应用。