AI 摘要
Dify 1.10.1在使用OpenAI-API兼容插件添加自定义模型时,因验证令牌数设为5(低于模型要求的最小10),导致`max_tokens_too_small`错误。问题根源为插件固定使用`validate_credentials_max_tokens=5`。解决方案:修改Docker部署路径下`llm.py`文件中的该值为16或更高,即可修复。参考GitHub Issue 1694与2710。
环境信息
Dify版本:1.10.1
插件版本:OpenAI-API-compatible 0.0.36
异常问题
添加自定义模型出现 {"error":{"code":"max_tokens_too_small","message":"max_tokens must be at least 10 (request id: xxxxx)"}} 错误;

通过GitHub提问,目前是已知问题:与 OpenAl-API 兼容的插件在进行凭证验证时使用了固定的“max_tokens: 5”设置,低于许多模型所要求的最小令牌数5;
修改方法
docker部署解决方案:
找到映射的目录文件:
docker/volumes/plugin_daemon/cwd/langgenius/openai_api_compatible-0.0.**@**/.venv/lib/python3.12/site-packages/dify_plugin/interfaces/model/openai_compatible/llm.py找到 validate_credentials_max_tokens = credentials.get("validate_credentials_max_tokens", 5) or 5 进行修改
修改为5为16或者更高,就可以解决这个问题。
硬件配置要求要多高啊
2h4g就能跑,不需要gpu,只要有大模型的接口就能玩。
哦哦,看来还是比较费钱。。
还好,部署在家庭云上,eo反代公网,公益站token,成本就一电费。
本地部署?
是的,私有化部署dify,然后编写程序调用私有化dify,开发agent应用。