使用128k长度运行报错，只要6万字长度
#17
by
loong
- opened
BadRequestError: Error code: 400 - {'object': 'error', 'message': "This model's maximum context length is 32768 tokens. However, you requested 37055 tokens in the messages, Please reduce the length of the messages.", 'type': 'BadRequestError', 'param': None, 'code': 400}
运行命令发一下
用的vllm推理，修改了config：
python -m vllm.entrypoints.openai.api_server --model /ai/qwen2-7b-yarn --host 192.1**** --port 10860 --max-model-len 32768 --trust-remote-code --tensor-parallel-size 1 --dtype=half
大概测试下来4万多字可以，再往上就报前面错误了 @ming1114
我也在github上提了，https://github.com/QwenLM/Qwen2/issues/717
因为你运行命令中是设置为： --max-model-len 32768，你超过这个长度肯定报错，你不设置，默认应该是128k ，但是推理服务不一定能加载启动得了，看你显存大小。在显存还算够用能加载启动得情况下，增加这个值，看看
增加这个就告诉我最大embeddings是32768怎么办啊