默认参数的更新，比如max_tokens
#5668
Replies: 2 comments 1 reply
-
|
今天看到这个issue更疑惑了，那为什么我的回复会被截断，因为网络不稳定？或者单纯就是服务器觉得输出完了？改了回复变完整只是凑巧？ |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
今天突发奇想用隔壁lobe-chat试了一下，竟然如果设置同为gemini-1.5-pro，就不截断了，看了下设置，max_token可以设置为0，也就是不启用，而nextchat这里必须大于等于1024，不知道是不是这个问题 |
Beta Was this translation helpful? Give feedback.
1 reply
-
|
换用gemini-flash也不截断了 |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
现在的模型允许的上下文都很大了，不再是几年前抠抠搜搜的4k，甚至128k都很常见了。那么默认参数是不是可以考虑更新一下，主要是经常回复被截断不知道为什么，后来才发现这个被遗忘的设置项max_tokens，毕竟用了一年了没动过，一开始没想到是被本地设置截断了。原来默认是4000，暂时改到了10000，但按照128k来说，再加个0改成100000都没问题。
包括其他的参数，现在还有没有必要。历史消息压缩阈值是不是也可以给大一点，我不清楚是不是所有模型都需要temperature和top_p，还是只是类openai系的需要。
Beta Was this translation helpful? Give feedback.
All reactions