Update app.py

app.py

@@ -9,6 +9,16 @@ import logging
 from threading import Event
 import tiktoken  # 引入 tiktoken 库
 
+def local_encoding_for_model(model_name: str):
+    local_encoding_path = '/app/cl100k_base.tiktoken'
+    if os.path.exists(local_encoding_path):
+        with open(local_encoding_path, 'rb') as f:
+            return f.read()  # 返回本地编码文件的内容
+    else:
+        raise FileNotFoundError(f"Local encoding file not found at {local_encoding_path}")
+
+tiktoken.encoding_for_model = local_encoding_for_model
+
 app = Flask(__name__)
 logging.basicConfig(level=logging.INFO)
 
@@ -80,13 +90,9 @@ def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
     使用 tiktoken 库根据 GPT 模型计算 token 数量。
     Claude 模型与 GPT 模型的 token 计算机制类似，因此可以使用 tiktoken。
     """
-    try:
-        encoding = tiktoken.get_encoding("cl100k_base")  # 使用 tiktoken 的内置编码器
-        tokens = encoding.encode(text)  # 对文本进行 tokenization
-        return len(tokens)
-    except Exception as e:
-        logging.error(f"Error loading encoding: {str(e)}")
-        raise
+    encoding = tiktoken.encoding_for_model(model)  # 获取模型的编码器
+    tokens = encoding.encode(text)  # 对文本进行 tokenization
+    return len(tokens)
 
 @app.route('/')
 def root():