Update app.py

app.py

@@ -8,17 +8,32 @@ import requests
 import logging
 from threading import Event
 import tiktoken  # 引入 tiktoken 库
+from tiktoken import Encoding
 
 def local_encoding_for_model(model_name: str):
+    """
+    从本地加载编码文件并返回一个 Encoding 对象。
+    """
     local_encoding_path = '/app/cl100k_base.tiktoken'
     if os.path.exists(local_encoding_path):
         with open(local_encoding_path, 'rb') as f:
-            return f.read()  # 返回本地编码文件的内容
+            encoding_data = f.read()  # 读取本地编码文件的字节内容
+        
+        # 构造一个 Encoding 对象
+        return Encoding(
+            name="cl100k_base",  # 编码的名称
+            pat_str="",  # 正则表达式（如果有）
+            mergeable_ranks={},  # 合并的 rank 数据（通常是从文件或其他地方加载）
+            special_tokens={},  # 特殊 token 映射
+            explicit_n_vocab=None  # 可选的词汇表大小
+        )
     else:
         raise FileNotFoundError(f"Local encoding file not found at {local_encoding_path}")
 
+# 替换 tiktoken 的 encoding_for_model 函数
 tiktoken.encoding_for_model = local_encoding_for_model
 
+
 app = Flask(__name__)
 logging.basicConfig(level=logging.INFO)