smgc commited on
Commit
6043432
1 Parent(s): 6166fad

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +9 -4
app.py CHANGED
@@ -79,9 +79,14 @@ def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
79
  """
80
  使用 tiktoken 库根据 GPT 模型计算 token 数量。
81
  Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
 
82
  """
83
- # 获取模型的编码器
84
- encoding = tiktoken.get_encoding("cl100k_base")
 
 
 
 
85
 
86
  # 对文本进行 tokenization
87
  tokens = encoding.encode(text)
@@ -335,8 +340,8 @@ def not_found(error):
335
  @app.errorhandler(500)
336
  def server_error(error):
337
  logging.error(f"Server error: {str(error)}")
338
- log_request(request.remote_addr, request.path, 500)
339
- return "Something broke!", 500
340
 
341
  def create_event(event, data):
342
  if isinstance(data, dict):
 
79
  """
80
  使用 tiktoken 库根据 GPT 模型计算 token 数量。
81
  Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
82
+ 这里我们指定本地的编码文件路径。
83
  """
84
+ # 假设您将编码文件放在 /app/cl100k_base.tiktoken
85
+ encoding_path = '/app/cl100k_base.tiktoken'
86
+
87
+ # 使用 tiktoken 的 Encoding 类手动加载本地编码文件
88
+ with open(encoding_path, 'rb') as f:
89
+ encoding = tiktoken.Encoding.load(f)
90
 
91
  # 对文本进行 tokenization
92
  tokens = encoding.encode(text)
 
340
  @app.errorhandler(500)
341
  def server_error(error):
342
  logging.error(f"Server error: {str(error)}")
343
+ log_request(request.remote_addr, request.path, 500)
344
+ return "Something broke!", 500
345
 
346
  def create_event(event, data):
347
  if isinstance(data, dict):