smgc commited on
Commit
b9c5d81
1 Parent(s): 6043432

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +14 -13
app.py CHANGED
@@ -27,6 +27,7 @@ if proxy_url:
27
  transport = requests.Session()
28
  transport.proxies.update(proxies)
29
  else:
 
30
  transport = None
31
 
32
  sio = socketio.Client(http_session=transport, logger=True, engineio_logger=True)
@@ -79,18 +80,18 @@ def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
79
  """
80
  使用 tiktoken 库根据 GPT 模型计算 token 数量。
81
  Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
82
- 这里我们指定本地的编码文件路径。
83
  """
84
- # 假设您将编码文件放在 /app/cl100k_base.tiktoken
85
- encoding_path = '/app/cl100k_base.tiktoken'
86
-
87
- # 使用 tiktoken 的 Encoding 类手动加载本地编码文件
88
- with open(encoding_path, 'rb') as f:
89
- encoding = tiktoken.Encoding.load(f)
90
-
91
- # 对文本进行 tokenization
92
- tokens = encoding.encode(text)
93
- return len(tokens)
 
94
 
95
  @app.route('/')
96
  def root():
@@ -340,8 +341,8 @@ def not_found(error):
340
  @app.errorhandler(500)
341
  def server_error(error):
342
  logging.error(f"Server error: {str(error)}")
343
- log_request(request.remote_addr, request.path, 500)
344
- return "Something broke!", 500
345
 
346
  def create_event(event, data):
347
  if isinstance(data, dict):
 
27
  transport = requests.Session()
28
  transport.proxies.update(proxies)
29
  else:
30
+ proxies = None
31
  transport = None
32
 
33
  sio = socketio.Client(http_session=transport, logger=True, engineio_logger=True)
 
80
  """
81
  使用 tiktoken 库根据 GPT 模型计算 token 数量。
82
  Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
 
83
  """
84
+ # 临时禁用代理
85
+ original_proxies = requests.Session().proxies # 保存原始代理配置
86
+ requests.Session().proxies = {} # 禁用代理
87
+
88
+ try:
89
+ encoding = tiktoken.encoding_for_model(model) # 获取模型的编码器
90
+ tokens = encoding.encode(text) # 对文本进行 tokenization
91
+ return len(tokens)
92
+ finally:
93
+ # 恢复代理设置
94
+ requests.Session().proxies = original_proxies
95
 
96
  @app.route('/')
97
  def root():
 
341
  @app.errorhandler(500)
342
  def server_error(error):
343
  logging.error(f"Server error: {str(error)}")
344
+ log_request(request.remote_addr, request.path, 500)
345
+ return "Something broke!", 500
346
 
347
  def create_event(event, data):
348
  if isinstance(data, dict):