🎬 inference cache

app.py

@@ -6,6 +6,7 @@ import torch
 
 PRETRAINED = "raynardj/wenyanwen-chinese-translate-to-ancient"
 
+@st.cache(max_entries=1200)
 def inference(text):
     tk_kwargs = dict(
       truncation=True,
@@ -23,7 +24,7 @@ def inference(text):
             bos_token_id=101,
             eos_token_id=tokenizer.sep_token_id,
             pad_token_id=tokenizer.pad_token_id,
-        ), skip_special_tokens=True)
+        ), skip_special_tokens=True)[0].replace(" ","")
 
 import streamlit as st
 
@@ -48,5 +49,5 @@ if st.button("曰"):
     if len(text) > 100:
         st.error("无过百字，若过则当答此言。")
     else:
-        st.write(inference(text)[0].replace(" ",""))
+        st.write(inference(text))