Update app.py

app.py

@@ -6,6 +6,34 @@ import streamlit as st
 import whisperx
 import torch
 from utils import convert_segments_object_to_text
+
+def get_completion_from_gigachat(prompt, max_tokens, access_token):
+    url_completion = os.getenv('GIGA_COMPLETION_URL')
+        
+    data_copm = json.dumps({
+        "model": os.getenv('GIGA_MODEL'),
+        "messages": [
+        {
+            "role": "user",
+            "content": prompt
+        }
+        ],
+        "stream": False,
+        "max_tokens": max_tokens,
+    })
+        
+    headers_comp = {
+        'Content-Type': 'application/json',
+        'Accept': 'application/json',
+        'Authorization': 'Bearer ' + access_token
+    }
+        
+    response = requests.post(url_completion, headers=headers_comp, data=data_copm, verify=False)
+    response_data = response.json()
+    answer_from_llm = response_data['choices'][0]['message']['content']
+
+    return answer_from_llm
+    
     
 st.title('Audio Transcription App')
 st.sidebar.title("Settings")
@@ -14,11 +42,14 @@ device = st.sidebar.selectbox("Device", ["cpu", "cuda"], index=1)
 batch_size = st.sidebar.number_input("Batch Size", min_value=1, value=16)
 compute_type = st.sidebar.selectbox("Compute Type", ["float16", "int8"], index=0)
 
-initial_giga_base_prompt = "Напиши резюме транскрибации звонка, текст которого приложен в ниже. Выдели  самостоятельно цель встречи, потом описать ключевые моменты всей встречи. Потом выделить отдельные темы звонка и выделить ключевые моменты в них. Напиши итоги того, о чем договорились говорящие, если такое возможно выделить из текста.\n Транскрибация: "
+initial_giga_base_prompt = "Напиши резюме транскрибации звонка, текст которого приложен в ниже. Выдели  самостоятельно цель встречи, потом описать ключевые моменты всей встречи. Потом выделить отдельные темы звонка и выделить ключевые моменты в них. Напиши итоги того, о чем договорились говорящие, если такое возможно выделить из текста.\nТранскрибация: "
+initial_giga_processing_prompt = "Обработай транкрибацию звонка. Убедись, что каждое слово назначено правильному спикеру. Если заметишь, что слово или фраза ошибочно приписаны другому спикеру, исправь это. Постарайся понять имена говорящих из контекста разговора и замени «Спикер 1», «Спикер 2» и т.д. на их реальные имена. Если чье-то имя понять невозможно, то не меняй его.\nТранскрибация: "
 
 giga_base_prompt = st.sidebar.text_area("Промпт ГигаЧата для резюмирования", value=initial_giga_base_prompt)
 giga_max_tokens = st.sidebar.number_input("Максимальное количество токенов при ответе", min_value=1, value=1024)
 
+giga_processing_prompt = st.sidebar.text_area("Промпт ГигаЧата для обработки транскрибации", value=initial_giga_processing_prompt)
+
 ACCESS_TOKEN = st.secrets["HF_TOKEN"]
 
 uploaded_file = st.file_uploader("Загрузите аудиофайл", type=["mp4", "wav", "m4a"])
@@ -50,8 +81,8 @@ if uploaded_file is not None:
     st.write("Результат транскрибации:")
     transcript = convert_segments_object_to_text(result_diar)
     st.text(transcript)
-    
-    with st.spinner('Резюмируем...'):
+
+    with st.spinner('Обрабатываем транскрибацию...'):
         username = st.secrets["GIGA_USERNAME"]
         password = st.secrets["GIGA_SECRET"]
         
@@ -75,30 +106,16 @@ if uploaded_file is not None:
         response = requests.post(url, headers=headers, data=data, verify=False)
         access_token = response.json()['access_token']
         print('Got access token')
+
+        transcribe_answer = get_completion_from_gigachat(giga_processing_prompt + transcript, giga_max_tokens, access_token)
+
+        st.write("Результат обработки:")
+        st.text(transcribe_answer)
+
         
-        url_completion = os.getenv('GIGA_COMPLETION_URL')
-        
-        data_copm = json.dumps({
-            "model": os.getenv('GIGA_MODEL'),
-            "messages": [
-            {
-                "role": "user",
-                "content": giga_base_prompt + transcript
-            }
-            ],
-            "stream": False,
-            "max_tokens": int(giga_max_tokens),
-        })
-        
-        headers_comp = {
-            'Content-Type': 'application/json',
-            'Accept': 'application/json',
-            'Authorization': 'Bearer ' + access_token
-        }
-        
-        response = requests.post(url_completion, headers=headers_comp, data=data_copm, verify=False)
-        response_data = response.json()
-        answer_from_llm = response_data['choices'][0]['message']['content']
+    
+    with st.spinner('Резюмируем...'):
+        summary_answer = get_completion_from_gigachat(giga_base_prompt + transcribe_answer, giga_max_tokens, access_token)
         
-    st.write("Результат резюмирования:")
-    st.text(answer_from_llm)
+        st.write("Результат резюмирования:")
+        st.text(summary_answer)