О проекте
TalkWise - это настольное приложение для персонального ассистирования. С показом актуальной информации и ответов на собеседовании, при общении в видеочатах, голосовых и текстовых чатах. А также помощь посредством анализа скриншота вашего экрана, касаемо вопросов в решении задач, разработки кода, либо просто распознавание текста вопроса с последующим ответом на него и отображением результата.
Описание и функции
Изначально в приложении установлен полупрозрачный фон окна, сквозные клики сквозь окно, запись (по умолчанию Ctrl+R) системного звука (собеседника), скриншот (по умолчанию Ctrl+P) всего экрана. Важно установить в настройках (Ctrl-S) системную фразу - это тема и промт диалога для анализа ИИ. Пример системной фразы: «Ты — технический помощник на собеседовании по C# и PostgreSQL. Отвечай кратко. Если нужен код — только код, без воды.» Обязательно отредактируйте этот текст, перед тем, как начинать. Чтобы начать анализировать вопросы собеседника и получать на них ответы, нужно запустить запись. Запись остановится, когда собеседник сделает паузу две секунды и запустится снова автоматически. В момент остановки записи на экран будет выведен ответ на вопрос, если он был задан. Максимальная продолжительность записи 25 секунд, по достижению которых запись отправляется на обработку и запускается вновь. Если будет задан вопрос и показан код на экране, который нужно решить, сделайте скриншот. С этими вводными можно начинать собеседование. Если захотите сами контролировать процесс, то в настройках можно убрать автоматическую остановку записи и останавливать самому той же комбинацией клавиш. Можно выбрать варианты порога продолжительности записи от 25 секунд в меньшую сторону. Выбрать автоматическую отправку записи на анализ по достижении порога, автозапуск записи после отправки (но эти варианты затруднят определение границ вопроса, на который нужно ответить). В варианте автоматической отправки записи при тишине, можно задать интервал тишины в миллисекундах (рекомендуется 1000–3000, 1000мс = 1с), порог громкости, считающийся тишиной, обычно это 0.005–0.02 — хороший диапазон для большинства микрофонов (по умолчанию 0.01 = ~-40 dB). Скриншоты нужны для анализа заданий, например по программированию: найти ошибку в коде, ответить что делает код и т.п. В момент скриншота запись останавливается, если не выбрана отправка по порогу тишины и отправляется на обработку вместе с скриншотом. В настройках можно выбрать опционально: скриншот всего экрана, активного окна, либо области с выделением мышкой. Форму можно перетаскивать по экрану комбинаций клавиш, менять прозрачность, размер шрифта, отключать прозрачность кликов, скрывать форму. В форме включен режим не показывать окно при демонстрации экрана, однако, могут быть исключения, желательно предварительно проверить. Полную гарантию даст режим демонстрации определённого окна при определении самой демонстрации. Форма всегда находится на переднем плане, поверх всех окон, если прозрачность кликов отключена, её можно перетаскивать (Не перетаскивать в режиме демонстрации экрана, либо отключить режим прилипания Виндовс). В режиме с прозрачностью кликов (клики проходят сквозь окно) может пропадать фокус формы и не срабатывать комбинации клавиш, не являющимися system hot key, в этом случае нужно вернуть фокус специальной комбинацией. Все комбинации клавиш перечислены в окне настроек. Вот эти комбинации (некоторые из них настраиваемые):
Подсказки по окну: * system hot key
• Ctrl + P — скриншот (*)
• Ctrl + R — запись/стоп записи (*)
• Ctrl + A — фокус на окно (*)
• Ctrl + W — прозрачность кликов (*)
• Ctrl + H — скрыть/показать форму
• Ctrl + Стрелки — перемещать окно
• Ctrl + U — загрузка картинки
• Ctrl + '+' и '-' numpad — размер шрифта
• Shift + '+' и '-' numpad — прозрачность
• Ctrl + Shift + O — во весь экран
• Ctrl + S — настройки (*)
• Ctrl + E — сохранить все ответы
• Ctrl + Q — закрыть приложение (*)
(*) system key — независимо от фокуса формы
Подсказки по скроллу: (выводимого текста)
• Ctrl + Shift + Up/Down — прокрутка
• Ctrl + Shift + PageUp/PageDown — прокрутка 10 строк
• Ctrl + Shift + Home/End — начало/конец
ВАЖНО: Настройки не сохраняются при закрытии приложения! Перед каждым началом сеанса выберите нужные опции под данный сеанс, отредактируйте системную фразу. Работу анализа системного звука можно проверить, например запустив видео. Микрофона - просто включив микрофон в настройках и произнеся фразу. На каждую подписку даётся определённое колличество распознаваний скриншотов и фраз. Сколько потрачено можно посмотреть в заголовке окна настроек, раскрыв его на весь экран. Если остаток подходит к концу, сеанс не прервётся, даже если вы потратите больше.
Посмотреть, как работает помощник в реальном времени и оценить скорость ответов можно на Rutube по ссылке ниже. Для демонстрации добавлен режим озвучивания ответа (в скачиваемом приложении его нет за ненадобностью). Поскольку приложение скрыто от захвата экрана, то в видео экран показан с камеры телефона.