Учебный · Python / Software Engineering
Поиск по документам с RAG
Учебный RAG-сервис: вопросы к документу и ответы с найденными фрагментами.
- Python
- ChromaDB
- Ollama
- FastAPI
- Streamlit
- LangChain
- sentence-transformers
Кратко о проекте и вкладе
Собрал учебную систему вопросов и ответов по Конституции РФ: подготовку и индексацию текста, поиск фрагментов, переранжирование и генерацию через Ollama. Связал RAG-пайплайн с FastAPI и интерфейсом Streamlit.
Для чего нужен проект
Учебный сервис отвечает на вопросы по документу, используя найденные в нём фрагменты. В проекте источником служит текст Конституции РФ. Вместе с ответом интерфейс показывает фрагменты, на которые опиралась генерация.
Что я делал
- Подготавливал текст, делил его на фрагменты и собирал индекс в ChromaDB.
- Соединял поиск релевантных фрагментов с переранжированием через cross-encoder.
- Интегрировал генерацию ответа через Ollama.
- Предоставлял пайплайн через FastAPI и связывал его с интерфейсом Streamlit.
Технический подход
RAG связывает поиск по документу и генерацию ответа. Сначала система выбирает фрагменты, затем уточняет их порядок и передаёт контекст языковой модели. LangChain и sentence-transformers помогают собрать этапы обработки.
Это учебный проект по интеграции готовых моделей и инструментов. Его ответы требуют проверки по первоисточнику.