Обзор проекта на Русском(you can see eng version further)

Проект нацелен на создание, обучение и использование языковой модели, адаптированной для работы с лекционными материалами в формате PDF. Он включает полный цикл обработки данных – от извлечения текста до дообучения модели с применением современных методов, таких как LoRA, и подготовку к семантическому поиску. Скорость и качество обучения напрямую зависят от мощности Вашего ПК! У меня, например, gtx 1070 и 32 gb RAM, не самое мощное железо, не так ли? Единственная проблема, с которой я столкнулся, это очень медленные обучение и генерация ответа.

Основные компоненты проекта

1. Извлечение текста из PDF

• Скрипт: extract_text.py
  Скрипт отвечает за чтение PDF-файлов, извлечение текста с помощью библиотеки pdfminer и сохранение его в текстовом формате. Это позволяет подготовить данные для последующих этапов обработки.

2. Разбиение текста на фрагменты

• Скрипт: split_text.py
  Текстовые файлы делятся на небольшие части (чанки) с ограниченной длиной (например, 512 символов). Такой подход обеспечивает удобство обработки данных при обучении модели.

3. Аугментация текстовых данных

• Скрипт: augment_text.py
  Для увеличения объема данных и повышения их разнообразия применяется аугментация с использованием библиотеки nlpaug. Скрипт создает несколько вариантов каждого текстового файла путём случайного обмена слов.

4. Создание датасета

• Скрипт: create_dataset.py
  Агрегирует аугментированные тексты, разделяя их на обучающую, валидационную и тестовую выборки с помощью функции train_test_split из scikit-learn. Это позволяет структурировать данные для эффективного обучения модели.

5. Обучение языковой модели

• Скрипт: train_llama.py
  Основной модуль обучения, который включает:
  • Загрузку и объединение данных (из исходных и аугментированных текстов);
  • Токенизацию текстов с использованием модели и токенизатора LLaMA;
  • Настройку модели с применением LoRA для эффективной донастройки параметров;
  • Конфигурацию обучения через Trainer из Hugging Face Transformers;
  • Сохранение итоговой модели и токенизатора для дальнейшего использования.

6. Подготовка к семантическому поиску

• Скрипт: create_faiss_index.py
  Хотя текущая версия скрипта содержит базовые настройки для работы с NLTK, он намекает на будущую интеграцию с FAISS — библиотекой для быстрого поиска по векторным представлениям текстов, что может быть использовано для семантического поиска или реализации систем вопрос-ответ.

---

Структура проекта

• data/
  Содержит:

  • Исходные PDF-файлы
  • Извлеченные тексты
  • Подготовленные датасеты (разделенные на train, val и test)

• scripts/
  Здесь расположены все скрипты для обработки данных и обучения модели:

  • extract_text.py – извлечение текста из PDF
  • split_text.py – разбиение текста на фрагменты
  • augment_text.py – аугментация текстов
  • create_dataset.py – создание и разделение датасета
  • train_llama.py – дообучение языковой модели
  • chat_interface_web.py – общение с ИИ в браузере(локально)

• models/
  Содержит сохранённые модели, логи обучения и результаты дообучения.

Дополнительные сведения и инструкции по установке и запуску проекта приведены в файле README.md.

---

Итог

Проект представляет собой комплексное решение для создания языковой модели, способной работать с лекционными материалами. Он автоматизирует подготовку данных – от извлечения текста из PDF до разделения, аугментации и структурирования датасета, а затем использует современные методы дообучения (с применением LoRA) для адаптации модели LLaMA. Возможная интеграция с FAISS открывает перспективы для реализации семантического поиска и интерактивных систем, что делает проект полезным инструментом для образовательных и исследовательских целей.\

---

---

Project Overview in English

The project is aimed at creating, training, and using a language model tailored for working with lecture materials in PDF format. It encompasses a complete data processing pipeline – from text extraction to model fine-tuning using modern techniques such as LoRA, as well as preparation for semantic search. The speed and quality of learning directly depend on the power of your PC! For example, I have a gtx 1070 and 32 gb of RAM, which is not the most powerful hardware, is it? The only problem I've encountered is very slow learning and response generation.

---

Main Components of the Project

1. Text Extraction from PDFs

• Script: extract_text.py
  This script is responsible for reading PDF files, extracting text using the pdfminer library, and saving it in a text format. This process prepares the data for subsequent processing stages.

2. Splitting Text into Chunks

• Script: split_text.py
  Text files are divided into smaller chunks with a limited length (e.g., 512 characters). This approach ensures the data is conveniently processed during model training.

3. Text Data Augmentation

• Script: augment_text.py
  To increase the volume and diversity of the data, augmentation is applied using the nlpaug library. The script generates several variants of each text file by randomly swapping words.

4. Dataset Creation

• Script: create_dataset.py
  This script aggregates the augmented texts and splits them into training, validation, and test sets using the train_test_split function from scikit-learn. This structuring facilitates efficient model training.

5. Language Model Training

• Script: train_llama.py
  The main training module includes:
  • Loading and combining data from original and augmented texts;
  • Tokenizing texts using the LLaMA model and its tokenizer;
  • Configuring the model with LoRA for efficient parameter fine-tuning;
  • Setting up training via the Trainer from Hugging Face Transformers;
  • Saving the final model and tokenizer for future use.

6. Preparing for semantic search

• Script: create_faiss_index.py
  Although the current version of the script contains basic settings for working with NLTK, it hints at future integration with the FAISS library for fast search through vector representations of texts, which can be used for semantic search or the implementation of question-answer systems.

---

Project Structure

• data/
  Contains:

  • Original PDF files
  • Extracted texts
  • Prepared datasets (divided into train, val, and test)

• scripts/
  This directory contains all scripts for data processing and model training:

  • extract_text.py – text extraction from PDFs
  • split_text.py – splitting text into chunks
  • augment_text.py – text augmentation
  • create_dataset.py – dataset creation and splitting
  • train_llama.py – language model fine-tuning
  • chat_interface_web.py – interacting with the AI in a web browser (locally)

• models/
  Contains saved models, training logs, and fine-tuning results.

Additional details and installation instructions are provided in the README.md file.

---

Conclusion

The project represents a comprehensive solution for building a language model capable of processing lecture materials. It automates data preparation—from extracting text from PDFs to splitting, augmenting, and structuring the dataset—and then employs modern fine-tuning techniques (such as LoRA) to adapt the LLaMA model. Potential integration with FAISS opens up prospects for implementing semantic search and interactive systems, making the project a valuable tool for educational and research purposes.