Народно-разговорная лексика составляет живую основу таджикского языка, однако систематизация и изучение этого пласта языка сталкиваются с методологическими трудностями. Поэзия XX века, особенно творчество классиков С. Айни, М. Турсунзаде и Л. Шерали, представляет богатейший материал народной речи, органично вплетенной в художественную ткань произведений [5, с. 8]. Однако отсутствие систематизированного цифрового ресурса затрудняет изучение и преподавание разговорной лексики.

Современные технологии корпусной лингвистики и искусственного интеллекта открывают новые возможности для систематизации языкового материала [1, с. 158]. ИИ-инструменты позволяют автоматизировать процессы аннотирования, классификации и создания образовательных ресурсов на основе аутентичных текстов [3, с. 213]. Применительно к таджикскому языку и литературе подобные разработки находятся на начальной стадии, что определяет актуальность данного исследования.

Народно-разговорная лексика в таджикском языке характеризуется особой экспрессивностью, территориальной вариативностью и функционально-стилистической маркированностью [2, с. 12]. В поэтических текстах она выполняет множественные функции: создание национального колорита, передача живой речи, усиление эмоционального воздействия, установление контакта с народной аудиторией.

Поэтические тексты представляют особую ценность для лингводидактики, поскольку стихотворная форма облегчает запоминание лексических единиц и их контекстуального употребления [4]. Ритмико-мелодическая организация стиха способствует естественному усвоению фонетических и интонационных особенностей разговорной речи.

Корпусный подход в лингвистике предполагает создание репрезентативных массивов текстов с многоуровневой разметкой, позволяющей проводить количественный и качественный анализ языковых явлений. Интеграция искусственного интеллекта расширяет возможности корпусных исследований, обеспечивая автоматизацию трудоемких процессов и создание интеллектуальных образовательных систем [7, с. 245].

Разработанный корпус представляет собой интегрированную цифровую платформу, состоящую из нескольких взаимосвязанных уровней.

Корпус включает полные поэтические собрания трех авторов общим объемом 2847 текстов и 486 тысяч словоупотреблений. Структура базы данных (см. таблицу № 1):

Таблица 1.

Структура текстового массива корпуса

Каждый текст сопровождается метаданными (год создания, место публикации, жанр, тематика, диалектная основа) и представлен в кириллической и латинской графике с параллельным отображением.

Разработана система многоуровневой разметки: морфологический слой (часть речи, грамматические характеристики, словоформа и лемма), семантический слой (тематическая группа, коннотация, синонимические ряды), стилистический слой (разговорное, просторечное, диалектное, фольклорное), территориальный слой (согдийский, хатлонский, горно-бадахшанский диалекты), частотный слой (абсолютная и относительная частотность употребления).

 Технология включает три ИИ-модуля: модуль автоматического выявления разговорной лексики (алгоритм машинного обучения обучен на 15 тысячах лексических единиц, распознает народно-разговорные слова с точностью 87,3%, использует признаки: морфологическая структура, контекстное окружение, частотность, семантическое поле), модуль семантической кластеризации (ИИ-система группирует лексику по тематическим кластерам, применяется модель Word2Vec для таджикского языка, расчет семантической близости по формуле косинусного сходства , модуль генерации образовательного контента (генеративная модель на основе трансформера создает контекстуальные примеры, упражнения, тестовые задания с автоматической проверкой). Веб-платформа обеспечивает конкордансный поиск с фильтрацией, визуализацию статистических данных (графики, диаграммы, облака слов), интерактивные словари с аудиопроизношением, ИИ-ассистента для консультаций по употреблению лексики, персонализированные учебные траектории для студентов.

Таблица 2.

Функционально-стилистическая классификация разговорной лексики

Для каждого автора рассчитан индекс лексического разнообразия разговорной лексики:

где  – количество уникальных разговорных лексем,  – общее количество разговорных словоупотреблений.

Расчеты показывают:

1. С. Айни:
2. М. Турсунзаде:
3. Л. Шерали:

Наиболее высокий показатель у Л. Шерали объясняется его глубокой укорененностью в народной речевой традиции и активным использованием региональной лексики Матчинского района [6].

Корпус позволяет выявить диалектную принадлежность разговорных единиц.

Коэффициент территориальной концентрации для автора  рассчитывается по формуле:

где  – доля диалектизмов зоны  у автора ,  – средняя доля по корпусу,  – количество диалектных зон.

Максимальный коэффициент у С. Айни ( ), что отражает преимущественное использование согдийского диалекта.

Корпус реализован с использованием следующего технологического стека:

I.База данных: PostgreSQL с полнотекстовым поиском,

1. II. Морфологический анализатор: адаптированная модель для таджикского языка,

III. Векторные представления: Word2Vec с размерностью 300,

1. IV. Генеративная модель: GPT-архитектура, дообученная на таджикских текстах,
2. V. Веб-интерфейс: React с адаптивным дизайном,
3. VI. API: RESTful для интеграции с внешними системами.

Производительность системы обеспечивает обработку поисковых запросов за 0,3-0,8 секунды при базе 486 тысяч словоупотреблений.

Дальнейшее развитие корпуса предполагает:

1. Расширение материала: включение прозаических произведений XX века, современной поэзии XXI века,
2. Мультимодальность: добавление аудио- и видеозаписей исполнения стихов для формирования фонетических навыков,
3. Параллельные корпуса: создание переводных версий на русский, английский, персидский языки,
4. Социолингвистическая разметка: аннотация по возрастным, гендерным, социальным характеристикам употребления лексики,
5. Краудсорсинг: привлечение носителей диалектов для уточнения семантики и территориальной привязки слов.

Корпус таджикской поэзии XX века с интеграцией инструментов искусственного интеллекта представляет собой инновационный образовательный ресурс, сочетающий традиции национальной поэзии с современными цифровыми технологиями. Систематизация народно-разговорной лексики на материале творчества С. Айни, М. Турсунзаде и Л. Шерали создает научную базу для изучения живой речевой традиции и обеспечивает сохранение языкового наследия в цифровом формате. Применение методов машинного обучения позволяет автоматизировать лингвистический анализ и создавать персонализированные образовательные траектории для студентов-филологов.