Подробнее о проекте

Компания CDO Global с подошла к выполнению проекта по разработке и реализации системы оценки специалистов для одного из ведущих игроков в нефтегазовой отрасли - Газпром Проектирование. Целью проекта была разработка инновационной платформы для проведения тестирования специалистов различных специальностей по всем филиалам компании, охватывая территорию всей страны. Основной задачей стояло создание банка вопросов, каждый из которых должен был отражать специфику работы сотрудников и соответствовать их профессиональным компетенциям.

Особенностью разработанной системы было то, что тесты состояли из вопросов, каждый из которых предлагал испытуемым четыре варианта ответа, среди которых только один был верным. Такой подход позволил не только оценить уровень знаний специалистов, но и проанализировать их способность к логическому мышлению и принятию обоснованных решений в условиях неопределенности.

1. Генерация банков вопросов 

Процесс генерации банков вопросов был основан на использовании передовых технологий искусственного интеллекта, в частности, на применении Transform моделей, а также на разработке и адаптации собственной крупномасштабной языковой модели (LLM). Эти модели были обучены на обширном массиве документации, охватывающем широкий спектр дисциплин и специальностей в Газпром Проектировании, что позволило достичь высокой степени понимания и релевантности сгенерированных вопросов.

Разработка моделей требовала тщательного подбора данных для обучения, включая научные статьи, технические руководства, нормативно-правовые акты, а также внутренние учебные материалы Газпром Проектирования. Особое внимание было уделено обеспечению того, чтобы вопросы были не только технически точными, но и практически релевантными, отражая реальные сценарии и вызовы, с которыми специалисты могут столкнуться в своей работе.

Создание эффективной матрицы связей было ключевым аспектом проекта, поскольку оно позволяло точно сопоставлять вопросы с каждым специалистом на основе множества параметров. В числе наиболее значимых параметров были дисциплина и зона ответственности, но система также учитывала категорию компетенции, индикаторы, направление деятельности, уровень компетенции и конкретную специальность сотрудника. Это обеспечило высокую степень персонализации вопросов, делая тестирование максимально целенаправленным и эффективным.

Разработка матрицы требовала тесного взаимодействия с экспертами Газпром Проектирования для понимания уникальных требований и стандартов компании. Это позволило команде CDO Global адаптировать модель под конкретные нужды заказчика, обеспечивая таким образом высокую точность и релевантность сопоставления.

3. Процесс обучения и настройки модели

Процесс обучения и настройки ИИ-модели был многоэтапным и включал в себя не только первоначальное обучение на предоставленных документах, но и постоянную адаптацию модели с учетом поступающей обратной связи от специалистов Газпром Проектирования. Это подразумевало постоянную корректировку параметров модели, тонкую настройку и оптимизацию для достижения наилучших результатов.

Важной частью процесса было проведение пилотного тестирования с участием ограниченной группы специалистов для оценки эффективности вопросов и точности матрицы связей. Полученные данные использовались для дальнейшего уточнения модели, что позволило значительно повысить качество и релевантность тестовых вопросов перед их широким внедрением во всех филиалах компании.

4. Обратная связь от Заказчика

Обратная связь от специалистов Заказчика играла критически важную роль в процессе уточнения и совершенствования системы тестирования. После первичного этапа тестирования специалисты Газпром Проектирования предоставляли комментарии и оценки, которые затем анализировались командой CDO Global с целью классификации и коррекции обнаруженных ошибок и неточностей.

5. Анализ результатов и рекомендации

Анализ результатов тестирования и подготовка персонализированных отчетов для каждого специалиста были выполнены с использованием методов обработки больших данных и аналитики. Ключевым этапом стало сбор и структурирование данных о результатах тестов, которые затем подвергались комплексному анализу для выявления как общих тенденций, так и индивидуальных особенностей профессиональных компетенций специалистов.

Для каждого специалиста был разработан подробный отчет, включающий:

• Общую оценку -сводный показатель результатов, позволяющий оценить общий уровень знаний и навыков.

• Анализ сильных и слабых сторон - детализированный разбор областей, где специалист демонстрирует высокие результаты, а также тех, которые требуют дополнительного развития.

• Рекомендации по улучшению - практические советы и указания на ресурсы для самостоятельного обучения, направленные на устранение выявленных пробелов в знаниях и умениях.

Анализ данных и подготовка отчетов требовали применения сложных алгоритмов и инструментов аналитики, а также глубокого понимания специфики работы в нефтегазовой отрасли. Этот подход позволил не только оценить текущий уровень компетенций сотрудников, но и предоставить им ценные рекомендации для профессионального развития, способствующие повышению общей эффективности работы в Газпром Проектировании.

Проект подчеркнул значимость индивидуального подхода к оценке знаний и навыков сотрудников, предоставив компании Газпром Проектирование детальную картину профессиональных компетенций в рамках всей организации. Результаты тестирования и последующий анализ данных предоставили ценную информацию для разработки целенаправленных программ обучения и развития, направленных на укрепление слабых сторон и дальнейшее углубление сильных качеств специалистов.