Süni intellekt üzrə qiymətləndirmə mühəndisi (Rəqəmsal kanallar sahəsi)

Görəcəyiniz işlər:Süni intellekt əsaslı məhsul və funksiyalar üçün qiymətləndirmə strategiyalarını hazırlamaq və icra etmək;Biznes tələblərini, istifadəçi ssenarilərini və dialoq axınlarını ölçülə bilən test ssenarilərinə çevirmək;Qiymətləndirmə dataset-lərini, benchmark-ları, reqressiya test paketlərini və təkrar istifadə oluna bilən test aktivlərini hazırlamaq, saxlamaq və təkmilləşdirmək;Süni intellekt tətbiqləri üzrə funksional, konversasiya, exploratory, API və reqressiya testlərini icra etmək;Əsas istifadəçi ssenariləri, kənar hallar (edge case), çoxdilli istifadə, qeyri-müəyyən sorğular və adversarial ssenarilər üzrə test əhatəsini təmin etmək;Süni intellekt funksiyaları üçün qiymətləndirmə meyarlarını, keyfiyyət metrikalarını, qiymətləndirmə şkalalarını (scoring rubric), qəbul və reqressiya kriteriyalarını hazırlamaq;Deterministik yoxlamaları, qiymətləndirmə mexanizmlərini və avtomatlaşdırılmış qiymətləndirmə proseslərini hazırlamaq;Prompt, model, məlumatların axtarışı (retrieval) və kontekst dəyişikliklərindən sonra qiymətləndirmə və reqressiya testlərini aparmaq;Production mühitində aşkarlanan problemləri və süni intellekt xətalarını təhlil edərək yeni reqressiya test ssenariləri hazırlamaq;Süni intellekt üzrə keyfiyyət göstəricilərini monitorinq etmək, reqressiyaları müəyyənləşdirmək və müvafiq hesabatlar hazırlamaq;Applied AI Engineer, QA Engineer, Product Owner və Context Engineer komandaları ilə əməkdaşlıq edərək problemləri araşdırmaq və süni intellekt əsaslı məhsulların davamlı təkmilləşdirilməsində iştirak etmək.Bizim üçün uyğun namizəd:Ali təhsilə;Software QA, Test Automation, Quality Engineering və ya əlaqəli texniki sahələr üzrə minimum 3 il iş təcrübəsinə;Software Quality Assurance prinsipləri, test dizaynı və test strategiyalarının hazırlanması üzrə bilik və təcrübəyə;Manual və ya avtomatlaşdırılmış testlərin, o cümlədən funksional, exploratory, reqressiya və API testlərinin icrası üzrə təcrübəyə;REST API və inteqrasiya olunmuş sistemlərin test edilməsi üzrə bilik və təcrübəyə;SQL üzrə biliklərə;Python və ya digər skript dillərindən biri üzrə baza biliklərinə;Biznes tələblərini ölçülə bilən test ssenarilərinə və qiymətləndirmə meyarlarına çevirmək bacarığına;Hallüsinasiyalar, alətlərin yanlış istifadəsi, kontekst problemləri və təhlükəli süni intellekt cavabları kimi AI sistemlərinə xas xəta ssenariləri barədə anlayışa;Güclü analitik düşüncə, problem həll etmə və detallara diqqət bacarıqlarına;Güclü kommunikasiya və komanda ilə işləmək bacarığına;Agile metodologiyası üzrə iş təcrübəsinə;Süni intellekt texnologiyalarına yüksək marağa və AI Evaluation sahəsində inkişaf etmək istəyinə sahib olan şəxsdir.Üstünlükdür:Testlərin avtomatlaşdırılması üzrə təcrübə;Large Language Models (LLM) və Generative AI texnologiyaları üzrə baza bilikləri;Prompt Engineering və Retrieval-Augmented Generation (RAG) üzrə baza bilikləri;AI Agent və Tool Calling sistemləri ilə tanışlıq;Git və CI/CD üzrə baza bilikləri;Keyfiyyət metrikaları, dashboard-lar və hesabatlarla işləmək təcrübəsi;Statistik analiz və eksperiment nəticələrinin interpretasiyası üzrə baza bilikləri;DeepEval, Promptfoo, RAGAS və ya oxşar AI Evaluation framework-ləri ilə iş təcrübəsi;Conversational AI və AI Agent sistemlərinin test edilməsi üzrə təcrübə;Model-based grader, avtomatlaşdırılmış qiymətləndirmə prosesləri və AI observability alətləri ilə iş təcrübəsi;AI Safety, Robustness, Adversarial Testing və Machine Learning üzrə baza bilikləri.