Quyosh energiyasi bashorati va anomaliyalarni aniqlash tizimlarini ishga tushirish

Muammo

Kompaniya elektr energiyasi vositachiligiga kirishayotgan edi. Vositachilik — kichik quyosh stansiyalari ishlab chiqargan energiyani Korea Power Exchange (KPX) birjasida sotish degani. Bunda qatnashish uchun kompaniya stansiyalar qancha energiya ishlab chiqarishini yetarlicha aniq bashorat qilishi kerak.

Kompaniyaga, shuningdek, stansiya yuboradigan koʻrsatkichlardan stansiyadagi muammolarni erta payqash ham kerak edi.

Shuning uchun ikkita model faqat tajribalarda emas, real ishda ishlashi kerak edi:

• har bir stansiya ishlab chiqarishining KPX uchun yetarlicha aniq bashorati va
• stansiya maʼlumotlaridagi gʻayrioddiy koʻrsatkichlarni aniqlaydigan detektor.

Ikkalasi ham ishonchli ishlashi va tijoriy VPP platformasiga ulanishi kerak edi.

Tizim sxemasi

1. Stansiya maʼlumotlari Quyosh elektr stansiyalaridan vaqt qatori koʻrinishida keladigan koʻrsatkichlar, har bir stansiyadan koʻplab oʻlchovlar.
2. Oʻqitish PyTorch modellari, tajribalar MLflow orqali kuzatiladi. Anomaliyalarni aniqlash modeli har kecha qayta oʻqitiladi.
3. Modellar Har bir stansiya ishlab chiqarishining bashorati va grafga asoslangan (GNN) anomaliya detektori.
4. Inferens API FastAPI xizmatlari bashoratlar va anomaliya natijalarini taqdim etadi.
5. VPP platformasi Xizmatlar tijoriy virtual elektr stansiyasi platformasiga ulanadi.

• CI/CDGitHub Actions konteynerlashtirilgan xizmatlarni joylashtiradi
• InfratuzilmaPostgreSQL bilan ishlaydigan Docker Compose xizmatlari
• MonitoringPrometheus metrikalari va Grafana panellari

Ishlab turgan tizimning skrinshotlari. Stansiya nomi, joylashuvi va savdo koʻrsatkichlari yopilgan.

• Modellar ulangan platformaning bosh ekrani

Bashorat qilish

• AI Engineer sifatida birinchi bashorat modelini PyTorch yordamida yaratdim. Uning oʻrtacha xatoligi 10 foizdan past edi, shu tufayli kompaniya KPX bozorida ishlash talablariga javob berdi.
• Jamoa rahbari sifatida maʼlumotlarni tahlil qilib va modelni sozlab, xatolikni 9 foizdan 7 foizga tushirdim. Bu elektr energiyasi vositachiligidan daromad olish imkonini berdi.

Oldin 9%

Keyin 7%

• Soatlik ishlab chiqarish va bashorat, ustunlar koʻrinishida
• Boshqa bir hafta uchun bashorat va haqiqiy ishlab chiqarish
• Har bir soat uchun xatolik jadvali bor bashorat sahifasi

Quyosh elektr stansiyalari uchun anomaliyalarni aniqlash

Detektor — graf neyron tarmogʻi (GNNAD). U stansiya koʻrsatkichlari odatda qanday birga oʻzgarishini oʻrganadi va shu qolipdan chiqqan koʻrsatkichlarni aniqlaydi.

Amaliyotchi sifatida uning birinchi versiyasini sozladim, tajribalarni MLflow orqali kuzatdim va uni VPP platformasiga ulaydigan FastAPI endpointlarini yaratdim. Jamoa rahbari sifatida esa uning aniqligini bosqichma-bosqich oshirdim va har bir bosqichni oʻlchadim:

• Xatolarni aniqroq koʻrish. Ochiq kodli kodni jiddiy qayta ishladim va har bir belgi (feature) boʻyicha bashoratni haqiqiy koʻrsatkich bilan solishtiradigan grafiklar qoʻshdim, shunda model qayerda adashganini koʻra oldik.
• Xatolikni yaxshiroq hisoblash precision koʻrsatkichini 5 foiz punktiga, recall koʻrsatkichini esa 7 foiz punktiga oshirdi.
• Soatlik chegaralar. Butun kun uchun bitta chegara baʼzi soatlardagi anomaliyalarni oʻtkazib yuborardi, chunki xatolik kun davomida oʻzgaradi. Har soat uchun bittadan, jami 24 ta chegara ishlatish recall koʻrsatkichini 10 punktga oshirdi.
• Tozaroq oʻqitish maʼlumotlari. Oʻqitish toʻplamidan anomal nuqtalarni olib tashlash precision koʻrsatkichini 30 punktga, recall koʻrsatkichini esa 20 punktga oshirdi.
• Halol validatsiya. Kross-validatsiya real ishdagidek oʻtkaziladi: 16 nuqtali inferens oynalari, soatlik chegaralar va har kecha qayta oʻqitish bilan, shunda yaxshi test natijasi real ishda ham yaxshi natija degani boʻladi.

Jami precision taxminan 35 foiz punktiga, recall esa taxminan 37 foiz punktiga oshdi. Oddiy qilib aytganda, detektor soxta ogohlantirishlarni ancha kam berdi va haqiqiy muammolarni ancha kam oʻtkazib yubordi.

Precision +5 +30 +35 punkt

Recall +7 +10 +20 +37 punkt

• Xatolikni yaxshiroq hisoblash
• Soatlik chegaralar
• Tozaroq oʻqitish maʼlumotlari

• Anomaliyalar topildi: tizim tegishli belgilarni koʻrsatadi va nuqtalarni qizil yoki sariq rangda belgilaydi
• Xuddi shu davr, kuchlanish grafigida
• Monitoring: anomaliya topilmadi

MLOps va joylashtirish

• AI Engineer sifatida detektorni konteynerlarga joyladim va uni joylashtirishni GitHub Actions yordamida avtomatlashtirdim. Joylashtirish vaqti 3 soatdan 15 daqiqaga qisqardi.
• Jamoa rahbari sifatida MLOps tizimining qolgan qismini qurdim: PostgreSQL bilan ishlaydigan Docker Compose xizmatlari, GitHub Actions orqali joylashtirish va Grafana panellaridagi Prometheus metrikalari. Qoʻlda bajariladigan operatsion ishlar 80 foizga kamaydi, bu yiliga taxminan $48 ming tejadi.

Joylashtirish vaqti

Oldin 3 soat

Keyin 15 daqiqa

Qoʻlda bajariladigan operatsion ishlar

Oldin

Keyin −80%

Jamoaga rahbarlik

AI Team Lead sifatida ML, backend va frontend jamoalarini boshqardim. Vazifam modellar tajriba boʻlib qolib ketmasligini taʼminlash edi: ular har kuni ishlashi va VPP platformasiga toʻgʻri ulanishi kerak edi.

Natijalar

• 9% → 7%bashorat xatoligi, bu KPX birjasida vositachilikdan daromad olish imkonini berdi
• +35 / +37 punktdetektorning precision / recall koʻrsatkichlari
• 3 soat → 15 daqiqajoylashtirish vaqti
• −80%qoʻlda bajariladigan operatsion ishlar, yiliga taxminan $48 ming

Bu sahifada ish beruvchining kodi, ichki maʼlumotlar va yopiq URL manzillar keltirilmagan.