İzmir Reservoir and Water Consumption Forecasting

01

Bir şehrin on yıllık su verisi, her ay için bir satır

İzmir’in su verileri yayımlanıyor ama kaynaklar, biçimler ve yayımlanma aralıkları farklı.

İzmir’in barajlarına, su tüketimine ve bunları etkileyen hava koşullarına ilişkin veriler kamuya açık. Farklı kurumlar tarafından, farklı formatlarda, farklı aralıklarla yayımlanıyorlar ve bir kısmı veri olarak değil, yıllık raporların içindeki tablolar olarak geliyor.

Bunun on yıllık kısmını tek bir aylık tabloya koymayı ve baraj doluluk oranının buradan ne kadar iyi tahmin edilebildiğini görmeyi hedefledik. Doluluk oranı, su idaresinin karar verirken kullanabileceği bir gösterge. Anlamlı biçimde raporlayabileceğimiz kadar düşük bir hata ve sonucu kullanacak kişiye açıklayabileceğimiz kadar basit bir model istiyorduk.

Ortaya çıkan kapsam bilerek dar tutuldu. Tek şehir, on yıllık dönem, her ay için tek satır.

• Dönem 2015-01 ile 2024-12 arası, 120 aylık satır
• Hedefler Baraj doluluk oranı (%) ve depolanan hacim (m³)
• Girdiler Tüketim, üretim, nüfus, sıcaklık, yağış, nem, basınç, rüzgâr
• Tüketim kaynakları İZSU abone ve tüketim kayıtları, 2014 ile 2024 arası
• Hava durumu kaynakları Meteoroloji Genel Müdürlüğü istatistikleri, Meteostat istasyonlarından tamamlandı

Birleştirilen aylık tablo kamuya açık. Ekipten biri tarafından Kaggle’da yayımlandı ve bu sayfadaki sayılar da aynı tablodan üretildi.

Veri setini Kaggle’da görüntüle ↗

Fotoğraf: Andyduffraine / Wikimedia Commons, CC BY-SA 4.0

02

Sayılar nereden geldi, nereden gelmedi

Her sütunun hangi kaynaktan geldiği belli. Tabloyu hazırlarken temel hedefimiz buydu.

Farklı kaynaklardaki serileri birleştirirken asıl mesele, hangi verinin nereden geldiğini takip etmek. Bu yapılmazsa tahmin edilen, enterpolasyonla tamamlanan ve gerçekten ölçülen değerler aynı sütunda ayırt edilemez hale geliyor. Kaynak bilgisini bu yüzden doğrudan veriye ekledik. Tüketim satırlarına ilgili İZSU raporunu, meteoroloji satırlarına istasyonu yazdık. Eksik ayları tamamlarken de kullanılan servisi ve tarih aralığını kaydettik.

Meteoroloji serisinde eksik aylar vardı. Bunları enterpolasyonla tamamlamak, araya tahmini değerler ekleyip bu farkı görünmez kılacaktı; ben de eksik ayları bunun yerine Meteostat’ın İzmir istasyon kayıtlarından çektim. Önce Çiğli istasyonu geliyor, yedek olarak Adnan Menderes var. Bağıl nemin eksik olduğu ama sıcaklık ile çiy noktasının bulunduğu yerlerde nem boş bırakılmak yerine Magnus formülüyle türetiliyor.

Bu kodda iki kuralı korudum. Yalnızca eksik değerleri tamamlıyor; mevcut bir ölçümün üzerine başka bir değer yazmıyor. Çıktıya kaynak notunu da ekliyor. Böylece dosyayı sonradan açan kişi, eksik ayların nereden tamamlandığını kimseye sormadan görebiliyor.

for target in [col_prcp, col_nem, col_pres, col_wspd]:
  source = target + '_ms'
    # Fill ONLY the gaps. Never overwrite a real observation.
  mask = df[target].isna() & df[source].notna()
  df.loc[mask, target] = df.loc[mask, source]

df['Kaynak_Notu'] = (
  "Real monthly values. Source: Meteostat monthly/hourly dumps. "
  "Station priority: Çiğli (17218) -> Adnan Menderes (17219). "
  "Coverage: 2015-01 .. 2024-12."
)

Tablodaki her sütun ölçüme dayanmıyor. Evsel, endüstriyel ve tarımsal tüketim dağılımı ile aylık toplam tüketim de tabloda var. İkisi de türetilmiş: ayrım her aya uygulanan tek bir sabit oran, aylık toplam ise günlük değerin otuzla çarpımı. Modeli oluştururken kullanılabiliyorlar ama ölçüm değiller. Bu yüzden bunları ne burada ne de sunumda birer bulgu olarak aktarıyoruz.

03

Basit model neden daha iyi sonuç verdi

120 satır, belirgin mevsimsellik ve büyük ölçüde bir önceki ayın değerine bağlı bir tahmin hedefi.

En çok fark yaratan özellikler zamanla ilgiliydi. Ayı tek bir sayı yerine döngüsel bir çift değerle temsil ettik. Böylece aralık ve ocak, aralarında on bir ay varmış gibi değil, birbirine komşu aylar olarak değerlendiriliyor. Önceki ayın değeri ve üç aylık hareketli ortalama, gecikmeli özellikler olarak eklendi. Mevsimleri one-hot kodladık. Nüfusu kişi başına değerler ve yıllık değişim üzerinden kullandık. Yaz ziyaretçilerinin, takvimin açıklamadığı bir etkiyi açıklayıp açıklamadığını görmek için turist sayısını da denedik.

Linear, ridge ve lasso regresyonu random forest ve gradient boosted tree modelleriyle karşılaştırdık. Bu veri setinde düzenlileştirilmiş doğrusal modeller her iki tahmin hedefinde de daha iyi sonuç verdi.

Bu sonuç, ağaç modellerinin genel olarak daha kötü olduğu anlamına gelmiyor. 120 aylık gözlem oldukça az veri. Tahmin edilen değeri büyük ölçüde mevsimsellik ve önceki ayın değeri belirliyor. Döngüsel ve gecikmeli özellikleri kullanan doğrusal model bu yapıyı doğrudan temsil ediyor. Ensemble modelininse aynı ilişkiyi veriden öğrenmesi gerekiyor; buradaki veri miktarı bunu güvenilir biçimde öğrenmesine yetmiyor.

Burada önemli bir kısıt var. Doğrusal modeller ve ensemble modelleri için eğitim ve test verilerini farklı ayırdık. Dolayısıyla hata değerleri, aynı koşullarda yapılmış bir karşılaştırma değil. Bu veri setinde aldığımız kararı destekliyorlar. İki model ailesinden herhangi biri hakkında genel bir iddiayı desteklemiyorlar.

Cevabı neyin değiştireceğini de yazdık. Aylık yerine haftalık ya da günlük veri, zamanla değişen tahmin hataları, modelin açıklayamadığı doğrusal olmayan bir örüntü ya da buharlaşma ve giriş debisi gibi gerçekten yeni girdiler; ensemble modellerini yeniden denemek için gerekçe olurdu.

04

Gelecek yılı tahmin etmek

Modelin işe yaraması için geleceğe dönük tahminlerde de kullanılabilmesi gerekiyor.

2025 projeksiyonu için ridge regresyonu on yılın tamamı üzerinde eğittik, sonra modeli ay ay ileriye taşıdık. 2025’in her ayına ait lag ve hareketli öznitelikler 2024’ün sonundan hesaplanıyor. Önceden bilinemeyecek girdiler sıcaklık, yağış ve nüfus; bunlar 2024 ortalamalarıyla dolduruluyor.

Bu ortalamalar gerçek bir hava tahmini değil, geçici bir varsayım. Modelin bir yıl boyunca nasıl davranacağını göstermeye yarıyor ama projeksiyonu 2024 yılının hava koşullarına bağlıyor. Sahada kullanılacak bir sürümde bu girdileri meteorolojik tahminlerden alırdım. Sonraki adımda bunu yapmak ve elle topladığımız baraj verilerini otomatik alacak bir süreç kurmak isterdim.