Yeni Özelliklerin Türetilmesi
Veri temizleme süreci, yapay zeka modellerinin tutarlı sonuçlar üretebilmesi için temel bir adımdır. Toplanan kayıtlar çoğu zaman mükerrer satırlar ve tutarsız biçimler içerir. Bu nedenle analistler önce kayıtları inceler ve hatalı girdileri ayırır. Eksik değer problemi ise çoğunlukla ortalama ya da mod gibi basit yöntemlerle doldurulur. Sayısal sütunlarda medyan değeri tercih edilir, çünkü aşırı sapmalardan daha az zarar görür. Kategorik sütunlarda ise en sık tekrarlanan kategori doldurma için uygun bir seçenek olabilir. Bazı durumlarda satır tamamen çıkarılır, özellikle eksik oranı yüksek ise. Boşluk deseninin rastgele mi yoksa sistematik mi olduğu incelenmelidir. Sistematik kayıplar modelde yanlılığa yol açabilir. Temizleme adımları her zaman kayıt altına alınmalı ve tekrarlanabilir olmalıdır. Böylece proje üyeleri hangi kararın hangi gerekçeyle alındığını anlayabilir.
Aykırı değer tespiti, veri setindeki beklenmedik gözlemleri ayırt etmek için başvurulan bir süreçtir. Bu değerler ölçüm hatası olabileceği gibi gerçek ama nadir olaylardan da kaynaklanabilir. temel bir yaklaşım IQR yöntemidir ve alt ile üst çeyrek aralığındaki farkla sınırlar belirler. Z-skoru yöntemi ise ortalamadan kaç standart sapma uzakta olduğuna bakar. Normal dağılıma benzer verilerde bu yaklaşım son derece etkilidir. Ancak çarpık dağılımlarda sonuçlar yanıltıcı olabilir. Bu durumda yalıtım ormanı gibi karmaşık algoritmalar düşünülebilir. Aykırı değerleri doğrudan silmek her zaman doğru karar değildir. Bazen değer kırpılarak (winsorizing) sınırlar içine alınır. Bu yöntem verinin büyük kısmını koruyarak sapma etkisini azaltır. Her yaklaşımın alan bilgisiyle değerlendirilmesi gerekir. Uzman görüşü, hangi gerçek sinyal olduğunu belirlemede çok değerlidir.
Değişken ölçekleme, farklı aralıklardaki sayısal değişkenlerin modele adil biçimde etki yapmasını sağlar. Uzaklık temelli algoritmalar, örneğin KNN veya destek vektör makineleri, ölçek farklarından belirgin biçimde etkilenir. En küçük-en büyük ölçeklendirme değerleri belirli bir aralığa, genellikle sıfır ile bir arasına çeker. Bu yöntem aykırı değerlere karşı duyarlıdır, çünkü maksimum değerler tüm ölçeği etkiler. Z-skor dönüşümü ise ortalamayı sıfıra ve standart sapmayı bire getirir. Bu yöntem simetrik dağılımlı veriler için sıkça tercih edilir. Ağaç tabanlı modeller ise ölçeğe büyük ölçüde duyarlı değildir. Dolayısıyla her algoritma için ayrı bir değerlendirme yapmak gerekir. Ölçeklendirici yalnızca eğitim verisiyle öğrenilmeli, ardından test verisine uygulanmalıdır. Aksi halde veri sızıntısı ortaya çıkar ve başarı ölçümleri yanıltıcı olur. Pipeline yapıları bu hatayı önlemek için sıklıkla kullanılır.
Kategorik veriler, makine öğrenmesi modellerinin doğrudan işleyemeyeceği metin biçiminde bilgilerdir. Bu nedenle matematiksel bir temsile dönüştürülmeleri gerekir. One-hot kodlama, her kategori için ayrı bir ikili sütun oluşturur. Bu yöntem sıralama içermeyen nominal değişkenler için uygundur. Ancak çok sayıda sınıfı olan değişkenlerde sütun sayısı hızla büyür. Bu durumda hedef kodlama gibi seçenekler düşünülebilir. Label encoding her kategoriye bir tam sayı verir, ancak bu yapay bir sıralama yaratabilir. Sıralı derecelendirilmiş değişkenlerde ise düzen bilgisi muhafaza edilerek sayılara dönüştürülür. Eğitim ile değerlendirme verilerindeki kategori listelerinin tutarlı olması önemlidir. Yeni görülen bir kategori sistemi bozabilir. Bu yüzden görülmemiş değerler için özel bir işleme sahip olmak işe yarar.
Yazılı içerik üzerinde belirteçleme, ham karakter dizilerini modelin işleyebileceği parçalara ayırma işlemidir. Sözcük temelli tokenizasyon boşluk ve noktalama işaretlerine dayanarak böler. Bu yöntem anlaşılır olsa da kelime dağarcığı dışındaki kelimelerle zorluk yaşar. Alt kelime yöntemleri, örneğin çift bayt kodlaması, sık geçen karakter dizilerini birleştirerek esnek bir sözlük kurar. Türkçe gibi sondan eklemeli dillerde bu yaklaşım özellikle faydalıdır. Gövde ve çekimler ayrı tokenlara bölünebilir. Büyük küçük harf çevrimi de hazırlığın önemli bir parçasıdır. Durdurma sözcükleri çıkarılabilir, ancak bazı görevlerde bu kelimeler anlam içerir. Dolayısıyla kaldırma kararı probleme göre değerlendirilmelidir. Özel karakterler ve emojiler için ayrı işlemler belirlenmelidir. Doğru tokenizasyon, modelin bağlamı yakalamasında belirleyici bir rol oynar.
Veri normalizasyonu işlemi, farklı ölçeklerdeki özelliklerin dengeli bir şekilde karşılaştırılabilmesi için kritik bir adımdır. Min-max ölçekleme gibi yöntemler, değerleri belirli bir aralığa çekerek modelin tek bir özelliğe orantısız ağırlık vermesini engeller. Mühendisler bu dönüşümü yaparken aykırı değerlerin etkisini da dikkate bulundurmalıdır. Bilhassa mesafe temelli algoritmalarda, normalizasyon eksik yapıldığında sonuçlar belirgin biçimde bozulabilir. Uygun bir yöntem seçildiğinde ise öğrenme süreci daha hızlı ilerler. Uygulama sırasında ölçekleyici yalnızca eğitim verisi üzerinde öğrenilmeli, ardından test verisine değişmeden uygulanmalıdır. Aksi halde veri sızıntısı oluşur ve performans ölçümü gerçeği yansıtmayan hale gelir. Sayısal ve kategorik değişkenlerin ayrı ele alınması da çoğu zaman gözden kaçırılan bir noktadır. Sonuç olarak normalizasyon, modelin kararlılığını doğrudan etkileyen temel bir hazırlık aşamasıdır.
Değişken seçimi süreci, modelin gereksiz bilgiyle yüklenmesini önlemek amacıyla uygulanan kritik bir adımdır. Korelasyon analizi ile hedef değişkenle güçlü ilişkisi olmayan veya birbiriyle aşırı korele olan özellikler elenebilir. Filtre yöntemler arasından veri yapısına uygun olan tercih edilmelidir. Boyut küçültme teknikleri ise özellik sayısını azaltarak hesaplama maliyetini düşürür. PCA bu bağlamda en yaygın kullanılan yöntemlerden biri olarak öne çıkar. Ancak dönüştürülen bileşenlerin yorumlanabilirliği azalabilir, bu dengesizlik göz önünde bulundurulmalıdır. Karmaşık ilişkiler söz konusu olduğunda t-SNE veya UMAP gibi alternatifler değerlendirilebilir. İyi bir seçim, eğitim süresini belirgin biçimde kısaltabilir. Buna ek olarak aşırı öğrenme riski de azalır. Nihayetinde hedef, bilgi kaybını en düşük seviyede tutarak verimli bir temsil elde etmektir.
Veri çoğaltma teknikleri, yetersiz sayıda örnekle eğitilen modellerin genelleme kapasitesini geliştirmek için sık olarak tercih edilen yöntemlerdir. Görüntü verilerinde döndürme, kırpma ve parlaklık değişimi gibi işlemler rutin olarak uygulanır. Metin verilerinde ise eş anlamlı kelime ikamesi veya geri çeviri yöntemleri tercih edilmektedir. Akustik verilere gürültü ekleme veya hız ayarı uygulanabilir. Bu yöntemler sayesinde model, farklı koşullara daha dayanıklı hale gelir. Ancak üretilen örneklerin etiketlerinin tutarlılığı her zaman korunmalıdır. Aşırı dönüşüm ise gerçek dağılımdan uzaklaşmaya neden olabilir. Yapay veri üretimi için üretken modeller de giderek daha çok kullanılmaktadır. Burada kalite kontrolü büyük önem taşır. Sonuç olarak veri artırma, doğru kullanıldığında modelin başarısını anlamlı ölçüde yükseltir.
Sınıf dengesizliği olan veriler, bir sınıfın diğerlerine göre çok daha fazla örneğe sahip olduğu durumlarda ortaya çıkar ve modelin çoğunluk sınıfına yönelmesine yol açar. Bu sorun özellikle dolandırıcılık tespiti ve tıbbi teşhis gibi alanlarda ciddi sonuçlar doğurabilir. Yeniden örnekleme yöntemleri, azınlık sınıfını çoğaltarak ya da çoğunluk sınıfını azaltarak dengeyi sağlamaya çalışır. Sentetik azınlık örnekleme gibi algoritmalar, mevcut örnekler arasında sentetik noktalar oluşturarak bu işlemi daha akıllı hale getirir. Ancak rastgele fazla örnekleme, aşırı öğrenmeye zemin çıkarabilir. Sınıf ağırlıklandırma de tamamlayıcı bir çözüm olarak değerlendirilebilir. Bu yöntemde hatalı sınıflandırmanın cezası azınlık sınıfı için yükseltilir. Performans ölçümü aşamasında doğruluk yerine kesinlik ve duyarlılık gibi metrikler tercih edilmelidir. Böylece model gerçek performansı konusunda daha net bir resim verir.
Eğitim ve test verisi ayrımı, modelin daha önce verilerde hangi düzeyde başarılı olacağını değerlendirmek için zorunlu bir işlemdir. Çoğunlukla veri setinin yüzde yetmişi ile yüzde seksen aralığı eğitim için, kalanı test için ayrılır. Rastgele bölme yöntemi, örneklerin korunması bakımından her zaman yeterli olmayabilir. Katmanlı örnekleme ile sınıf oranları iki kümede da sabit tutulabilir. Zaman serisi verilerde ise geleceğin geçmişi tahmin etmesini engellemek için kronolojik bölme tercih edilmelidir. Çapraz doğrulama ile daha sağlam bir performans tahmini elde edilebilir. Test verisi model geliştirme sürecinde tekrar tekrar kullanılmamalıdır. Aksi halde model dolaylı olarak test verisine aşırı uyum gösterir. Ayrı bir validasyon verisi bu sorunu azaltmak adına kullanışlı bir çözümdür. Kısacası doğru bir veri ayrımı, güvenilir ve yinelenebilir sonuçların temelini oluşturur.
Veri ön işleme başlangıç kavramlar
Yapay zeka modellerinde ham veri hazırlama adımı, modelin başarısını doğrudan etkileyen temel bir aşamadır. İşlenmemiş veriler çoğu zaman eksik değerler, gürültülü kayıtlar, tutarsız biçimler ve farklı ölçeklerdeki sayısal alanlar içerir. Bu nedenle veri bilimcileri, modele girdi sağlamadan önce verileri hazırlamak zorundadır. Temizleme aşamasında çift kayıtlar çıkarılır ve hatalı değerler düzeltilir. Eksik veriler için ortalama, medyan veya mod gibi yöntemler kullanılabilir. Kategorik değişkenler ise one-hot kodlama veya etiket kodlama gibi nümerik biçimlere dönüştürülür. Bu temel adımlar tamamlandığında veri seti, eğitim sürecine sağlam bir zeminde aktarılabilecek hazırlık düzeyine ulaşır.
Sık işlenen yanlışlar
Ön işleme sürecinde özellikle karşılaşılan hatalardan biri, verinin train ve test parçalarına bölünmeden önce işlenmesidir. Bu durum, test verisinden veri sızmasına yol açar ve modelin sahici performansını yanıltıcı kılar. Bir diğer sık hata ise aykırı değerlerin kontrol edilmeden silinmesi veya bilinçsizce korunmasıdır. Oysa bazı aykırı değerler yanlış giriş olabileceği gibi önemli bir durumu da işaret edebilir. Ayrıca kategorik sütunların hatalı kodlanması, sayısal değişkenlerin abartılı ölçeklenmesi ve izlenemeyen dönüşüm adımları, izlenebilirliği ciddi biçimde zayıflatır. Bu hataların birçoğu dikkatli bir veri gözden geçirmesi ile önlenebilir.
Usta pratik öneriler ve en iyi pratikler
Deneyimli veri uzmanları, ön işleme hattını olabildiğince otomatikleştirmeyi ve bunu değişmez biçimde çalıştırılabilir bir yapıya oturtmayı önerir. Scikit-learn gibi kütüphanelerde dönüşüm akışı yapıları kullanıldığında, dönüşümler salt eğitim verisi üzerinde öğrenilir ve test verisine aynen uygulanır. Bu yaklaşım veri sızıntısını önemli oranda engeller. Ayrıca her dönüşüm adımının mantığını açıklayan kısa notların tutulması, ekip içi aktarımı kolaylaştırır. Veri niteliğini izlemek için dağılım grafikleri, eksik değer oranları ve özet istatistikler düzenli olarak gözden edilmelidir. Son olarak, küçük bir alt küme üzerinde hızlı denemeler yapmak, büyük veri setinde zaman ve bütçe kaybını azaltır.
Temizleme bütçesi ve bütçe yönetimi
Veri ön işleme harcaması, projenin toplam bütçesi içinde tahmin edilenden daha büyük bir pay tutabilir. Veri edinme süreçlerinde uzman emeği, anotasyon hizmetleri ve donanım altyapısı giderleri birlikte göz önünde bulundurulmalıdır. Küçük bir ekip için topluluk araçlarla çalışmaya koyulmak mümkündür, ancak veri hacmi arttıkça dağıtık işleme ve depolama çözümlerine gereksinim duyulabilir. Bütçe planlamasında uzman saatleri, platform giderleri ve yeniden işleme ihtimali hesaba katılmalıdır. Bu sayede proje, ani maliyet artışlarına karşı daha dayanıklı hale gelir.
Takvim faktörü ve planlama önerileri
Veri işleme işlerinin zamanlaması, başta mevsimsel davranış gösteren veri kümelerinde hayati bir öneme sahiptir. Örneğin perakende satış verilerinde tatil dönemlerine ait kayıtlar ayrı ayrı bir şekilde işlenmelidir, aksi halde model yıllık örüntüleri yanlış algılayabilir. Zaman serisi verilerinde ise eksik gözlemlerin doldurulması için doğrusal enterpolasyon gibi yöntemler tercih edilebilir. Veri tazeleme sıklığı da planlama kararlarında önemli olur; günlük, haftalık veya dönemsel güncellemeler, sistemin ihtiyacına göre tasarlanmalıdır. Böylece ön işleme boru hattı hem güncel hem de öngörülebilir sonuçlar üretebilir.
Sık gelen kaygılar
Ön işleme açısından en sık sorulan sorulardan biri, hangi ölçüde dönüşüm yapılması gerektiğidir. Yorum çoğu zaman modelin hedefine ve verinin yapısına bağlıdır; fazla temizlik bazen önemli bilgileri yok edebilir. Bir diğer sık soru, hangi türde ölçeklendirme yönteminin tercih edileceğidir. Standartlaştırma, sıra dışı değerlere karşı oldukça duyarlıdır; bu nedenle dağılımın çarpık olduğu durumlarda min-max ölçeklendirme veya robust yöntemler daha iyi olabilir. Son olarak, ön işleme işlemlerinin ne zaman yenilenerek yapılması gerektiği sorulur; yeni veri sisteme girdiğinde veya veri kaynağında belirgin bir değişiklik yaşandığında bu işlemler yeniden değerlendirilmeli.