AI ile otomatik veri temizleme nasıl yapılır?

AI veri setini tarayarak eksik, hatalı veya tekrarlayan verileri tespit edebilir. Python ve pandas gibi kütüphanelerle birlikte kullanıldığında, temizleme süreci otomatikleştirilir. İnsan kontrolü, kritik veri doğruluğu için gereklidir.

1. Eksik Veri Yönetimi:

python

import pandas as pd
from sklearn.impute import SimpleImputer

# Eksik değerleri medyanla doldurma
imputer = SimpleImputer(strategy='median')
df[['sayisal_kolon']] = imputer.fit_transform(df[['sayisal_kolon']])

2. Aykırı Değer Tespiti:

python

from sklearn.ensemble import IsolationForest

clf = IsolationForest(contamination=0.05)
outliers = clf.fit_predict(df[['ozellik1', 'ozellik2']])
df = df[outliers == 1]  # Aykırıları filtrele

3. Tekrar Eden Kayıtlar:

python

df.drop_duplicates(subset=['benzersiz_id'], keep='last', inplace=True)

ses tanıma için Adımlar:

1. Whisper ile Transkripsiyon:

python

import whisper

model = whisper.load_model("base")
result = model.transcribe("ses_dosyasi.mp3")
print(result["text"])

2. Özelleştirme:

• Türkçe için fine-tuning
• Domain-specific kelime listeleri ekleme

Öneri Sistemleri Uygulaması:

1. Temel Matrix Factorization:

python

from surprise import SVD, Dataset

data = Dataset.load_builtin('ml-100k')
algo = SVD()
trainset = data.build_full_trainset()
algo.fit(trainset)

2. Derin Öğrenme Yaklaşımı:

python

import tensorflow as tf
from tensorflow_recommenders import tasks

user_model = tf.keras.Sequential([...])
item_model = tf.keras.Sequential([...])
task = tasks.Retrieval(metrics=tfrs.metrics.FactorizedTopK(...))

Oyun Geliştirmede AI:

1. NPC Davranışları:

python

# Reinforcement Learning örneği
env = gym.make('LunarLander-v2')
model = PPO('MlpPolicy', env, verbose=1)
model.learn(total_timesteps=10000)

2. Prosedürel İçerik Üretimi:

python

# GAN ile texture generation
generator = keras.Sequential([...])
discriminator = keras.Sequential([...])
gan = GAN(generator, discriminator)

Önemli Notlar:

• Veri temizlemede domain bilgisi kritik
• Ses tanımada sample rate uyumu önemli
• Öneri sistemlerinde cold start problemi
• Oyun AI’ında overfitting’e dikkat

Kullanışlı Kütüphaneler:

• veri temizleme: pandas, feature-engine
• Ses İşleme: librosa, pydub
• Öneri Sistemleri: surprise, tensorflow-recommenders
• Oyun AI: gym, stable-baselines3

Sonraki Adımlar İçin:

1. Küçük veri setleriyle başlayın
2. Pipeline’lar oluşturun
3. Üretim ortamına aşamalı geçiş yapın