Tohumdan Ağaca: Rastgelelik Tohumlarının Makine Öğrenimindeki Gücü
Yazılım mimarı olarak benim için her şey bir sistemdir. Bir yapının sağlamlığı, onu oluşturan her bir parçanın birbirine olan ilişkisinde gizlidir. Peki ya bu parçaların başlangıç noktası? İşte tam bu noktada, kaos gibi görünen ama aslında inanılmaz derecede düzenli olan bir kavram devreye giriyor: rastgelelik.
Bilgisayarlar ve matematik dünyasında "rastgelelik" kelimesini duyduğumuzda, çoğu zaman zihnimizde büyük bir belirsizlik, öngörülemez bir olaylar zinciri canlanır. Sanki bir kum saatinin tersine dönmesi gibi, her seferinde farklı bir deneyim yaşanacak bir bilinmezlik. Ancak Makine Öğrenimi (ML) ve özellikle Derin Öğrenme (DL) bağlamında bu tamamen farklıdır. Buradaki rastgelelik, bir tür başlangıç koşuludur.
Bizim incelediğimiz rastgelelik, doğadaki kaotik olaylardan ziyade, kontrollü bir kaosun matematiksel temsilidir. Bu kaosu üreten şey ise her zaman deterministik (belirlenimsel) bir süreçtir. Eğer bir bilgisayarın ürettiği sayılar gerçekten tamamen rastgele olsaydı, bunları girdi olarak kullanamazdık çünkü onları modellemeye veya bunları yinelemek istedikçe kontrol etmeye çalışırdık.
Rastgele Tohumlar ve Tekrarlanabilirlik
Bir süreci sürdürülebilir kılmanın ilk kuralı, onu tekrarlayabilmektir. Eğer bir model eğitirken kullandığınız başlangıç ağırlıklarındaki mikro-farklar, sonunda tamamen farklı bir sonuca götürüyorsa, bu sadece bir gürültüden ibaret olabilir; bu bir modelin başarısız olma potansiyelidir.
İşte bu noktada devreye "Seed" (Tohum) kavramı giriyor. Bir pseudo-random number generator (sözde rastgele sayı üreteci), girdi olarak bir başlangıç değeri alır ve bu değeri kullanarak sonraki sayı dizisini üretir. Eğer aynı başlangıç tohumunu verirseniz, üretilecek olan milyonlarca sayı da her zaman aynı olacaktır.
Bu, en büyük yanılgıyı düzeltmemizi gerektirir: Bilgisayar üretilen rastgele sayılar asla tamamen rastgele değildir; onlar sadece çok karmaşık ve uzun bir döngüye sahip deterministik çıktılardır.
Model Eğitimi Neden Tohum Gerektirir?
Derin öğrenme modellerini eğittiğimizi düşünün. Ağımızın ilk katmanlarının başlangıç ağırlıkları, bu rastgelelik tohumuyla belirlenir. Bu başlangıç ağırlıkları, modelin veriden öğrenmeye başladığı o ilk "algısal pozisyonunu" belirler. Tohum neyse, o pozisyondan hareketle modelin eğitim süreci başlar.
Eğer farklı bir tohumla başlarsanız, model aynı veriyi görse bile, ilk iterasyonlarda farklı parametreler üzerinde işlem yapmaya başlar. Bu, sanki bir yarış pistine aynı anda farklı noktalardan başlayan iki koşucunun başlangıç avantajı kazanması gibidir.
Başarımızın sırrı bu başlangıç çeşitliliğindedir. Eğer her seferinde aynı tohumla başlıyorsak, modelimiz her seferinde en iyi potansiyelini göremeyebilir. Bu yüzden, bir deneye başlamadan önce farklı tohumlarla koşu yaparak, bulduğumuz performansın gerçekten modelin doğasında olup olmadığını, yoksa sadece başlangıç parametresine mi bağımlı olduğunu anlamak zorundayız.
Özetle, rastgelelik bir kaos değildir; o, yüksek boyutlu bir sistemin enerjisini serbest bıraktığı, ancak her zaman izlenebilir bir matematiksel yol haritası olan bir başlangıç noktasıdır. Kodun anatomisinde bu başlangıç noktasına hükmetmek, büyük resmi görmenin ilk adımıdır.