Kısaca ; Web crawler internet sayfalarını belirli aralıklarla dolaşan bir kullanıcı gibi ziyaret eden onlardan bazı verileri alıp işleyebilen mekanizmalara verilen isimdir, veriyi alıp ne yapabiliriz ? google ne yapıyorsa aynısı mı ? olabilir yada sadece o olmamalı ve bazı fırsatlar yakalayabiliriz bunlara ise yazının ilerleyen bölümlerinde bahsedeceğim.
Arama motoru ise ; web crawler yada arama botu yada adına ne derseniz artık elde ettiği verileri ekrana yazdırabilen yazılımdır.
Fırsatlar ; local crawler yaparsanız istediğini sayfalardan istediğiniz verileri elde edebilirsiniz. Bu verilere göre tasnif yaparak veriyi işler alternatif fırsatlar yakalayabilirsiniz. Mesela “url classification” yani url adresleri kategorisine göre sınıflandırıp şu web adresi şu kategoriye ait diyerek (API) bunu ücretli olarak satabilirsiniz. Ayrıca belirli adreslere yönelik kelime arama çalışmaları yapabilir iş ve proseslerinizde kullanabilirsiniz.
Sonuç olarak bu teknoloji pek çok amaç için kullanabilir mesela link bulma, içerik bulma, resim bulma gibi, artık bundan sonrası hayal gücünüze kalmış.
Bunu konuların bir kısmını kapsayan daha önce hazırladığım eğitimi inceleyerek satın alabilirsiniz. Linki aşağıdadır.
https://www.udemy.com/course/gercek-bir-arama-motoru-nasil-yapilir-nasil-yazilir/
Bu eğitimi canlı olarak almak isterseniz bana mail adresim üzerinden ulaşın.