İnternet dünyasındaki bir web sitesinden istediğiniz bilgileri programatik bir şekilde çekebilirsiniz.
İnternette veri çekmek = İlgilendiğiniz herhangi bir web sayfasının kaynak kodunu indirip, html elementleri üzerinden belli bir mantık içerisinde gezip, istediğiniz bilgiyi almak anlamına geliyor.
Bu işlemleri yapmak için hemen hemen tüm yazılım geliştirme dillerinde kullanabileceğimiz kütüphaneler mevcut.
Eğer aradığınız bilgiler; sayfanın kaynak kodunda yer alıyorsa, bilgiyi almak çok basit bir işlem gerektiriyor.
Ancak; açtığınız web sayfasının içeriği o anda JavaScript ile yükleniyorsa; bir browser gibi davranıp, önce sayfayı açmanız, JavaScript kodlarını çalıştırarak içeriği oluşturmanız ve sonra bilgiyi çekmeniz gerekmektedir.
Örnek amaçlı bu işelemleri yaparken; bu yazıya konu olan bir video çektim.
Yazdığım uygulamanın kaynak kodlarını yakında paylaşıyor olurum.
Web sayfalarından veri çekmek için; Java programlama dilinde kullanabileceğiniz, popüler olan ve benim de deneyimlediğim üç kütüphane mevcut.
Üç kütüphane ilgili ilgili detay bilgi almak isteyenler için linklerini aşağıdaki gibi paylaştım.
Popüler Java Web Crawler/Scraper Kütüphaneleri
Hocam kodları alabilir miyim?
Merhaba güzel bir paylaşımda bulunmuşsunuz çok teşekkürler.
Rica etsem hocam kodları da paylaşımısınız.
Hocam Paylaşım güzel ama kodlar ve örnek olmayınca çok bir işimize yaramıyor hak vericek olursanız ?
örnekle paylaşırsanız sevinirim.