Java – Selenium İle Web Sitelerinden Veri Çekmek

3

İnternet dünyasındaki bir web sitesinden istediğiniz bilgileri programatik bir şekilde çekebilirsiniz.

İnternette veri çekmek = İlgilendiğiniz herhangi bir web sayfasının kaynak kodunu indirip, html elementleri üzerinden belli bir mantık içerisinde gezip, istediğiniz bilgiyi almak anlamına geliyor.

Bu işlemleri yapmak için hemen hemen tüm yazılım geliştirme dillerinde kullanabileceğimiz kütüphaneler mevcut.

Eğer aradığınız bilgiler; sayfanın kaynak kodunda yer alıyorsa, bilgiyi almak çok basit bir işlem gerektiriyor.

Ancak; açtığınız web sayfasının içeriği o anda JavaScript ile yükleniyorsa; bir browser gibi davranıp, önce sayfayı açmanız, JavaScript kodlarını çalıştırarak içeriği oluşturmanız ve sonra bilgiyi çekmeniz gerekmektedir.

Örnek amaçlı bu işelemleri yaparken; bu yazıya konu olan bir video çektim.

Yazdığım uygulamanın kaynak kodlarını yakında paylaşıyor olurum.

Web sayfalarından veri çekmek için; Java programlama dilinde kullanabileceğiniz, popüler olan ve benim de deneyimlediğim üç kütüphane mevcut.

Üç kütüphane ilgili ilgili detay bilgi almak isteyenler için linklerini aşağıdaki gibi paylaştım.

Popüler Java Web Crawler/Scraper Kütüphaneleri

3 YORUMLAR

CEVAP VER

Lütfen yorum giriniz!
Lütfen isminizi giriniz