Java 11번가 베스트셀러 크롤링 Jsoup 샘플

Java 11번가 베스트셀러 크롤링 Jsoup 샘플

 

 

11번가 베스트셀러 페이지는 정적 HTML이라서 jsoup으로 긁을 수 있습니다.
URL에서 HTML을 가져오고 베스트셀러 리스트 아이템들을 선택한 뒤 상품명, 가격, 링크, 이미지 URL을 출력합니다.

 

---

jsoup

jsoup는 자바에서 HTML을 파싱 합니다.
CSS 선택자로 원하는 데이터만 뽑아내거나 수정할 수 있게 해주는 라이브러리입니다.

 

https://jsoup.org

jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety

 

<!-- jsoup -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.22.1</version>
    <scope>compile</scope>
</dependency>

 

// jsoup https://mvnrepository.com/artifact/org.jsoup/jsoup
implementation("org.jsoup:jsoup:1.22.1")

 

 

jsoup

 

---

11번가 베스트셀러

반응형

1. jsoup으로 URL에 접속해서 HTML 문서를 가져옵니다.
2. 베스트셀러 상품들이 들어 있는 li 요소 목록 선택합니다.
3. 각 상품 li 요소를 순회하면서 정보 추출합니다.

 

 

import org.jsoup.Jsoup;                  // Jsoup 메인 클래스 (connect, parse 등)
import org.jsoup.nodes.Document;         // HTML 전체 문서를 표현하는 클래스
import org.jsoup.nodes.Element;          // 개별 HTML 요소를 표현하는 클래스
import org.jsoup.select.Elements;        // Element 목록을 표현하는 컬렉션 클래스

/**
 * 11번가 베스트셀러
 * Jsoup
 * @since 2026-03-04
 */
public class ElevenstBestSellerCrawler {

    /**
     * 해당 URL에서 HTML을 가져오고
     * 베스트셀러 리스트 아이템들을 선택한 뒤
     * 상품명, 가격, 링크, 이미지 URL을 출력
     * 
     */
    public static void main(String[] args) throws Exception {
        // 11번가 베스트셀러 URL
        String url = "https://www.11st.co.kr/browsing/BestSeller.tmall?method=getBestSellerMain";

        // 1. Jsoup으로 URL에 접속해서 HTML 문서를 가져옵니다.
        Document doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0")
                .get();

        // 2. 베스트셀러 상품들이 들어 있는 li 요소 목록 선택합니다.
        Elements items = doc.select("#bestPrdList > div:nth-child(2) > ul > li");
        
        // 순위 카운터 초기값 설정
        int rank = 1;
        
        // 3. 각 상품 li 요소를 순회하면서 정보 추출합니다.
        for ( Element item : items ) {
            // 상품명
            String name = item.selectFirst("div.pname > p") != null
                    ? item.selectFirst("div.pname > p").text()
                    : "";

            // 원가
            String original = item.selectFirst("div.price_info.cfix > span > s") != null
                    ? item.selectFirst("div.price_info.cfix > span > s").text()
                    : "";

            // 가격
            String price = item.selectFirst("div.price_info.cfix > span > strong") != null
                    ? item.selectFirst("div.price_info.cfix > span > strong").text()
                    : "";

            // 상품 링크
            String link = item.selectFirst("div > a") != null
                    ? item.selectFirst("div > a").absUrl("href")  // absUrl 로 절대경로 변환
                    : "";

            // 이미지 URL
            String img = item.selectFirst("div.img_plot > img") != null
                    ? item.selectFirst("div.img_plot > img").absUrl("src")
                    : "";

            // 4. 콘솔 출력
            System.out.printf("[%2d위] %n", rank);
            System.out.printf("상품명 : %s%n", name);
            System.out.printf("원가   : %s%n", original);
            System.out.printf("가격   : %s원%n", price);
            System.out.printf("링크   : %s%n", link);
            System.out.printf("이미지 : %s%n", img);

            // 상품 간 구분선 출력
            System.out.println("-".repeat(60));

            // 3위까지만 출력 후 반복 종료 ( 테스트용 제한 )
            if ( rank == 3 ) break;

            // 다음 상품으로 순위 증가
            rank++;
        }
    }
}

 

 

11번가 베스트셀러

11번가 베스트셀러

 

---

요약

1. jsoup implementation("org.jsoup:jsoup:1.22.1")
2. 11번가 https://www.11st.co.kr/browsing/BestSeller.tmall?method=getBestSellerMain
3. 베스트셀러 #bestPrdList > div:nth-child(2) > ul > li
4. 상품명 div.pname > p
5. 원가 div.price_info.cfix > span > s
6. 가격 div.price_info.cfix > span > strong
7. 링크 div > a
8. 이미지 div.img_plot > img