쓸데없는 IT 쓸데없는 IT

Java와 Playwright를 사용하면 오늘의집 실시간 베스트 상품을 자동으로 수집할 수 있습니다. 메인 페이지와 스토어 페이지를 차례로 방문하고 베스트 상품 페이지에 접속합니다. 자연스럽게 스크롤도 한 번 합니다. 그리고 DOM 구조에 맞는 CSS 셀렉터를 지정해서 데이터를 취득합니다.Playwright의 비디오 녹화 기능을 이용해서 브라우저 실행 장면을 녹화합니다. Playwright [개발] - Java 이클립스 Gradle 프로젝트 설정 방법 Java 이클립스 Gradle 프로젝트 설정 방법Gradle은 프로젝트의 소스 코드를 컴파일하고 필요한 라이브러리를 가져옵니다. 그리고 실행 파일 ( JAR, WAR, APK ) 로 묶어주는 빌드 자동화 도구입니다. 2012년에 나와 현재는 안드로이드 앱 ..

Selenium과 비슷한 라이브러리로 Playwright가 있습니다. Playwright는 Selenium과 다르게 WebDriver 별도로 필요하지 않습니다. 또한 Selenium에 비해 속도가 빠릅니다. 그리고 Selenium과 동일한 셀렉터 구조를 사용합니다. CSS 셀렉터 오류가 발생하면 동일하게 브라우저 개발자 도구에서 실제 HTML 구조를 확인 후 수정하면 됩니다. PlaywrightPlaywright는 마이크로소프트에서 개발한 웹 자동화 및 테스트 프레임워크입니다.최초 실행 시 자동으로 브라우저 ( Chromium 등 ) 자동 설치합니다. https://playwright.dev Fast and reliable end-to-end testing for modern web apps | Pla..

상품 정보가 넘쳐나는 뽐뿌게시판을 크롤링하는 코드를 jsoup으로 긁어오는 샘플입니다. 웹 크롤링은 손으로 하나하나 클릭하며 뽐뿌 핫딜을 찾는 것을 대신합니다. 프로그램이 대신 페이지에 들어가서 제목이나 링크 그리고 날짜 등을 가져옵니다. jsoup은 Java에서 HTML을 다루는 최고의 라이브러리입니다.jsoup은 가볍고 빠릅니다. jsoupjsoup는 JavaScript 실행 불가이므로 동적인 Ajax로 불러오는 데이터는 처리하지 못합니다. 대신 빠른 속도로 가져와서 HTML 파싱을 해 줍니다. https://jsoup.org jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safetyjsoup: Java HT..

Selenium은 웹 브라우저 자동화 도구입니다. 단순히 HTML 소스를 긁어오는 Jsoup과 다르게 실제 브라우저 ( Chrome, Firefox 등 )를 직접 띄워서 클릭 , 텍스트 입력 , 페이지 스크롤 등의 작업을 코드로 제어할 수 있습니다. Selenium은 웹 드라이버 ( WebDriver ) 를 통해 실제 설치된 브라우저를 원격 조종합니다. 실제 브라우저를 사용하기 때문에 동적 콘텐츠 처리에 강력합니다. 그러나 브라우저를 띄우고 닫는 비용이 크기 때문에 대량의 페이지를 긁기에는 속도가 느리고 서버 리소스를 많이 잡아먹습니다. SeleniumSelenium은 웹 브라우저의 동작을 자동화할 수 있게 해주는 오픈 소스 프레임워크입니다. 원래는 웹 애플리케이션 테스트 자동화를 위해 만들어졌습니다...

G마켓 베스트 페이지는 동적 HTML이라서 Jsoup으로 긁어 올 수가 없습니다. 대안으로 HtmlUnit을 이용해서 크롤링이 가능합니다. HtmlUnit은 자바스크립트로 동적으로 생성되는 콘텐츠를 긁어와야 할 때 사용합니다. URL에서 HTML을 가져오고 베스트 리스트 아이템들을 선택한 뒤 상품명과 가격과 링크 등을 출력합니다. HtmlUnitJsoup이 단순히 HTML 문서를 정적으로 읽습니다 HtmlUnit은 화면 없는 브라우저에 가깝습니다. 내부적으로 JavaScript 엔진을 탑재하고 있어 웹 페이지 내의 스크립트를 실행합니다. https://www.htmlunit.org HtmlUnit – Welcome to HtmlUnitHtmlUnit 💗 Sponsoring 💗 Constantl..

11번가 베스트셀러 페이지는 정적 HTML이라서 jsoup으로 긁을 수 있습니다. URL에서 HTML을 가져오고 베스트셀러 리스트 아이템들을 선택한 뒤 상품명, 가격, 링크, 이미지 URL을 출력합니다. jsoupjsoup는 자바에서 HTML을 파싱 합니다. CSS 선택자로 원하는 데이터만 뽑아내거나 수정할 수 있게 해주는 라이브러리입니다. https://jsoup.org jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safetyjsoup: Java HTML Parser jsoup is a Java library that simplifies working with real-world HTML and XML. It ..

Gradle은 프로젝트의 소스 코드를 컴파일하고 필요한 라이브러리를 가져옵니다. 그리고 실행 파일 ( JAR, WAR, APK ) 로 묶어주는 빌드 자동화 도구입니다. 2012년에 나와 현재는 안드로이드 앱 개발의 공식 빌드 시스템입니다. GradleGradle은 Maven과 동일하게 프로젝트를 자동으로 관리 및 빌드를 해주는 도구입니다.Gradle은 모든 빌드 과정을 Task ( 작업 ) 단위로 쪼개서 관리합니다예를 들어 컴파일 , 테스트 실행 , 문서 생성 등이 각각 하나의 태스크가 됩니다. 기능스크립트 기반의 유연성Gradle은 Groovy나 Kotlin 같은 프로그래밍 언어를 사용하여 설정 파일을 작성합니다.압도적인 빌드 속도Gradle은 대규모 프로젝트에서 Maven보다 수배에서 수십 배까지 ..

Java에서 HTTP 요청을 보내는 방법은 두 가지 방법이 있습니다. 기본 JDK 클래스 사용 혹은 외부 라이브러리 사용입니다. HttpJava 내장 라이브러리를 이용한 HttpURLConnection 과 HttpClient 있습니다. 외부 라이브러리인 Apache HttpClient 나 OkHttp을 이용해 http 전송을 할 수 있습니다.항목HttpURLConnectionHttpClientApache HttpClientOkHttp시기오래된 JDK 기본 API입니다.Java 11부터 공식 포함되었습니다.오래된 외부 라이브러리 , 엔터프라이즈에서 사용됩니다.최근 경량 라이브러리 , 안드로이드에서 자주 사용됩니다.사용코드가 장황하고 불편간결하고 현대적 API기능 많지만 설정 복잡직관적이고 간결한 API성능..

Maven은 자바 프로젝트를 만들 때 필요한 외부 라이브러리들을 알아서 가져옵니다. 그리고 실행 파일까지 만들어주는 자동화 도구이기도 합니다. MavenMaven은 자바 프로젝트를 자동으로 관리 및 빌드를 해주는 도구입니다. 특징의존성 관리pom.xml에 라이브러리 이름과 버전만 적으면 자동으로 저장소에서 내려받아 프로젝트에 연결해 줍니다.그 라이브러리가 작동하기 위해 필요한 다른 라이브러리들까지 알아서 다 가져옵니다.자동화우리가 쓴 코드를 컴퓨터가 실행할 수 있는 상태로 만드는 과정을 빌드라고 합니다.Maven은 Life Cycle ( 컴파일, 테스트, 압축, 배포 ) 까지의 과정을 미리 정해진 순서에 따라 실행해 줍니다.표준화Maven은 표준 디렉터리 구조를 사용합니다src/main/java 자바 ..

텔레그램 API를 사용해서 메시지를 전송하자. 순서1. 텔레그램의 검색창에서 botfather 검색합니다.2. /newbot을 입력합니다.3. 봇의 이름을 입력합니다. 예) tele_send_test4. 봇의 사용자 이름을 입력합니다. 마지막은 bot이 들어가야 합니다. 예) tele_send_test_bot5. 봇 생성 완료하여 토큰값을 복사합니다.6. 텔레그램 API getUpdateshttps://core.telegram.org/bots/api#getupdates Telegram Bot APIThe Bot API is an HTTP-based interface created for developers keen on building bots for Telegram. To learn how to cre..