쓸데없는 IT 쓸데없는 IT

윈도우에서 Node.js 개발을 위해 Node.js를 따로 설치하는 번거로움이 있습니다. Docker를 설치하면 내 컴퓨터를 깨끗하게 유지하면서도 독립된 상자 안에서 실행할 수 있습니다. Node.js를 Docker에 담아 실행하면 환경 충돌 없이 관리할 수 있습니다. 윈도우에서 리눅스 환경을 지원하기 위해 WSL2를 켜야 합니다. Node.jsNode.js는 크롬 V8 자바스크립트 엔진으로 만들어진 오픈소스 자바스크립트 런타임입니다. 웹 브라우저 안에서만 실행되던 자바스크립트를 브라우저 밖에서도 실행할 수 있게 하였습니다. JavaScript로 백엔드 개발을 가능하게 하는 기술입니다. https://nodejs.org/ko Node.js — Run JavaScript EverywhereNode.js®..

배치 프로젝트는 대량 데이터 처리나 정기 작업을 자동화하는 데 최적화되어 있습니다. Spring Boot 공식 사이트에서 제공하는 Spring Initializr를 이용해서 프로젝트를 생성할 수 있습니다. Initializr는 프로젝트의 기본 구조와 Maven 설정과 Spring Boot 버전 및 필요한 라이브러리까지 모두 자동으로 설정해서 압축 파일로 받을 수 있습니다. Spring InitializrSpring Initializr는 스프링 기반으로 자동으로 생성해 주는 웹 도구입니다. 여기에서 프로젝트를 생성할 수 있습니다. https://start.spring.io 순서1. 언어와 스프링 부트 버전 및 프로젝트 메타 정보를 입력하고 GENERATE 버튼을 클릭하면 됩니다. Project 빌..

Java와 Playwright를 사용하면 오늘의집 실시간 베스트 상품을 자동으로 수집할 수 있습니다. 메인 페이지와 스토어 페이지를 차례로 방문하고 베스트 상품 페이지에 접속합니다. 자연스럽게 스크롤도 한 번 합니다. 그리고 DOM 구조에 맞는 CSS 셀렉터를 지정해서 데이터를 취득합니다.Playwright의 비디오 녹화 기능을 이용해서 브라우저 실행 장면을 녹화합니다. Playwright [개발] - Java 이클립스 Gradle 프로젝트 설정 방법 Java 이클립스 Gradle 프로젝트 설정 방법Gradle은 프로젝트의 소스 코드를 컴파일하고 필요한 라이브러리를 가져옵니다. 그리고 실행 파일 ( JAR, WAR, APK ) 로 묶어주는 빌드 자동화 도구입니다. 2012년에 나와 현재는 안드로이드 앱 ..

Selenium과 비슷한 라이브러리로 Playwright가 있습니다. Playwright는 Selenium과 다르게 WebDriver 별도로 필요하지 않습니다. 또한 Selenium에 비해 속도가 빠릅니다. 그리고 Selenium과 동일한 셀렉터 구조를 사용합니다. CSS 셀렉터 오류가 발생하면 동일하게 브라우저 개발자 도구에서 실제 HTML 구조를 확인 후 수정하면 됩니다. PlaywrightPlaywright는 마이크로소프트에서 개발한 웹 자동화 및 테스트 프레임워크입니다.최초 실행 시 자동으로 브라우저 ( Chromium 등 ) 자동 설치합니다. https://playwright.dev Fast and reliable end-to-end testing for modern web apps | Pla..

상품 정보가 넘쳐나는 뽐뿌게시판을 크롤링하는 코드를 jsoup으로 긁어오는 샘플입니다. 웹 크롤링은 손으로 하나하나 클릭하며 뽐뿌 핫딜을 찾는 것을 대신합니다. 프로그램이 대신 페이지에 들어가서 제목이나 링크 그리고 날짜 등을 가져옵니다. jsoup은 Java에서 HTML을 다루는 최고의 라이브러리입니다.jsoup은 가볍고 빠릅니다. jsoupjsoup는 JavaScript 실행 불가이므로 동적인 Ajax로 불러오는 데이터는 처리하지 못합니다. 대신 빠른 속도로 가져와서 HTML 파싱을 해 줍니다. https://jsoup.org jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safetyjsoup: Java HT..

Selenium은 웹 브라우저 자동화 도구입니다. 단순히 HTML 소스를 긁어오는 Jsoup과 다르게 실제 브라우저 ( Chrome, Firefox 등 )를 직접 띄워서 클릭 , 텍스트 입력 , 페이지 스크롤 등의 작업을 코드로 제어할 수 있습니다. Selenium은 웹 드라이버 ( WebDriver ) 를 통해 실제 설치된 브라우저를 원격 조종합니다. 실제 브라우저를 사용하기 때문에 동적 콘텐츠 처리에 강력합니다. 그러나 브라우저를 띄우고 닫는 비용이 크기 때문에 대량의 페이지를 긁기에는 속도가 느리고 서버 리소스를 많이 잡아먹습니다. SeleniumSelenium은 웹 브라우저의 동작을 자동화할 수 있게 해주는 오픈 소스 프레임워크입니다. 원래는 웹 애플리케이션 테스트 자동화를 위해 만들어졌습니다...

G마켓 베스트 페이지는 동적 HTML이라서 Jsoup으로 긁어 올 수가 없습니다. 대안으로 HtmlUnit을 이용해서 크롤링이 가능합니다. HtmlUnit은 자바스크립트로 동적으로 생성되는 콘텐츠를 긁어와야 할 때 사용합니다. URL에서 HTML을 가져오고 베스트 리스트 아이템들을 선택한 뒤 상품명과 가격과 링크 등을 출력합니다. HtmlUnitJsoup이 단순히 HTML 문서를 정적으로 읽습니다 HtmlUnit은 화면 없는 브라우저에 가깝습니다. 내부적으로 JavaScript 엔진을 탑재하고 있어 웹 페이지 내의 스크립트를 실행합니다. https://www.htmlunit.org HtmlUnit – Welcome to HtmlUnitHtmlUnit 💗 Sponsoring 💗 Constantl..

11번가 베스트셀러 페이지는 정적 HTML이라서 jsoup으로 긁을 수 있습니다. URL에서 HTML을 가져오고 베스트셀러 리스트 아이템들을 선택한 뒤 상품명, 가격, 링크, 이미지 URL을 출력합니다. jsoupjsoup는 자바에서 HTML을 파싱 합니다. CSS 선택자로 원하는 데이터만 뽑아내거나 수정할 수 있게 해주는 라이브러리입니다. https://jsoup.org jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safetyjsoup: Java HTML Parser jsoup is a Java library that simplifies working with real-world HTML and XML. It ..

Gradle은 프로젝트의 소스 코드를 컴파일하고 필요한 라이브러리를 가져옵니다. 그리고 실행 파일 ( JAR, WAR, APK ) 로 묶어주는 빌드 자동화 도구입니다. 2012년에 나와 현재는 안드로이드 앱 개발의 공식 빌드 시스템입니다. GradleGradle은 Maven과 동일하게 프로젝트를 자동으로 관리 및 빌드를 해주는 도구입니다.Gradle은 모든 빌드 과정을 Task ( 작업 ) 단위로 쪼개서 관리합니다예를 들어 컴파일 , 테스트 실행 , 문서 생성 등이 각각 하나의 태스크가 됩니다. 기능스크립트 기반의 유연성Gradle은 Groovy나 Kotlin 같은 프로그래밍 언어를 사용하여 설정 파일을 작성합니다.압도적인 빌드 속도Gradle은 대규모 프로젝트에서 Maven보다 수배에서 수십 배까지 ..

Java에서 HTTP 요청을 보내는 방법은 두 가지 방법이 있습니다. 기본 JDK 클래스 사용 혹은 외부 라이브러리 사용입니다. HttpJava 내장 라이브러리를 이용한 HttpURLConnection 과 HttpClient 있습니다. 외부 라이브러리인 Apache HttpClient 나 OkHttp을 이용해 http 전송을 할 수 있습니다.항목HttpURLConnectionHttpClientApache HttpClientOkHttp시기오래된 JDK 기본 API입니다.Java 11부터 공식 포함되었습니다.오래된 외부 라이브러리 , 엔터프라이즈에서 사용됩니다.최근 경량 라이브러리 , 안드로이드에서 자주 사용됩니다.사용코드가 장황하고 불편간결하고 현대적 API기능 많지만 설정 복잡직관적이고 간결한 API성능..