Lesson · Dataset Collection
Crawler / Scraper
사이트 주소와 자연어 명령어를 입력해 크롤링·스크래핑을 실행하고, 탭으로 각 단계 결과를 확인합니다.
사이트 주소와 키워드를 입력하면 먼저 레디스 큐에 저장한 뒤, 큐에서 다음 작업을 꺼내 단일 페이지를 fetch해 원본 HTML을 수집합니다. 비워두면 큐에 있던 기존 작업을 바로 꺼내 크롤링합니다. (내부적으로는 크롤링 후 바로 스크래핑까지 이어서 실행됩니다: 레디스 큐 ontology:crawl:jobs)