웹 스크래핑과 크롤링은 경쟁 데이터 빼내기, 온라인 사기, 계정 도용, 데이터 도용, 지적 재산 도용 또는 기타 불법적인 목적으로 해로운 활동에 사용하지 않는 웹 스크래핑과 크롤링 행위 자체로는 불법이 아닙니다.
웹 스크래핑의 정의는 웹 페이지의 데이터를 자동으로 다운로드하고 웹 페이지에서 특정한 정보를 추출하는 행위입니다. 추출된 정보는 거의 모든 장소(데이터베이스, 파일 등)에 저장할 수 있습니다. 웹 크롤링은 웹 페이지의 데이터를 자동으로 다운로드하고, 웹 페이지에 포함된 하이퍼링크를 추출하고, 추출된 웹 페이지를 여는 행위입니다. 다운로드된 데이터는 일반적으로 쉽게 검색할 수 있도록 인덱스 또는 데이터베이스에 저장됩니다. 웹 스크래핑/크롤링은 수동으로 데이터를 직접 수집하는 수고를 덜어주는 도구에 가깝습니다.
더 자세한 내용은 다음 문서를 확인하십시오.
Reddit, Lobsters: 웹 스크래핑, 크롤링은 합법인가요?
RAMI ESSAID: 웹 스크래핑은 불법인가요?