웹사이트 스크래핑하기

작성자 정보

  • 작성자profile_image
  • 작성일

컨텐츠 정보

  • 조회 2,857

본문



웹스크래핑

웹스크래핑(web scraping) : 웹사이트 상에서 원하는 특정 부분에 정보를 추출하는 기술

웹 크롤링(Web crawling) : 봇(bot)이 정해진 규칙에 따라 여러 웹페이지를 브라우징하는 기술

** cURL **

** 파이썬의 Beautiful Soup **


주의사항

웹사이트 소유주의 허락을 받지 않는 스크래핑은 저작권 침해가 될 수있습니다.

-, https://www.johnmcduff.com/2017/04/26/craigslist-wins-copyright-suit/ (미 부동산관련 판결)

-, http://news.bizwatch.co.kr/article/mobile/2017/09/27/0023 (국내 구인구직관련 대법원 판결)

-, 웹사이트에서 제공하는 API가 있으면 계약에 의해 자료를 받을 수 있습니다.

이 동영상은 cURL 기능을 보여주는 교육 목적에만 이용하며, 예를 든 사이트는 불특정 사이트로 악의적 스크래핑과는 전혀 상관이 없습니다.


정당한 사용 예

운영중인 사이트 이전 및 백업용 작업.

그누보드4 -> 그누보드5 : 이전버전에서 업그레이드

제로보드 -> 그누보드5 : 다른 보드간의 데이타이전

정당한 허락을 받고 데이타를 복사할 때

기타...

댓글목록

등록된 댓글이 없습니다.