공지사항

웹사이트 스크래핑하기

페이지 정보

작성자 운영자 댓글 0건 조회 90회 작성일 19-02-03 19:24

본문



웹스크래핑

웹스크래핑(web scraping) : 웹사이트 상에서 원하는 특정 부분에 정보를 추출하는 기술

웹 크롤링(Web crawling) : 봇(bot)이 정해진 규칙에 따라 여러 웹페이지를 브라우징하는 기술

** cURL **

** 파이썬의 Beautiful Soup **


주의사항

웹사이트 소유주의 허락을 받지 않는 스크래핑은 저작권 침해가 될 수있습니다.

-, https://www.johnmcduff.com/2017/04/26/craigslist-wins-copyright-suit/ (미 부동산관련 판결)

-, http://news.bizwatch.co.kr/article/mobile/2017/09/27/0023 (국내 구인구직관련 대법원 판결)

-, 웹사이트에서 제공하는 API가 있으면 계약에 의해 자료를 받을 수 있습니다.

이 동영상은 cURL 기능을 보여주는 교육 목적에만 이용하며, 예를 든 사이트는 불특정 사이트로 악의적 스크래핑과는 전혀 상관이 없습니다.


정당한 사용 예

운영중인 사이트 이전 및 백업용 작업.

그누보드4 -> 그누보드5 : 이전버전에서 업그레이드

제로보드 -> 그누보드5 : 다른 보드간의 데이타이전

정당한 허락을 받고 데이타를 복사할 때

기타...

  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기
  • 카카오톡으로 보내기