웹스크래핑
웹스크래핑(web scraping) : 웹사이트 상에서 원하는 특정 부분에 정보를 추출하는 기술
웹 크롤링(Web crawling) : 봇(bot)이 정해진 규칙에 따라 여러 웹페이지를 브라우징하는 기술
** cURL **
** 파이썬의 Beautiful Soup **
주의사항
웹사이트 소유주의 허락을 받지 않는 스크래핑은 저작권 침해가 될 수있습니다.
-, https://www.johnmcduff.com/2017/04/26/craigslist-wins-copyright-suit/ (미 부동산관련 판결)
-, http://news.bizwatch.co.kr/article/mobile/2017/09/27/0023 (국내 구인구직관련 대법원 판결)
-, 웹사이트에서 제공하는 API가 있으면 계약에 의해 자료를 받을 수 있습니다.
이 동영상은 cURL 기능을 보여주는 교육 목적에만 이용하며, 예를 든 사이트는 불특정 사이트로 악의적 스크래핑과는 전혀 상관이 없습니다.
정당한 사용 예
운영중인 사이트 이전 및 백업용 작업.
그누보드4 -> 그누보드5 : 이전버전에서 업그레이드
제로보드 -> 그누보드5 : 다른 보드간의 데이타이전
정당한 허락을 받고 데이타를 복사할 때
기타...
등록된 댓글이 없습니다.