때로는 웹 사이트에서 데이터를 다른 형식으로 추출하고 싶을 수 있습니다. 하지만 웹 사이트에 데이터를 쉽게 내보낼 수 있는 방법이 없다면 어떻게 될까요? 이것이 웹 스크래핑이 들어오는 곳입니다.

https://www.freecodecamp.org/news/how-to-scrape-websites-with-python/

Python 라이브러리 Beautiful Soup을 사용하여 웹 스크래핑을 수행하는 방법을 알려주는 freeCodeCamp.org YouTube 채널에 집중 강좌를 출시했습니다.

이 과정은 JimShapedCoding의 Jim Ergin이 개발했습니다. Jim은 수년 동안 Python을 사용하고 가르치고 있습니다.

뷰티플 수프를 사용하면 원하는 웹 사이트에서 원하는 정보를 수집 할 수 있습니다. 은행 웹 사이트, 소셜 미디어, Wikipedia 또는 기타 웹 사이트 일 수 있습니다.

뷰티플 수프는 파스 트리를 탐색, 검색 및 수정하는 방법을 제공합니다. HTML 문서를 더 쉽게 분석하고 필요한 데이터를 추출 할 수 있습니다. 그리고 애플리케이션을 작성하는 데 많은 코드가 필요하지 않습니다.

이 과정에서는 개념을 배우기 위해 기본 HTML 페이지를 스크랩 하는 방법을 먼저 배웁니다. 그런 다음 실제 웹 사이트를 스크래핑 합니다. 마지막에는 웹 사이트에서 긁어 낸 정보를 저장하는 방법을 배웁니다.

이 과정에서 다루는 주제는 다음과 같습니다.

• Basic HTML Structure, HTML Tags Explanation
• Packages installation
• Scraping local files
• Beautiful Soup find & find_all() methods
• Web browser inspect tool
• Grabbing prices in a basic web scraping project
• Using the requests library to see a website's HTML  
• Scraping a production website
• Looping through similar soup.find_all() objects
• Filtering scraped jobs
• Setting up a project to scrape every 10 minutes
• Storing the jobs paragraph in text files

freeCodeCamp.org YouTube 채널에서 전체 집중 과정을 시청하세요 (1 시간 시청).