네이버뉴스 크롤링 하기 (2)
2020/12/16 - [🐍파이썬 입문기/🌐웹크롤링] - 네이버뉴스 크롤링 하기 (1) - 모듈 불러오기, 검색 설정하기 네이버뉴스 크롤링 하기 (1) - 모듈 불러오기, 검색 설정하기 예전에 진행된 프로젝트 때 쓰려고 짠 크롤링 코드다. 나같은 초보자들에게 도움이 됐으면 해서 한 번 써본다. 0. 들어가기 전에 네이버에 검색어를 입력하고 뉴스를 보면 알겠지만 각기 다른 신 notanymoremungwa.tistory.com 이전 글을 보고 온 후에 해당 포스팅을 보는 것을 추천합니당 (1)에서는 네이버 뉴스를 크롤링하는 이유, 모듈 불러오기, 검색 조건 설정하기까지 진행했다. 이제 본격적으로 크롤링을 위한 코드를 작성해보자. 2. crawler function def crawler(maxpage, qu..
예전에 진행된 프로젝트 때 쓰려고 짠 크롤링 코드다. 나같은 초보자들에게 도움이 됐으면 해서 한 번 써본다. 0. 들어가기 전에 네이버에 검색어를 입력하고 뉴스를 보면 알겠지만 각기 다른 신문사 홈페이지로 들어가서 기사를 볼 수 있다. (조선일보, 중앙일보 등) 여기서 주목해야 할 것은 각각 서로 다른 신문사들인데다가 홈페이지의 html구조도 다 다르다. 즉, 홈페이지마다 html tag의 id값이나 class값이 달라서 크롤러를 만들려면 신문사마다 크롤러를 변경해줘야 한다. 하지만 '네이버 뉴스 홈'의 경우 다른 신문사일지라도 동일한 형태의 구조로 기사를 제공하기 때문에 크롤링이 가능해진다. But, 문제점이 발생한다. 크롤링 할 기사의 수가 적음 연예, 스포츠, 날씨 등의 카테고리는 적용이 되지 않음..