파이썬으로 웹 크롤링 고급편 2강 – 로그인 유지가 필요한 사이트 크롤링
파이썬으로 웹 크롤링 고급편 2강입니다! 이번 강의에서는 로그인한 사용자만 접근 가능한 웹페이지를 크롤링하는 방법을 배워보겠습니다. 일반적인 requests.get() 방식으로는 로그인 세션을 유지할 수 없기 때문에, 이럴 때는 requests.Session()을 활용해야 합니다. 1. 왜 세션(Session)이 필요할까? 로그인 과정은 보통 아이디/비밀번호를 입력한 후 서버가 발급한 쿠키(cookie)를 이용해 인증된 상태를 유지합니다. 즉, 단순히 로그인 폼에 데이터를 전송한 것만으로는 이후 요청에서 … 더 읽기