웹 크롤링(Web Crawling) 에러 , 304 에러

헤더 정보에 유저 정보를 넘김으로 해결할 수 있다.

 

웹 크롤링 중 소스가 안 가져와 확인해보니

 

Response 304

 

 

304 응답이 올 시 헤더에 유저 에이전트 정보 값을 넘겨줌으로써 해결한다.

 

 

 

UserAgentString.com - Chrome version 101.0.4951.64

UserAgentString.com - unknown version

 

유저 정보를 알 수 있는 사이트다. 

 

 

빨간네모가 유저 정보이다.

 

url='사이트 주소'
user_agent_info = '유저 정보'
headers = {'User-Agent' : user_agent_info}
res = requests.get(url, headers = headers)
res.text