파이썬으로 크롤링 할때, 타임아웃 걸기
파이썬으로 웹페이지를 긁어올 일이 있었어요. 대부분은 1초가 지나기전에 응답이 돌아오지만, 어쩌다가 한번씩은 10초 이상이 걸릴수도 있더라구요. 수많은 페이지를 긁어와야 하는데, 이렇게 오래 걸리는 작업이 간간히 있으면 전체 작업이 언제 끝날지 알수가 없기에, 곤란해집니다. 이 문제를 풀어보려고 자료를 찾다보니, 웹페이지를 읽어 올 때 최대 타임아웃을 설정할 수 있더라구요. 가령 1초로 타임아웃을 세팅해두고 크롤링을 하니까 불필요한 대기 … 더 읽기