print( sjw.iq == 200) output : true

[PYTHON] Selenium 에서 헤더 User-Agent 값 수정하기 본문

Python

[PYTHON] Selenium 에서 헤더 User-Agent 값 수정하기

sjwiq200 2019. 2. 15. 16:17
728x90
반응형

안녕하세요!! 


오늘은 Python과 Selenium을 활용해서 크롤링 하는 도중에 한 사이트가 오직 IE에서만 작동하는 것을 알았습니다 ㅠㅠ......



그래서 해결책이 헤더값에 User-Agent 값을 IE의 값으로 바꿔주면 된다는 것을 알았습니다.


그래서 User-agent 값을 바꾸는 방법을 검색하는데 



 seleniumwire 라이브러리도 사용해서


driver = webdriver.Firefox()

driver.header_overrides = {
    'Referer': 'referer_string',
}

driver._client.set_header_overrides(headers=dict_headers)



위와 같은 방법으로 시도해 봤는데.... 전혀 작동을 하지 않았습니다...

그래서 우연히 찾은 해결책은 어이없을 정도로 간단했습니다... ㅠㅠㅠㅠㅠㅠ 엉엉....

from selenium import webdriver
import Config

options = webdriver.ChromeOptions()
# options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")

driver = webdriver.Chrome(executable_path=Config.CONFIG['CHROMEPATH'],options=options)

driver.get('')


옵션값에.... 세번째 add_argument 보이시나요...??

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")

제 페럴라이즈에서 IE로 돌렸을 때 User-Agent 값을 가져와서 저렇게 넣어주니까 너무 잘 작동했습니다...


맨날 삽질하는 시간이 많은데 큰 도움이 되겠죠...?


그럼 안녕히계세요!!!

728x90
반응형
Comments