250x250
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- Prometheus
- mac
- nginx
- 해시키
- 파이썬
- window
- python
- Vue.js
- flutter
- 안드로이드
- Android
- Laravel
- node
- pip
- alb
- AWS
- OAuth
- Vue
- 구글 API
- Cordova
- ubuntu
- Passport
- MacOS
- https
- SSH
- FCM
- PostgreSQL
- php
- MYSQL
- selenium
Archives
- Today
- Total
print( sjw.iq == 200) output : true
[PYTHON] Selenium 에서 헤더 User-Agent 값 수정하기 본문
728x90
반응형
안녕하세요!!
오늘은 Python과 Selenium을 활용해서 크롤링 하는 도중에 한 사이트가 오직 IE에서만 작동하는 것을 알았습니다 ㅠㅠ......
그래서 해결책이 헤더값에 User-Agent 값을 IE의 값으로 바꿔주면 된다는 것을 알았습니다.
그래서 User-agent 값을 바꾸는 방법을 검색하는데
seleniumwire 라이브러리도 사용해서
driver = webdriver.Firefox()
driver.header_overrides = {
'Referer': 'referer_string',
}
driver._client.set_header_overrides(headers=dict_headers)
위와 같은 방법으로 시도해 봤는데.... 전혀 작동을 하지 않았습니다...
그래서 우연히 찾은 해결책은 어이없을 정도로 간단했습니다... ㅠㅠㅠㅠㅠㅠ 엉엉....
from selenium import webdriver
import Config
options = webdriver.ChromeOptions()
# options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")
driver = webdriver.Chrome(executable_path=Config.CONFIG['CHROMEPATH'],options=options)
driver.get('')
옵션값에.... 세번째 add_argument 보이시나요...??
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")
제 페럴라이즈에서 IE로 돌렸을 때 User-Agent 값을 가져와서 저렇게 넣어주니까 너무 잘 작동했습니다...
맨날 삽질하는 시간이 많은데 큰 도움이 되겠죠...?
그럼 안녕히계세요!!!
728x90
반응형
'Python' 카테고리의 다른 글
[Python] Ubuntu20.04 에서 Scrapy 설치하기 (0) | 2021.07.30 |
---|---|
[Python] 초보도 할 수 있는 Selenium (0) | 2020.03.19 |
[Pip] pip 버전 지정 설치! (0) | 2019.08.06 |
[Word Cloud] Python 을 이용해서 한글 word cloud 만들기 (0) | 2019.07.09 |
[Tensorflow] 기본 설정 (0) | 2019.06.26 |
Comments