본문 바로가기

selenium webdriver browser window size 정적인 웹페이지를 파싱할 때는 beautifulsoup4 만 사용해도 되지만 동적인 웹페이지를 파싱할 대는 selenium을 통해서 실제로 브라우저를 열어서 데이터를 가져와서 파싱하는 편입니다. 이게 정답인지는 모르겠지만 (불편하거든요 : 브라우저가 열려야 하니깐 gui 없는 서버 환경에서는 작동하지 않아서요)스크롤이 움직이면 데이터를 로딩하는 페이지도 잘 파싱할 수 있어서 사용하고 있습니다. pip로 selenium을 설치하면 되고요. 2018.02.14. (아 발렌타인데이 군요) 기준 3.9.0이 최신입니다. pip install selenium 저는 크롬브라우저를 통해서 웹페이지에 접속하기 때문에 크롬드라이버를 다운받아서 적당한 곳에 위치시킵니다. 2018.02.14. 기준 2.35 버전이 최신이네.. 더보기
크롬 브라우저 다운로드 패널 닫기 단축키 크롬 브라우저에서 다운로드 패널을 닫는 법에 대해서 간단하게 포스팅 :) 1. 크롬 브라우저에서 파일을 다운로드하면 아래 그림과 같이 브라우저 하단에 패널이 추가됨. 이걸 닫으려면 오른쪽 끝에 있는 x 표시를 마우스로 눌러줘야 함. ㅠㅠㅠ 근데 이게 짱 귀찮음. 2. 안타깝게도 바로 닫는 단축키는 없다고 함. 하지만 Downloads 페이지를 열면 자동으로 패널이 사라짐. 다행스럽게도 Downloads 페이지를 여는 단축키는 존재함 다운로드 페이지 열기 : Ctrl + j Ctrl + j를 누르면 아래와 같은 페이지로 이동함 3. 그런데 Downloads 페이지가 궁금한게 아님으로 바로 창을 닫는 단축키를 눌러서 Downloads 페이지를 닫아 버림. 창 닫기 : Ctrl + w 연속으로 눌러버리면 아래.. 더보기
WinSCP -- AWS EC2 Access AWS EC2에서 인스턴스를 생성하면 다운받을 수 있는 pem 키는 인스턴스에 접근할 때 필요하죠 :) 리눅스에서 ssh로 접근할 때는 -i 옵션에 pem 키를 인자로 활용하면 됩니다. 이번 포스팅에서는 윈도우에서 WinSCP를 사용해서 AWS EC2에 파일을 올리는 방법에 대해 간단하게 정리해보려고 합니다. 준비물 : WinSCP 설치한 컴퓨터, EC2에서 다운 받은 pem 키 1. winscp를 실행합니다. 아래와 같은 화면에서 노란색으로 표시한 고급을 선택합니다. 2. 고급을 선택하면 아래와 같은 화면이 나옵니다. 여기서 SSH - 인증 탭을 선택하면 됩니다. 노란색으로 표시한 버튼을 눌러서 pem 파일을 추가합니다. 3. pem 파일을 추가하면 PuTTYgen을 실행한다고 하는데요. 그러라고 합니.. 더보기
크롬 검색창 잘 활용하기 01 크롬 검색창 잘 활용하기 01 입니다. 사실 02를 제가 작성할 수 있을지는 모르겠네요. 그래도 일단 01로 시작합니다 ^^;; 크롬 검색창에 그냥 검색어를 입력해도 기본으로 설정해둔 검색 서비스에 질의한 결과를 확인할 수 있죠. 예를 들어서 구글을 기본 검색 서비스로 지정하신 분이라면 검색창에서 http://google.co.kr 이렇게 입력하고 검색을 하는 것이 아니라 그냥 검색창에 원하는 키워드를 입력하자나요. 그런데 이런 경우가 있는거죠. 평소에 구글 검색을 많이 사용하는데, 지금 검색하고 싶은 키워드는 naver에서 검색한 결과를 확인하고 싶다. 위와 같은 경우는 http://naver.com으로 이동해서 검색하시면 되지만, 불편한데요. 크롬에서 기본적으로 검색창 친 키워드를 naver에서 검색.. 더보기
윈도우 리눅스 파일 교환(전송) 안녕하세요~ 윈도우와 리눅스 파일 교환은 어떻게 하시나요? ^ ^ 몇 가지 방법이 있는 것 같아요. 1. winscp 사용하기 저는 주로 사용하는 프로그램이 winscp 입니다. 많이들 사용하고 계시지요? ㅎㅎ Fig. 1. WinSCP homepage : www.winscp.net 위 사이트에 들어가시면 무료로 사용 할 수 있는 파일을 다운로드 하실 수 있습니다. 설치는 default로 하시면 되구요. 실행하면 아래와 같은 화면을 보실 수 있어요. Fig. 2. WinSCP 실행화면 1. 새로만들기를 누르셔서, 리눅스 서버 정보를 입력하시면 로그인 하실 수 있습니다. 즉 아래와 같이 말이죠. Fig. 3. WinSCP 실행화면 2. 위 그림에서 왼쪽이 윈도우, 오른쪽이 리눅스 입니다. 간단하게 마우스로.. 더보기