본문 바로가기

selenium python - 에러 날 때 한 번 쯤 해보면 좋을 시도 selenium python - 에러 날 때 한 번 쯤 해보면 좋을 시도 에러의 종류에 따라서 달라지겠지만 xpath 혹은 name, class 등으로 elements를 찾아 클릭하는 것을 시도했을 때 에러가 난다면 2가지를 볼 것 같아요. 1 . modal이 띄워져 있어서 해당 elements를 찾았지만 클릭이 안된다. >> 요건 이전 포스팅에 작성해뒀는데 한 번 확인해보세요. modal을 display:none 시키면 됩니다. >> 2019/08/25 - selenium python - Other element would receive the click 2. element를 못찾는다. >> 코드가 실행될 때 selenium이 해당 페이지를 모두 로드하지 못하는 경우도 있는 것 같으니까 time.sle.. 더보기
Html parsing - beautifulsoup4 (find all elements using attribute) 아래 포스팅들에서 이어집니다. :-) 2016/08/21 - Html parsing - beautifulsoup4 (child element) 2016/08/21 - Html parsing - beautifulsoup4 (find_all image src) 2016/08/20 - Html parsing - beautifulsoup4 (install) 위 포스팅들을 보면 주로 find_all 에서 class 이름으로 elements를 찾는데요. 전 이게 일반적이라고 봅니다. 대부분의 사이트에서는 class 이름만으로 찾기가 가능하다고 생각하거든요. 이번 포스팅에서는 class가 아니라 다른 attribute를 활용해서 elements를 찾는 것에 대해서 작성해둡니다. 이 포스팅 내용은 아래 URL에서도 찾.. 더보기
Html parsing - beautifulsoup4 (child element) 이전 글 :) 2016/08/20 - [Python/libraries] - Html parsing - beautifulsoup4 (install)2016/08/21 - [Python/libraries] - Html parsing - beautifulsoup4 (find_all image src) 이번에는 특정 element의 child element의 값을 얻는 과정을 간단하게 작성해두려고 합니다. 먼저 사용하려는 웹 소스는 제 블로그이구요. http://ngee.tistory.com 현재 여러분은 이 글을 읽고 있다면 접속하신 상태겠군요 !!!아무튼 왼쪽에 카테고리가 보이는데 이걸 파싱해보겠습니다. 소스를 보니 하위에 li로 구성되어있네요. (빨간색으로 표시된 부분) 이렇게 해보려고 합니다. 1. 를 .. 더보기
Html parsing - beautifulsoup4 (find_all image src) 이전 글 :) 2016/08/20 - [Python/libraries] - Html parsing - beautifulsoup4 (install) 이번에는 간단한 예제로 Beautifulsoup4 에서 제공되는 find_all을 알아보도록 하겠습니다 !!! find_all 이라는 함수는 이름에서도 알 수 있듯이 동일한 것을 모두 찾아주는 함수입니다. 자세한 설명은 https://www.crummy.com/software/BeautifulSoup/bs4/doc/#find-all 을 참고하세요 :) https://www.crummy.com/software/BeautifulSoup/bs4/doc/#find-all 실제 웹 페이지를 통해서 한 번 find_all이 어떤 역할을 할 수 있는지 알아보아요. 만만한건.. 더보기
Html parsing - beautifulsoup4 (install) 살다보면 하기 싫은 Html parsing도 해야 하는 날이 있는거죠 :) 아주 예전에 beautifulsoup을 통해서 Html parsing을 했던 적이 있습니다. 오늘 다시 설치하려고 찾아보니 버전 4가 나왔더라구요. 그리고 이전 보다는 수월하게 Parsing이 가능해진 것 같습니다. 암튼 Python 으로 Html Parsing을 처리해야 하는 분들은 4 버전으로 하는게 좋을 것 같아요 !!! pip 로 검색해보면 아래와 같습니다. pip install beautifulsoup4 위 명령어로 설치하실 수 있습니다. 뒤에 꼭 4를 붙여서 설치하세요 !! 안그럼 3버전이 설치되니깐요!! 아래 사이트에 들어가면 좋은 예제 및 설명이 되어있어요!! 참고하시길 !! https://www.crummy.com.. 더보기
Html data attribute parsing using jQuery data-* attribute는 사용하기에 따라 유용하게 활용할 수 있습니다. 예로 아래와 같은 data-* attribute가 있다고 가정하겠습니다. 2개의 data-* attribute를 설정해봤어요. 하나는 data-type다른 하나는 data-sub-type 입니다. jQuery를 통해서 해당 data-* attribute를 파싱하는 방법은 아래와 같아요. 위 소스로 출력되는 결과는 아래와 같습니다. // AAA var pType = $('.testP').attr("data-type") var pSubType = $('.testP').attr("data-sub-type") console.log(pType); console.log(pSubType); data-* attribute를 하나 더 추가해봤.. 더보기
파이썬 baisc - xml parsing(파싱) 파이썬에서 xml parsing 하는 방법은 매우 다양하죠. 어떤 라이브러리를 쓰느냐에 따라서, 코딩 내용도 조금은 달라질 것이구요. 이번 포스팅에서는 ElementTree 라이브러리를 이용해서 xml parsing 하는 방법에 대해서 간략하게 작성해보려구요. 1. ElementTree 라이브러리 설치 일단 ElementTree가 설치되어 있어야 하겠죠? 저는 pip를 이용한 설치를 추천드립니다. 혹시 pip를 설치가 되어 있지 않다면, apt-get install python-pip 로 설치하세요 (물론 root 권한에서요) ElementTree 설치는 아래와 같아요.root 권한에서 pip install elementtree 2. XML 파싱 ElementTree 라이브러리를 설치했으니, 모듈을 불러.. 더보기