본문 바로가기

파이썬 크롤링 004 - 파싱 결과 저장 / 데이터수집 자동화 정말 기본적인 크롤링 구현을 보여드리고 있습니다. 앞선 포스팅 3개에서 이어지는 포스팅이고요. 파이썬을 활용한 크롤링에 대해서 궁금하신 분들은 001부터 봐주시면 더 이해가 쉽습니다. 아래 링크로 달아둘게요. 2020/04/19 - 파이썬 크롤링 001 - 구성요소, 구현방법 2020/04/26 - 파이썬 크롤링 002 - 크롤러 구현 2020/05/03 - 파이썬 크롤링 003 - 파서 구현 003에서 작성한 코드를 일부 수정했습니다. 일단 전체는 이렇게 생겼고요. 추가된 부분만 설명해볼게요. import requests from bs4 import BeautifulSoup crawling_target_urls = [ 'https://finance.naver.com/item/main.nhn?code=0.. 더보기
데스크톱 크롬 브라우저 비밀번호 저장 비활성화 크롬 웹 브라우저를 사용하다보면 비밀번호를 저장할꺼냐고 계속 물어보는데요. 아니요 누르기도 귀찮고 지치면 아래와 같이 설정을 변경해보세요. 다시는 물어보지 않아요 ^^. 노란색으로 표시한 부분을 따라 가시면 됩니다. 크롬을 실행하고, 오른쪽 상단에 있는 버튼()을 눌러서 settings에 들어갑니다. 혹은 크롬을 실행하고 주소창에 chrome://settings/ 을 입력해보세요. 고급 설정 표시를 눌렀을 때 추가로 표시되는 여러 설정 중에 아래 비밀번호 및 양식이라는 부분이 있어요!! 오른쪽 처럼 체크를 풀어주세요!! 이제는 비밀번호가 저장되지 않습니다. 다른 사람들과 같이 사용하는 컴퓨터의 경우 꼭 비밀번호가 저장되지 않도록 신경써주세요~~~ :) 영어버전을 사용하시는 분들도 동일해요. 더보기
앱 추천(Android, iOS) - Pocket 앱 추천.. 사실 앱 이라기 보다는 서비스에 가깝죠. 앱은 서비스를 사용하는 인터페이스에 가까운 것이구요. Pocket : https://www.getpocket.com/ 데스크탑, iOS, Android에서 모두 사용 가능한 서비스로 웹 페이지를 보관할 수 있는 서비스입니다. Android나 iOS에 앱을 설치하면, 웹 브라우저에서 보고 있는 웹 페이지를 Pocket에 보관하고 언제든지 보고 싶을 때 Pocket 앱에 들어가서 볼 수 있는데요. 오프라인 상태에서도 가능합니다. 정말 좋은 웹 페이지.. 기사나 블로그일 수도 있고요. 혹은 문서가 나와 있는 페이지 일 수도 있죠. 하지만 지금 자세히 볼 시간이 부족하다 싶을 때 Pocket에 보관하도록 하고, 나중에 시간날 때 다시 꺼내서 보는 용도로 사용.. 더보기
파이썬 basic - url 주소에 있는 xml 파일 로컬에 저장하기 url 주소에 있는 xml 파일을 local(로컬)에 저장하는 간단한 문장을 포스팅하려구요. 예를 들어서, 서울시 OpenAPI를 사용하실 때 활용가능하겠죠? http://openapi.seoul.go.kr:8088/sample/xml/ListAvgOfSeoulAirQualityService/1/1/ 위 주소는 서울시 OpenAPI를 샘플키로 접근한 것인데요. 들어가보시면 xml 내용이 시각화되죠? 이것을 서버에서 간단하게 저장하기 위해서는 파이썬(python)의 urllib2 라는 객체를 사용하시면 됩니다. 다음과 같이말이죠. import urllib2 url = "http://openapi.seoul.go.kr:8088/sample/xml/ListAvgOfSeoulAirQualityService/1/.. 더보기