본문 바로가기

파이썬 크롤링 004 - 파싱 결과 저장 / 데이터수집 자동화 정말 기본적인 크롤링 구현을 보여드리고 있습니다. 앞선 포스팅 3개에서 이어지는 포스팅이고요. 파이썬을 활용한 크롤링에 대해서 궁금하신 분들은 001부터 봐주시면 더 이해가 쉽습니다. 아래 링크로 달아둘게요. 2020/04/19 - 파이썬 크롤링 001 - 구성요소, 구현방법 2020/04/26 - 파이썬 크롤링 002 - 크롤러 구현 2020/05/03 - 파이썬 크롤링 003 - 파서 구현 003에서 작성한 코드를 일부 수정했습니다. 일단 전체는 이렇게 생겼고요. 추가된 부분만 설명해볼게요. import requests from bs4 import BeautifulSoup crawling_target_urls = [ 'https://finance.naver.com/item/main.nhn?code=0.. 더보기
sol) python3 - module 'sys' has no attribute setdefaultencoding python2에서 기본 인코딩 변경하는 방법 중에 아래 그림과 같이 sys.setdefaultencoding('utf-8') 를 활용하는 방법이 있습니다. python3에서는 기본 인코딩으로 utf-8이 설정되어 있기 때문에 따로 설정할 필요는 없다고 합니다. python3로 넘어가시는 분들은 위와 같은 설정부분을 삭제하시면 되겠습니다. delete sys.setdefaultencoding('utf-8') 더보기
파이썬3(python3) import error ModuleNotFoundError / 절대경로, 상대경로 python2에서 python3을 넘어가면서 django 버전도 1.11에서 > 2.1로 업그레이드 했습니다. 그랬더니 기존 프로젝트 코드 중 import에서 에러가 나더라고요. 예로 django app을 하나 만들었다고 가정해볼게요. abc라는 앱입니다. abc - views.py - models.py - ... 이런식으로 되어 있을 거고 views.py에서 models.py에 작성되어 있는 model 중 test를 import 하려고 하려고 하면 from models import test 하면 django 1.11에서는 넘어갔는데 django 2.1에서는 ModuleNotFoundError 에러가 나옵니다. 해결 방법은 2가지입니다. 경로를 절대경로로 작성해주던지 from abc.models impo.. 더보기
(python3, pip3) install in mac & virtualenv python3 1. python3 install in mac 맥에서 python3가 기본적으로 설치되어 있다면 명령어 python3 를 실행 했을 때 아래와 같이 나옵니다. 만약에 없다면 brew install python3 로 설치합니다. 설치 후 다시 python3 를 실행해서 위와 같이 나오면 OK. 2. pip3 install in mac 명령어 pip3 실행했을 때 에러나거나 not found 되면 없는 것입니다. 혹은 경로 설정이 잘 안되어 있던가요. 일단 설치는 아래 명령어로 할 수 있습니다. 다운로드 : curl -O https://bootstrap.pypa.io/get-pip.py설치 : python3 get-pip.py실행 : python3 -m pip 저는 경로 설정이나 셋팅이 잘 안되어 있는 경우.. 더보기