본문 바로가기

파이썬 크롤링 001 - 구성요소, 구현방법 / 데이터수집 자동화 안녕하세요 ! 오랜만에 정말 오랜만에 잡다한 기술 내용으로 포스팅을 하네요. 이번에 조금 길게 정리해보고 싶은 주제는 크롤링입니다. 크롤링이 꼭 개발자의 영역은 아닌것 같습니다. 누구나 개발할 수 있는 영역이라 생각하고 복잡한 내용은 조금 공부하면 충분히 할 수 있는 부분이라고 생각됩니다. 첫 번째 포스팅은 구현 방법을 정리하는 정도로 마치고 두번째, 세번째 이어가면서 실제로 어떻게 크롤링 프로그램을 구현하는지 더 할 수 있으면 수집한 데이터를 데이터베이스에 저장하고 관리하는 내용까지 정리해보려고 합니다. 이 포스팅을 보고 계시다면 당연히 검색으로 들어오셨을 확률이 매우 높죠. 검색어에는 '크롤링 (crawling)' 이 포함되었을 확률도 매우 높다고 생각됩니다. 따라서 크롤링이 뭐야? 는 넘어가도 되겠.. 더보기
웹툰 고시생 / DANBI TEAM, 고시, 연재중 웹툰 " 고시생 " 리뷰 작가 : DANBI TEAM, 연재 : 연재되고 있어요. 14화까지 나왔네요 (2019.06.19 기준) 웹툰 - 고시생 바로가기 여기 독서실에서 고시 공부를 하는 3인방이 모였습니다. 피시방, 술을 마시면서 친해진 친구들이죠 ㅎㅎ 하라는 공부는 안하고 !! 오늘은 술한잔 거하게 하기로 했는데 한 친구가 여자를 부른다고 하네요. 친구가 부른 여자분은 직설적으로 사주는 것부터 체크하는 멋쟁이 !!! 남자주인공은 정말 정말 오랜만에 여자들과 같이 술을 먹게되었는데.. 첫인상이 좀 쎄하긴 하다만 그냥 느낌이었으면 좋겠지만 고시생 남자주인공의 인생이 이날을 기점으로 바뀌게 됩니다. 어떻게 바뀌었는지 궁금하지 않으세요? ㅎㅎ 웹툰에서 확인해보세요 !! 웹툰 - 고시생 바로가기 더보기
Swift 공부 관련 링크 Swift 공부를 저는 이제 하고 있습니다. 나온지가 한참 되었지만, 이제야 할 마음이 들었어요 ^^;; 공부할 수 있는 사이트가 많이 존재하는데요. 아래 사이트들은 너무나 당연하거나 쉽게 검색이 되긴 하는데요. 그래도 귀찮으신 분들이 계실까바 한 번 올려봅니다. 1. Swift Programming Language https://developer.apple.com/library/ios/documentation/Swift/Conceptual/Swift_Programming_Language/TheBasics.html 애플에서 제공하고 있는 Swift 관련 내용이 총 정리되어 있는 웹 페이지 입니다. 제가 링크 건 것은 언어 기초 시작부분이니, 링크들어가 보시면 페이지 상단에 존재하는 Welcome to S.. 더보기
playground test in Xcode 언제부터인지는 잘 모르겠지만 ^^; Xcode에 Playground 라는 것이 생겼네요. 오늘부터 Swift를 한 번 공부해보려구요. Swift 언어에 대해서 간단하게 실습하기 위해서 Playground라는 것을 사용하라고 문서에 나와있네요 ^^ Playground는 아래와 같이 실행할 수 있습니다. 먼저 Xcode 초기 화면에서 "Get started with a playground"를 누르시면 되구요. 적당한 이름을 작성하시고 ~ Next를 눌러서 저장위치를 설정하시면됩니다. 기본적으로 아래 그림과 같이 소스가 작성되어 있는데요. var는 동적인 변수를 선언할 때 쓰네요. 문자열 "Hello, playground"가 입력되고, 오른쪽에 실행결과가 나타납니다. let은 정적인 변수를 선언할 때 쓰는 것.. 더보기
공부할 때 듣기 좋은 음악 :) 공부할 때 어떤 음악 들으시나요? 인기가요 100위 ?? 저도 예전에는 인기가요 들었는데요. 가사가 들리면, 내가 아는 노래가 나오면 집중하기가 어렵더라구요. 그래서 끄고 키고 반복하다가 그랬는데요. 요즘에는 SoundCloud에서 Piano 탭에가서 쭉 들어요. 잔잔하니깐, 주로 저녁에 집중을 하는 저로서는 참 좋네요. SoundCloud Piano 탭 : https://soundcloud.com/explore/piano 이동할 때는 신나는 곡들 들으면 좋더라구요. ^^ 그냥 생각나서 잠깐 적어봤어요 :) 더보기
R 공부 관련 사이트 개인적인 생각으로, R에 대한 관심이 많이 높아졌고, 앞으로 한 동안은 계속될 것 같습니다. R 저도 잘 모르는데요. 그래서 공부할 수 있는 사이트들을 조금 알아봤고, 그 중 2군데를 소개하려구요. 1. Coursera - r (https://www.coursera.org/course/rprog) Coursera는 워낙 유명하니깐 다들 아실 것 같아요. 무료로 다양한 지식을 습득할 수 있는 사이트죠. 5월 5일 R 강좌가 하나 열렸습니다. 주소는 위에 링크를 선택하시면 되구요. 저도 신청했고, 꾸준히 들어서 꼭 다 들어보려구요. 예전에 Coursera에서 강의를 하나 들은 적 있는데요. 아주 만족스러웠습니다. 물론 영어이긴 하지만, 아주 못알아 들을 정도는 아닌 것 같습니다. 2. R을 이용한 데이터 분.. 더보기
파이썬 공부 관련 사이트 정리 파이썬 점차 영향력이 높아가는 것 같은 느낌을 받아서 기분 좋네요. 저도 잘 못하니깐, 여러 공부에 도움되는 사이트들을 즐겨찾기 해두고 있습니다. 그래서 일단 간단하게 사이트를 정리해보려구요. 순서에는 의미가 없습니다. 일부러 각 사이트에 대한 이미지는 추가하지 않았습니다. 직접 접속해보시고, 가장 잘 맞는 스타일을 활용하시는게 좋을 것 같아서요. 1. 점프 투 파이썬 : https://wikidocs.net/book/1 점프 투 파이썬은 박응용 저자께서 작성하셨습니다. 저도 오랜만에 들어가봤습니다. ebook으로도 판매중이네요. 왼쪽에 파이썬 언어에 대한 주요 내용이 참 잘 설명되어 있습니다. 꼭 한 번 읽어보시길 추천드립니다. ^^ 2. Codecademy : http://www.codecademy... 더보기