본문 바로가기
반응형

혼자공부6

python - beautifulsoup 라이브러리 활용하여 웹크롤링하기! Beautifulsoup 라이브러리를 활용하여 파이썬 웹크롤링하기 요즘 네이버 블로그 포스팅의 경우 마우스 드래그, 우클릭이 금지되어있다. 즉, 저 내용을 내 마음대로 복사할 수 없다는 뜻이다. 하지만 파이썬 beautifulSoup 라이브러리를 활용하여 크롤링하면 내용을 충분히 가져올 수 있다. . . . 1. 사이트 정보를 가져오기위해서는 "requests" 라이브러리를 사용한다. 해당 라이브러리를 사용하기 전에 설치를 꼭! 해주어야한다. requests - http 호출을 하기 위한 파이썬 모듈 설치 후 라이브러리를 import 한다. 2. requests 함수를 이용하여 내가 원하는 블로그 주소를 불러온다. 그리고 블로그의 내용을 text 화 한다. 아래의 내용 중 필요한 내용만 뽑아 사용하면 되.. 2022. 9. 23.
패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 탐색적 데이터 분석 - 학습일지 5주차 CH03_01. 탐색적 데이터 분석이란? EDA? Exploratory Data Analysis로 데이터에서 분석에 필요한 여러가지 통계량을 계산하고, 시각화를 통해 이를 확인하는 작업을 의미한다. - EDA는 분석을 하면서 데이터에서 확인하고 싶은 정보들을 찾아가는 과정이다. - 정해진 규칙이 있는 것은 없고 분석가들의 분석 스타일, 어떤 데이터를 사용하느냐에 따라 분석 스타일과 프로세스가 바뀐다. - 그래서 나만의 EDA process를 발견하는 것이 매우 중요하다. CH03_02. Starbucks Survey 이번 수업을 통해서 스타벅스 고객들의 이벤트 관련 설문에 대한 응답 데이터를 활용하여 고객들이 이벤트에 대한 응답을 어떻게 하는지에 대해 찾고 고객 홍모 개선방안을 찾아본다. 1. 라이브러리.. 2022. 9. 5.
패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 데이터 분석 라이브러리(2) - 학습일지 4주차 CH02-01 Numpy를 사용하는 이유 Numpy? Numerical computing with Python. 수치 연산 및 벡터 연산에 최적화된 라이브러리. https://numpy.org/ NumPy Powerful N-dimensional arrays Fast and versatile, the NumPy vectorization, indexing, and broadcasting concepts are the de-facto standards of array computing today. Numerical computing tools NumPy offers comprehensive mathematical functions, random number g numpy.org - 데이터 분석은 벡터 연산이.. 2022. 8. 29.
패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 파이썬 프로그래밍(3) 학습일지 3주차 CH01-05 - IF IF ? 조건에 따라 다른 명령을 수행하는 statement (조건문, conditional statement) python에서는 if statement를 많이 사용한다. 그리고 모든 조건에 따른 분기(branch)에 따라 결정된다. if문을 사용할 때는 ":" 사용을 주의해야하며, if 문을 이용하여 프로그래밍을 한다는 것은 의사결정을 하는 것과 같기 때문에 항상 빠지는 것들이 있는지 없는지 항상 체크해야합니다. 조건문 비교연산 같다 : a = b 다르다 : a != b 크다 : a > b 작다 : a = b 작거나 같다 : a 2022. 8. 21.