728x90 반응형 혼자공부6 python - beautifulsoup 라이브러리 활용하여 웹크롤링하기! Beautifulsoup 라이브러리를 활용하여 파이썬 웹크롤링하기 요즘 네이버 블로그 포스팅의 경우 마우스 드래그, 우클릭이 금지되어있다.즉, 저 내용을 내 마음대로 복사할 수 없다는 뜻이다.하지만 파이썬 beautifulSoup 라이브러리를 활용하여 크롤링하면 내용을 충분히 가져올 수 있다. ... 1. 사이트 정보를 가져오기위해서는 "requests" 라이브러리를 사용한다. 해당 라이브러리를 사용하기 전에설치를 꼭! 해주어야한다. requests - http 호출을 하기 위한 파이썬 모듈 설치 후 라이브러리를 import 한다. 2. requests 함수를 이용하여 내가 원하는 블로그 주소를 불러온다.그리고 블로그의 내용을 text 화 한다. 아래의 내용 중 필요한 내용만 뽑아 사용하면 되지만.. 2022. 9. 23. 패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 탐색적 데이터 분석 - 학습일지 5주차 CH03_01. 탐색적 데이터 분석이란? EDA? Exploratory Data Analysis로 데이터에서 분석에 필요한 여러가지 통계량을 계산하고, 시각화를 통해 이를 확인하는 작업을 의미한다. - EDA는 분석을 하면서 데이터에서 확인하고 싶은 정보들을 찾아가는 과정이다. - 정해진 규칙이 있는 것은 없고 분석가들의 분석 스타일, 어떤 데이터를 사용하느냐에 따라 분석 스타일과 프로세스가 바뀐다. - 그래서 나만의 EDA process를 발견하는 것이 매우 중요하다. CH03_02. Starbucks Survey 이번 수업을 통해서 스타벅스 고객들의 이벤트 관련 설문에 대한 응답 데이터를 활용하여 고객들이 이벤트에 대한 응답을 어떻게 하는지에 대해 찾고 고객 홍모 개선방안을 찾아본다. 1. 라이브러리.. 2022. 9. 5. 패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 데이터 분석 라이브러리(2) - 학습일지 4주차 CH02-01 Numpy를 사용하는 이유 Numpy? Numerical computing with Python. 수치 연산 및 벡터 연산에 최적화된 라이브러리. https://numpy.org/ NumPy Powerful N-dimensional arrays Fast and versatile, the NumPy vectorization, indexing, and broadcasting concepts are the de-facto standards of array computing today. Numerical computing tools NumPy offers comprehensive mathematical functions, random number g numpy.org - 데이터 분석은 벡터 연산이.. 2022. 8. 29. 패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 파이썬 기초와 데이터분석 - 파이썬 프로그래밍(3) 학습일지 3주차 CH01-05 - IF IF ? 조건에 따라 다른 명령을 수행하는 statement (조건문, conditional statement) python에서는 if statement를 많이 사용한다. 그리고 모든 조건에 따른 분기(branch)에 따라 결정된다. if문을 사용할 때는 ":" 사용을 주의해야하며, if 문을 이용하여 프로그래밍을 한다는 것은 의사결정을 하는 것과 같기 때문에 항상 빠지는 것들이 있는지 없는지 항상 체크해야합니다. 조건문 비교연산 같다 : a = b 다르다 : a != b 크다 : a > b 작다 : a = b 작거나 같다 : a 2022. 8. 21. 패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 데이터사이언스 기초_Machine Learning Workflow_학습일지 2주차 빅데이터 분석 첫걸음 시작하기_2주차_데이터사이언스 기초_Machine Learning Workflow(1) CH03-00. Machine Learning Workflow Machine Learning Workflow ? 머신러닝 알고리즘을 이용하여 문제를 해결하는 방법론이며, 머신러닝 프로젝트 수행 방법이다. 분석 문제 정의 -> 데이터 수집 -> 탐색적 데이터 분석 -> 피쳐 엔지니어링 -> 예측 모델 개발 -> 서비스 적응 순서로 진행 분석을 하기 전에 어떻게 문제를 해결할 것인지 잘 생각해보아야한다. CH03-01. Machine Learning Workflow - 분석 문제 정의 분석 문제 정의 ? 어떤 문제를 머신러닝 방법론을 이용해서 해결할 것인지 머신러닝 방법론을 기준으로 문제를 정의하는 .. 2022. 8. 13. 패스트캠퍼스) 빅데이터 분석 첫걸음 시작하기 : 데이터 분석 - 학습일지 1주차 빅데이터 분석 첫걸음 시작하기_1주차_데이터사이언스 기초(1)_데이터 사이언스란? CH01 - 01 Job Description으로 살펴보는 Data Science 데이터 사이언티스트란? 데이터를 관리하고 분석하여 비즈니스 문제를 해결하기 위한 다양한 기술 및 도메인 기반 기술을 필요로 하는 직업입니다. 일부 수학자, 비즈니스 분석가 및 일부 컴퓨터 과학자가 포함된다. 위의 개념이 확정된 개념은 아니지만 지속적으로 발전하고 있다. 최근 들어서 데이터 사이언티스트에 대한 공고들이 많이 늘고 있으며 구글, 네이버, 타다 등등 여러 기업에서도 많은 데이터 사이언티스트를 찾고 있다. 뿐만 아니라 회사 마다 원하는 조건들이 정해져있기 때문에 다 확인해보는게 좋다. CH01 - 02 데이터 사이언스 기초 용어 선형.. 2022. 8. 8. 이전 1 다음 728x90
