2022-04-09

파이썬 웹에있는 데이터를 긁어올수있는 크롤링

그리고 그것을 저장할수있도록 mongodb까지

파이썬이라는 언어를 통해서 서버역할을 해줘

데이터들을 담을 데이터베이스도 필요

파이썬 설치 => 의미 

1010 전기신호 

우리 입장 ? 별로? => 그래서 사람의 언어와 가장 가깝게 고안된 언어 => 프로그래밍언어

컴퓨터가 알아들을수있는 번역팩 정도로 보자~

데이터분석 (직관적 ,라이브러리 풍부, 범용성 넓고 진입장벽이 낮다)

venv 절대 건들지 마세요

주의사항 반드시 오른쪽 버튼누른후 Run을 구동해야된다

ui상에 초록색 화살표를 누르게되면 전에 구동됐던 파일이 구동될 가능성 존재

파이썬 자바스크립트보다 상대적으로 직관적

거의 모든 로직 구현 가능 => 파이썬 

파이썬 함수 => def로 쓴다

for person in people:
    print(person)

파이썬 패키지

라이브러리 굉장히 방대함  

사람들이 만들어놓은 라이브러리가 많다 => 패키지

import를 하면 패키지 사용가능 

가상환경 존재 => 수동으로 세팅

공구함을 한개씩 만들어서 라이브러리를 넣자

가상환경 => 라이브러리를 담아두는 폴더

virtual environment = 가상환경

python requests package(패키지)

크롤링이 가능한 이유

인터넷과 관계가없다 이미 받아온 거다

내가 이미 받아온걸가지고 솎아내는게 크롤링이다.

기술적으로 두가지 중요
1.요청 (코드 안에서) 
2.요청되서 가지고 온 코드들중 내가 원하는 정보를 잘 솎아내는거

첫번쨰는 request라는 라이브러리 

beautifulsoup 4 => 잘 솎아내는 라이브러리 

headers 브라우저에서 엔터친거마냥 효과 내어주는 역할

select는 리스트로 나온다

import requests # import하는거
from bs4 import BeautifulSoup