3주차 개발일지(Weak I learned)

파이썬 웹에있는 데이터를 긁어올수있는 크롤링

그리고 그것을 저장할수있도록 mongodb까지

파이썬이라는 언어를 통해서 서버역할을 해줘

데이터들을 담을 데이터베이스도 필요

파이썬 설치 => 의미 

1010 전기신호 

우리 입장 ? 별로? => 그래서 사람의 언어와 가장 가깝게 고안된 언어 => 프로그래밍언어

컴퓨터가 알아들을수있는 번역팩 정도로 보자~

데이터분석 (직관적 ,라이브러리 풍부, 범용성 넓고 진입장벽이 낮다)

venv 절대 건들지 마세요

주의사항 반드시 오른쪽 버튼누른후 Run을 구동해야된다

ui상에 초록색 화살표를 누르게되면 전에 구동됐던 파일이 구동될 가능성 존재

파이썬 자바스크립트보다 상대적으로 직관적

거의 모든 로직 구현 가능 => 파이썬 

파이썬 함수 => def로 쓴다

for person in people:
    print(person)

파이썬 패키지

라이브러리 굉장히 방대함  

사람들이 만들어놓은 라이브러리가 많다 => 패키지

import를 하면 패키지 사용가능 

가상환경 존재 => 수동으로 세팅

공구함을 한개씩 만들어서 라이브러리를 넣자

가상환경 => 라이브러리를 담아두는 폴더

virtual environment = 가상환경

python requests package(패키지)

크롤링이 가능한 이유

인터넷과 관계가없다 이미 받아온 거다

내가 이미 받아온걸가지고 솎아내는게 크롤링이다.

기술적으로 두가지 중요
1.요청 (코드 안에서) 
2.요청되서 가지고 온 코드들중 내가 원하는 정보를 잘 솎아내는거

첫번쨰는 request라는 라이브러리 

beautifulsoup 4 => 잘 솎아내는 라이브러리 

headers 브라우저에서 엔터친거마냥 효과 내어주는 역할

select는 리스트로 나온다

import requests # import하는거
from bs4 import BeautifulSoup






mongo db => database

기본적으로 데이터를 쌓아두는거

평소에 쓰는 프로그램

내 눈에 보이지 않게 켜진다

컴퓨터에서 돌아가는데 내눈엔 보이진않는다 

robo 3T를 가지고 mongo db의 데이터가 알수있도록하는거다

robo 3t를 가지고 몽고 디비 데이터를 시각화해서 볼수있게

robo 3T mongodb의 데이터를 볼려고 만드는거다

데이터베이스 역할 종류

데이터를 잘 갖다 쓰려고

책장 책 =>보관 목적 책 방에다가 던짐 다락방 같은데

나중에 잘 찾을려고

sql NoSQL(not only sql)

특징 sql은 엑셀에 더 가깝다

NoSQL 한줄한줄 딕셔너리 형태로 들어가는것

sql 열과 행을 미리 정해놔야됨

좀 더 정형화된 어떤 데이터를 뽑아가는 방식 최적화

정해져있는 틀 데이터 굉장히 일관적 데이터 분석 빠르다

NoSQL 하나하나 다 다르다

NoSQL 10001번부터

10000개 주소 굳이 공란?

SQL => MS-SQL My-SQL, Oracle

NoSQL => MongoDB

서버 = 컴퓨터의 역할 DB라는 프로그램을 돌리자~

새로 하드웨어 이런느낌 ㄴㄴ 그냥 컴퓨터의 프로그램이자 역할

이 컴퓨터 DB 서버 크롤링 3가지 모두 가능할수도있음

파이썬으로 엑셀을 조작할수있는 남이 만들어놓은 라이브러리

python으로 mongodb를 조작할려면 남이 만들어놓은 pymongo라는 라이브러리 설치


# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
same_ages = list(db.users.find({'age':21},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

문자열 "9.39"
매트릭스 0
파이썬 문자열 자르기 

파이썬 공백 제거