스파르타 코딩 파이썬 크롤링(웹 스크래핑) mongoDB 사용 방법

파이썬 크롤링(웹 스크래핑) mongoDB 사용 방법

안녕하세요. 코딩하임입니다. 오늘은 스파르타 코딩에서 파이썬 크롤링(웹 스크래핑), mongoDB 사용방법에 대해서

배워보았는데요.

평소에 크롤링(웹 스크래핑)에 관심이 많이 있었는데, 이렇게 실습을 해볼 수 있어서 너무 좋은 기회였던 것 같아요.

마지막 과제에서는 genie 뮤직에서 1위부터 50위까지의 내용의 그대로 가지고 와서 mongoDB에 저장까지 할 수 있는 것을 보고, 이렇게 웹사이트를 만드는 중에 '내가 필요한 정보가 있으면 언제든지 불러올 수 있겠구나'라고 생각했어요.

 

파이썬과 크롤링(웹 스크래핑)에 대한 부분은 국비과정(java, spring 과정)에서도 배우지 않은 부분이었고, 

취미로 하고 있는 부업에서 파이썬을 활용해 크롤링하여 실시간 정보 데이터를 엑셀화 시키는 것 등을 여러 매체에서 접하고 배우고 싶다는 '열정'이 가득했습니다.

 

그 덕분에 더욱 집중을 할 수 있었고, 빠르게 3주차까지 마무리할 수 있었던 계기가 된 것 같아요.

3주 차의 내용을 잠깐 다시 요약해보자면

파이썬을 공부하기 위한 기초공부로

1. 변수
2. 자료형
3. 함수
4. 조건문
5. 반복문

위 5가지를 강조해주셨고, 지금 생각해보면 프로그래밍 언어는 달랐던 짧은 SI 경력이지만,

저 범주를 크게 벗어나지는 않았던 것 같아요.(Java, javascript, spring 사용.)

 

그리고 어렵게 개념 설명을 해주시기 보다는 직접 해보면서 어떤 경우에 if문과 for문을 써야 하는지

그런 부분들을 아주 작은 예제 안에 한 번에 넣어서 퀴즈까지 내주시니 (영상에서는 10분을 주셨는데, 3시간이나 걸림..)

혼자 고민하고, 공부하고 깨닫는데 더할 나위 없이 좋았던 것 같습니다.

 

그리고 한 가지 더 좋았던 점이 있었다면, 과제 안에 설명안해주는 문법을 활용해서 문제를 풀어나가야 하는 경우가 있었는데, 그런 경우에는 '이 문법'을 사용 해야하는데, 이 문법은 직접 구글링해서 직접 연구해보라고 하시는 것도 너무 좋았습니다.

(국비에서 동일하게 강의하시던 분도 계셨는데, 막연히 구글 검색해서 해결하라고 했을 때... 코딩을 처음 접하는 사람 입장에서는 어렵게 느껴질 수 있음.)

 

차라리 한 과제안에 몇 개의 문법을 같이 써가면서 자연스럽게 터득하는 방법이 훨씬 이해하기가 좋았던 것 같고,

어떠한 경우에서 어떤 방식으로 이 문법이 쓰였는지 쉽게 이해할 수 있었던 것 같아요.

 

반응형

mongoDB 사용 방법

데이터 저장, 삽입, 수정, 삭제를 해가면서 데이터를 조작하는 연습을 진행했습니다.

(따로 환경설정은 스파르타 코딩의 환경설정에 맞게 조정된 것이므로 사진이나 방법은 지나갈게요.)

 

데이터 저장 시 (pymongo)

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

 

데이터 한 개만 찾을 경우

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

데이터를 여러 개 찾을 경우 - 예시

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

mongoDB 데이터 수정 방법

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

mongoDB 데이터 삭제

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

 

요거를 자유자재로 쓸 수 있도록 연습해야겠다..

sql을 SI에서도 오지게 쳐봤는데... 살짝 또 바뀌니 새로운 환경에 적응을 또 해나가야 하는 게 이런 것이구나

하고 느끼기도 한 주차였어요.

 

아무튼.. 퀴즈와 숙제도 완벽하진 않았지만... 이제 시작이고 3개월 더 시간이 남아있으니까

3 회독하면서 미니 프로젝트도 빨리 해볼 수 있으면 좋겠네요! 

IT국비과정 1년 수료한 고졸 비전공자 학점은행제 다니다 나이 29에 지방 si 취업한 한 사람의 후기

IT국비과정 1년 수료한 고졸 비전공자 학점은행제다니다 나이29에 지방si취업한 한 사람의 후기

HTML, CSS, Javascript 기초 문법 공부 정리(feat. 스파르타 코딩)

HTML, CSS, Javascript 기초 문법 공부 정리(feat.스파르타 코딩)

스파르타 코딩 2주 차 개발일지(jquery와 ajax의 이해)

스파르타코딩 2주차 개발일지(jquery 와 ajax의 이해)