파이썬Python - 웹 크롤링 미니 프로젝트(음원 순위, 현재 시간,날씨, 코로나19 확진자 현황, 뉴스 헤드라인)

파이썬 선수학습 끝낸 후 개인적으로 뭘 해볼까 고민하다가 일상생활에서 흔히 접할 수 있고,

결과를 눈으로 바로 볼 수 있는 크롤링을 이용해 프로그램을 만들기로 했다.

 

개인적으로 음원 추출할 때 크롤링 되는 사이트를 찾기가 어려웠다.

(VIBE, MELON, YoutubeMusic 다 안되던..)

찾다가 추억의 벅스에서 크롤링 성공!!(감사합니다(?))

import requests
from bs4 import BeautifulSoup
import pandas as pd
import datetime
import os

#현재 시간 안내
date = datetime.datetime.now()
now_date = date.strftime('%Y년 %m월 %d일 %H시 %M분 입니다.')
print("환영합니다, ", now_date)
print("오늘의 주요 정보를 요약해 드리겠습니다.")

#전국 날씨 요약(서울,대구,부산)
city = input("1. 날씨를 알려드립니다! 지역명을 입력하세요. > ")
r = requests.get("https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=0&ie=utf8&query="+city+"+%EB%82%A0%EC%94%A8")
bs = BeautifulSoup(r.text, "html.parser")
temp = bs.select_one("div.temperature_text > strong")
weather = bs.select_one("div.temperature_info > p > span.weather.before_slash")
temp_change = bs.find("p", {"class":"summary"}).text.split()[0:3]
temp_change_result = " ".join(temp_change)
print(f"{city} 날씨 : {temp.text}, {weather.text}, 어제보다 {temp_change_result}.")

#코로나 19 확진자 현황, 일일 확진
c = requests.get("https://search.naver.com/search.naver?where=nexearch&sm=top_sug.pre&fbm=1&acr=2&acq=%EA%B5%AD%EB%82%B4+%EC%BD%94%EB%A1%9C%EB%82%98&qdt=0&ie=utf8&query=%EA%B5%AD%EB%82%B4+%EC%BD%94%EB%A1%9C%EB%82%98+%ED%99%95%EC%A7%84%EC%9E%90+%ED%98%84%ED%99%A9")
bs2 = BeautifulSoup(c.text, "html.parser")
today_covid = bs2.select_one("div.status_info > ul > li > p.info_num")
print("2. 코로나 확진자 현황 안내드립니다.")
print("전국 신규 확진자 : {}명".format(today_covid.text))

#오늘의 핫토픽 헤드라인
n = requests.get("https://news.google.com/topics/CAAqJggKIiBDQkFTRWdvSUwyMHZNRFZxYUdjU0FtdHZHZ0pMVWlnQVAB?hl=ko&gl=KR&ceid=KR%3Ako")
bs3 = BeautifulSoup(n.text, "html.parser")

titles = bs3.find_all("h4")[0:10]
print("3. 오늘의 주요 뉴스")

for i in titles:
    print("-",i.get_text())

#오늘의 음원 종합 TOP10!!
print("4. 오늘의 음원 종합 TOP10")
m = requests.get("https://music.bugs.co.kr/chart/track/day/total")
bs4 = BeautifulSoup(m.text, "html.parser")
today_artist = []
today_title = []

artist = bs4.find_all("p", {"class":"artist"})
title = bs4.find_all("p", {"class":"title"})

for a in range(len(artist)):
    today_artist.append(artist[a].text)
for t in range(len(title)):
    today_title.append(title[t].text)
today_artist = list(map(lambda s : s.strip(), today_artist))
today_title = list(map(lambda s : s.strip(), today_title))
for c in range(0,10):
    print(f"{c+1}위 : {today_artist[c]} - {today_title[c]}")

아래는 실행 화면이다.

전국 지역명 어디든 상관없다. 검색!!

아침에 간단히 뉴스 헤드라인 보고 나가면 좋다.

정말 뉴진스가 대세이긴 한가보다.

개인적으로 르세라핌과 뉴진스를 좋아하는데 10위 안에 다 있는걸 보니 흐뭇(TMI)

 

아무튼 배운 것 토대로 구글링 해가며 얼기설기 만들어 봤는데 실제로 동작하는 걸 보니 감회가 새로웠다.

 

남들이 봤을때 뭐 저거 해놓고 저렇게 기뻐하냐 할텐데..(머쓱)