오늘은 어떤 걸 해볼까?
어떤 키워드에 대해서 검색 결과 제목만 쏙쏙 뽑아서 보면 그 키워드에 대해서 요즘 어떤 일이 일어나고 있는지 쉽게 알 수 있지 않을까?
예를 들어, "기안84"가 요즘 어떤 활동을 하고 어떤 프로그램에 나오는지 궁금하다면
1. 네이버 검색창에 "기안84"를 검색하고
2. VIEW 탭으로 가서 각종 블로그 포스팅, 카페 게시물, 뉴스 기사의 제목을 쭉 훑어볼 것이다.
3. 내가 필요한 것은 제목 뿐이므로 제목만 쏙쏙 뽑아서 보고 싶다는 생각이 들 것이다. (나만 그런가?)
그래서 오늘은 ChatGPT를 이용하여
네이버 검색 결과의 제목만 크롤링 하는 파이썬 프로그램
을 작성해 보겠다.
ChatGPT가 무엇인지 궁금하다면, 이전 포스팅 참고 :)
ChatGPT란? | ChatGPT에게 물어보았다.
요즘 핫한 ChatGPT! 유튜브, 페이스북 등 내노라 하는 그 어떤 서비스 보다 이용자 수가 가장 빠르게 증가하고 있다고 한다. 그렇다면 ChatGPT가 무엇이길래 이렇게 난리일까? ChatGPT에게 물어보았다
drinkalonetogether.tistory.com
그럼 시작해보자!
ChatGPT에게 만들고자 하는 프로그램을 상세하게 알려주기 위해서, 네이버에서 아무거나 검색하고 VIEW 탭을 누른다.
나는 ChatGPT를 검색했다.
이 상태에서 주소 창에 표시된 주소를 복사해둔다.
https://search.naver.com/search.naver?where=view&sm=tab_jum&query=ChatGPT
크롬이나 엣지를 사용한다면 F12를 누르면 개발자 도구가 나온다.
요소 탭으로 들어가서 각 요소에 마우스를 대면 해당 HTML 코드에 해당하는 부분이 파랗게 표시된다.
<body> 탭 안으로 타고 타고 들어가면서 첫 번째 부분의 제목에 해당하는 부분을 찾는다.
오른쪽 버튼을 눌러서 복사 > 요소 복사를 눌러서 복사해둔다.
<a href="https://dobiho.com/61149/" class="api_txt_lines total_tit _cross_trigger" data-cr-gdid="a00000fa_39f801a09bef373b4910a807" target="_blank" onclick="return goOtherCR(this, 'a=rvw* b.link&r=1&i=a00000fa_39f801a09bef373b4910a807&u='+urlencode(this.href))"><mark>ChatGPT</mark> Announcement of paid service, can it be used for free in the future?</a>
이제 번역기를 켜고
https://search.naver.com/search.naver?where=view&sm=tab_jum&query=ChatGPT
크롤링해서 제목 텍스트만 가져오는 파이썬 코드를 작성해줘.
제목 텍스트 html 샘플은 이거야.
<a href="https://dobiho.com/61149/" class="api_txt_lines total_tit _cross_trigger" data-cr-gdid="a00000fa_39f801a09bef373b4910a807" target="_blank" onclick="return goOtherCR(this, 'a=rvw* b.link&r=1&i=a00000fa_39f801a09bef373b4910a807&u='+urlencode(this.href))"><mark>ChatGPT</mark> ChatGPT 유료화 발표, 앞으로 무료로 쓸 수 있을까?</a>
아주 간단한 코드를 순식간에 짜주었다.
친절하게 예상 output도 보여준다.
실행해보자!
개인적인 python 실행 환경이 갖춰져 있다면 그 환경에서 실행하면 되지만,
만약 없다면, 이전 포스팅을 참고해서 구글의 Colab을 사용해서 실행해보자.
ChatGPT로 노아 ai 10분 만에 후다닥 만들어 보자 | 엉아 ai | 비개발자도 가능
요즘 chatGPT가 아주 핫하다. Open AI에서 만든 대화형 인공지능. 간단한 질문에 대한 대답부터 글/코드 작성까지 아주 다재다능한 녀석이다. 그리고 또 한 가지! 노아ai도 아주 핫하다. 유튜브를 시
drinkalonetogether.tistory.com
실행은 잘 되었는데, 제목을 달랑 한 개만 가져왔다.
(이러려고 널 시킨게 아니란다.)
우리의 ChatGPT는 대화의 문맥을 저장하고 있으므로 더 자세한 요구사항을 이야기 해주자.
(업무 지시를 구체적으로 해주는 상사가 좋은 상사다.)
수정해보자!
예상 output을 보면 잘 작성해준 것 같은데, 한 번 실행해보자.
원하는 대로 결과가 잘 나온 것을 볼 수 있다.
위 코드를 간단하게 수정하여 크롤링 하고 싶은 검색어를 넣을 부분을 만들었다.
아래 코드를 그대로 가져가 사용해도 좋지만,
ChatGPT를 이용해서 만들고 싶었던 것을 직접 만들어보는 실습을 해보는 것도 재미있는 경험이 될 것이다.
import requests
from bs4 import BeautifulSoup
query="여기에 원하는 검색어를 입력하세요."
url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" + query
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
titles = soup.find_all("a", class_="api_txt_lines total_tit _cross_trigger")
for title in titles:
print(title.text)
이 포스팅은 "프로그래머 김플 스튜디오"님의 영상을 참고하여 작성하였습니다. 감사합니다 :)
https://www.youtube.com/watch?v=eap62CrRtgg
"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."
'#개발 이야기 - 개발, IT 트렌드 > AI 이야기' 카테고리의 다른 글
| ChatGPT와 함께 사용하면 좋은 확장 프로그램 2가지 | 프롬프트 지니, AIPRM (0) | 2023.03.01 |
|---|---|
| ChatGPT로 2023년도 미국 주식 예측하는 프로그램 만들기 #1 | 비개발자도 가능 (0) | 2023.02.27 |
| ChatGPT로 유튜브 동영상 10분 만에 후다닥 만들어 보자 | feat. Pictory (2) | 2023.02.17 |
| ChatGPT란? | ChatGPT에게 물어보았다. (0) | 2023.02.15 |
| ChatGPT로 노아 ai 10분 만에 후다닥 만들어 보자 | 엉아 ai | 비개발자도 가능 (7) | 2023.02.15 |
댓글