지미뉴트론 개발일기

Python의 Selenium을 이용하여 크롤링을 진행할 때,드라이버가 포함된 함수를 async로 실행해야 하는 경우가 있을 수 있습니다. 이 경우, 셀레니움의 함수를 비동기 함수처럼 사용이 가능하도록코드를 작성할 수 있는 방법이 있는데요.이번 글에서 해당 방법을 간략하게 정리해보도록 하겠습니다.  Sync 함수 예시먼저, 이해를 돕기 위하여 다음과 같이 간단한 driver를 호출하는 함수 get_driver과원하는 url에서 title 정보를 추출하는 get_title 함수가 있다고 가정해보도록 하겠습니다.from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrom..

Python의 셀레니움을 통해서 네트워크 통신 패킷 로그 정보를 가져오는 코드 예제를간략하게 정리해서 다루어보도록 하겠습니다.  네트워크 패킷이란?참고로, 네트워크 통신 패킷 로그는 F12로 개발자 도구를 연 뒤,Network 탭을 클릭하면 볼 수 있는 정보입니다.  셀레니움 코드 예시원하는 사이트의 네트워크 통신 기록을 가져오는 예시 코드는 다음과 같습니다.(이 코드를 실행하기 위하여 chromedriver 설치가 사전에 필요합니다.)from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome.options import Optionsimport time# 필요한..

파이썬의 selenium을 활용하여 텍스트 입력란에 자동 입력을 진행하는 경우, 홈페이지의 구조에 따라서 개행 문자인 '\n'이 일반 공백처럼 인식되어 줄 바꿈이 안되는 경우가 발생할 수 있습니다. 이럴 때, 엔터 키를 입력하여 줄 바꿈을 진행하면 해결이 가능한 경우가 있는데요. 이번 글에서 예시 코드를 간략하게 정리하여 살펴보도록 하겠습니다. 텍스트 입력 줄 바꿈 기본 방법 예제 개행행 문자가 포함된 문자열을 셀레니움을 통하여 텍스트 입력창에 입력하려는 경우, 일반적으로는 다음 코드처럼 진행하게 됩니다. from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() txt_box =..

파이썬의 selenium을 활용하여 텍스트를 입력하는 과정에서 h1이나 strong과 같은 HTML 태그가 적용된 텍스트로 입력을 원하는 경우가 있습니다. 이 글에서는 원하는 HTML 양식이 적용된 텍스트를 넣는 방법을 간략하게 정리해 보겠습니다. 참고: 셀레니움 기본 텍스트 입력 코드 예제 셀레니움에서는 일반적으로 find_element 등 메서드로 원하는 위치를 찾은 뒤에 send_keys 메서드를 활용하여 텍스트를 입력하게 됩니다. from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() txt_box = driver.find_element(By.NAME, 'txt_box_..

파이썬 네이버 주식 정보 크롤링 예시 이번 포스팅에서는 BeautifulSoup 모듈을 활용하여 매우 간단하게 네이버 주식 사이트의 정보를 크롤링해보는 예제를 다루어보도록 하겠습니다. 먼저 네이버 금융의 국내증시 사이트에 접속을 해보도록 하겠습니다. 금융 정보에 대한 굉장히 많은 정보가 있는데요. 여기서는 이 중 현재 코스피의 수치와 등락률을 대상으로 크롤링을 진행해보는 예제를 다루어보도록 하겠습니다. 참고로, 여기서는 크롬 브라우저를 기준으로 설명을 진행해보도록 하겠습니다. (다른 브라우저들도 방법은 대체로 비슷합니다.) 개발자 도구를 열어 크롤링 준비 크롤링을 위하여 F12를 눌러 개발자 도구를 켠 뒤, 아래 그림의 파란색으로 표시한 부분의 화살표 모양 버튼을 클릭하여 크롤링 준비를 마치겠습니다. B..