[24.01] 파이썬으로 상한가 원인 스크래핑 봇 만들기

https://www.cloudflare.com/ko-kr/learning/bots/what-is-data-scraping/

여의도에서 근무하는 친구가 찾아보기 귀찮다고 해서 만들어줬다. 코딩한 기간은 땡땡하게 해서 이주정도 걸린거 같다.

크롤링 라이브러리는 beautifulsoup 를 사용했다. 

상한가 종목은 naver finance 에서 긁어오고, 그 종목 상한가 원인은 구글 클라우드 플랫폼으로 검색해서 이유를 찾았다. 

챗GPT 는 초기사용자 무료 크레딧으로 연결해서 만들었다. 알림은 API가 잘나오는 텔레그램으로 진행했다.

 

자세한 사항은 링크 들어가보면 어떻게 사용해야 하는지 잘 써있다. 

 

그렇게 모듈은 총 4개정도 쓴거 같다. 다음은 각 모듈별로 까다로웠던 부분 개선점을 얘기해 보겠다.

 

naver finance API

    tables = soup.find_all('table', {'class': 'type_5'})

    # Check if the second table exists
    if len(tables) > 1:
        # Get the second table
        result_tables.append(tables[0])
        result_tables.append(tables[1])

네이버증권은 코스피 코스닥 table class 명이 같은데 이건 tables 로 받아서 각각을 따로 진행해주면 된다.

 

테스트코드 진행할때는 __main__ 을 활용해주면 참 편하다

if __name__ == "__main__":
    main(stocks)

 

구글 검색 API

얘는 무슨 모듈이냐면 그날 주식의 상한가 이유를 주식별로 구글에서 뉴스 앞제목을 따오는 모듈이다. 

 

얘는 api_key, engine_id 로 key 를 잡아서 키워드만 넣어주면 되는 간단한 사용법을 가졌다. 

        url = f"https://www.googleapis.com/customsearch/v1?key={API_KEY}&cx={ENGINE_ID}&q={stock}{HIGH}"
        response = requests.get(url)

 

상한가 원인을 잡는 keyword 를 뭐로 할지가 고민이 좀 되었다. 그런데 그냥 XXX(주식이름) 상한가 라고만 치고 키워드 위주로 답변해달라고 gpt 한테 얘기하는게 제일 깔끔한 것 같았다. 

 

config.py의 중요성을 디렉토리 처리하다  참 많이 느꼈다. 아직 해두진 않았지면 리팩토링할일이 생기면 꼭 해둬야지... 

안해두면 진짜 개복잡해짐...

        if response.status_code == 200:
            data = response.json()
            os.makedirs(f"{LOG_PATH}/{today_date}", exist_ok=True)
            with open(f"{LOG_PATH}/{today_date}/{today_date}_news_{stock}.txt", "w", encoding='utf-8') as file:
                json.dump(data, file, ensure_ascii=False, indent=2)

 

챗GPT API

주식별로 구글에서 뉴스 앞제목을 따왔으면 XXX 주식에 대해서 요약을 부탁하는 워딩을 쳐야한다. 

난 지금 이 주식이 오늘 상한가를 기록한 이유를 키워드 중심으로 요약해줄 수 있어? 를 쓴다. 

예전에는 '키워드중심' 을 안썼는데 이거 쓰고 안쓰고 차이가 가독성과 품질에 꽤 큰 차이가 있다. 이게 생각보다 중요하다. 

 

GPT API 를 쓰는 방법은 버전별로 조금씩 다른데 24년 1월기준에는 이렇게 쓰고있다.

 

우선 API KEY 를 넣는 client 객체를 하나 만든다. 

    client = OpenAI(
        # This is the default and can be omitted
        api_key='XXX'
    )

 

그리고 create 객체에 필요한 넣고자 하는 질문을 이렇게 넣으면 된다

            chat_completion = client.chat.completions.create(
                messages=[
                    {
                        "role": "user",
                        "content": f"{input_sliced_datas[stock_idx]}\n\n{GPT_CMD}",
                    }
                ],
                model="gpt-3.5-turbo",
                stream=True,
            )

 

 

텔레그램 API

이제 만든 상한가 원인분석 메시지를 매일 오후 4시 장이 끝나는 시간에 텔레그램으로 받아보는 모듈을 만들어야 한다. 

 

처음엔 카카오톡으로 진행하고 싶었는데 쉽지 않아서 텔레그램 API 로 진행했다.

 

텔레그램은 심지어 송신 뿐만이 아니라 메시지 수신까지 가능해서 활용도가 무궁무진 할 것 같다. 

얘기가 조금 새지만 수신하는 부분 코드를 보면 await 로 업데이트 여부를 잡아서 진행할 수 있다. 

async def main():
    TELEGRAM_TOKEN = '6377969316:AAEKc2q_6u60iFM3idaw0VEihIeC9vXKpTY'
    bot = telegram.Bot(token=TELEGRAM_TOKEN)
    updates = await bot.get_updates()
    for update in updates:
        print(update.message)

 

첨에 단톡방 ID 가져오는게 조금 낯설었는데 텔레그램이 되게 잘해둬서 생각보다 애먹진 않았다.

 

처음에는 bot 을 하나 계정을 파야하고 해당 bot 의 토큰은 텔레그램 UI 에 나와있다. 

BOT_TOKEN = "6377969316:AAEKc2q_6u60iFM3idaw0VEihIeC9vXKpTY"

 

그 bot 이 추가된 단톡방을 만들고 그 단톡방 ID 를 해당 URL 에서 가져오면 된다. 

#https://api.telegram.org/bot6377969316:AAEKc2q_6u60iFM3idaw0VEihIeC9vXKpTY/getUpdates

 

그리고 가져온 BOT_TOKEN 과 CHAT_ID 를 24.2 기준으로 이렇게 하면 메시지를 보낼 수 있다. 

    response = requests.post(
        'https://api.telegram.org/bot%s/%s' % (BOT_TOKEN, 'sendMessage'),
        data={
            "chat_id": CHAT_ID,
            "text": message,
        }
    )

 

 

TODO

GPT API 에서 프롬프트 엔지니어링 부분을 보완해도 좋겠다. 

1. 상황 설명  2. input form 제공  3. output form 제공 정도가 있다는데 이쪽을 더 공부해서 깎아도 좋겠다. 

 

또 친구가 트위터 팔로워 추가시 알람 보내주는 봇 만들어달라 해서 찾아봤는데,,, 머스크가 산 이후로 트위터 api 생태계가 박살이 났다... 

최소한 50$ 씩은 한달에 줘야지 쓸 수 있는것 같았다...

rendering 순서를 Javascript 로 동적으로 만져서 twitter 같은 것들은 bsoup로 크롤링이 안된다... 나쁜머스크... 으잉

이를 해결한 라이브러리가 분명히 있을 것이다... 결국 HTML 은 유저가 받기는 해야지 뜨니깐... 고수님들 아시는분 댓글 달아주세용...

정안되면 딥러닝을 써서 웹브라우저 이미지에서 찾는 것도 가능할텐데... 이론상 분명 가능하다.