AI 요약 기능을 붙일지 말지 고민중이다 #3

이전 글

유튜브 자막 추출 사이트를 만들어 보자 #1

운영 첫날에 본 숫자들 #2

---

 

## AI 요약 기능 넣어야 하나?

유튜브 자막 추출기를 쓰는 친구에게서 피드백이 왔다.  
AI 요약 기능이 있으면 좋겠다는 말이었다.

사실 처음 듣는 얘기는 아니었다.  
만들 때부터 한 번쯤은 떠올렸던 기능이다.

요즘 서비스들은 거의 공식처럼 흘러간다.  
기존 기능 위에 AI를 얹는다.  
요약은 그중에서도 제일 흔하다.

그래서 자연스럽게 생각하게 됐다.  
이 서비스에도 붙이는 게 맞을까.

## 요약은 너무 당연해진 기능

뉴스도 요약한다.  
블로그도 요약한다.  
슬랙 스레드도 요약한다.

요약은 이제 실험적인 기능이 아니다.  
없으면 빠진 것처럼 느껴진다.

그 흐름을 거스르고 싶지는 않았다.  
그래도 그냥 따라가고 싶지도 않았다.

## 걸리는 건 현실이다

제일 먼저 떠오른 건 인프라였다.  
그중에서도 비용이다.

기업 서비스라면 보안을 최우선으로 봤을 거다.  
하지만 이건 사이드 프로젝트다.  
나한테는 비용이 훨씬 더 중요하다.

AI는 결국 돈을 먹는다.  
API를 쓰면 편하다.  
대신 지갑이 빠르게 얇아진다.

사용자가 많아지면 더 그렇다.  
봇이나 악의적인 사용자가 붙는 순간,  
비용은 통제가 안 된다.

그래서 쉽게 결정이 안 난다.

## 다른 길도 있긴 하다

요즘은 상황이 조금 다르다.  
성능 좋은 LLM들이 계속 풀리고 있다.

미국 쪽도 그렇고, 중국 쪽도 그렇다.  
생각보다 선택지가 많다.

직접 서버를 띄우고,  
아주 작은 모델 하나를 요약 전용으로 쓰는 방식. 

## 책에서 받은 힌트

최근에 읽은 책이 하나 있다.  
『LLM을 활용한 실전 AI 애플리케이션 개발』이다.

거기서 인상 깊었던 내용이 있다.  
도메인을 좁히면,  
작은 모델도 미세조정만 잘 하면 꽤 쓸 만해진다는 이야기였다.

그때는 그냥 그렇구나 하고 넘겼다.  
지금 와서 보니 선택지로 보이기 시작했다.

## 만약 넣는다면

그래서 정리하면 이렇다.  
AI 요약을 넣게 된다면,  
API부터 쓰지는 않을 것 같다.

아주 작은 오픈소스 모델로 직접 해본다. 

## 아직은 결정 전

지금은 계획이 없다.  
구현 단계도 아니다.
생각만 정리하는 단계다.