[GPT를 닮은 서비스를 만들면서 느낀 점]

1. 생각보다 말은 잘 하는 LLM이 많다. 2. 심지어 오픈소스도 많다. 3. 하지만, 말을 잘 알아듣는 LLM은 적다. 4. 우리가 쓰는 GPT는 모델 하나로 이루어진 것이 아니다. 5. 한번에 응답을 하기 위해 무수히 많은 전처리 과정이 존재한다. 6. 모델은 최소 하나 이상의 연계 형태로 연결되어 있다. 7. 모델별로 각자의 역활이 다르다. 8. 생각보다 별거 아닌 기능을 구현하기 위해 빽단에서는 정말 복잡한 가동을 하고 있다. 9. 자체 프로그램을 만들어 사용하기도 하지만 타 기업의 프로그램과 연동하기도 한다. 10. 한 예시로 GPT 의 웹 검색은 BING 를 사용 한다. 11. 대화형 서비스에서는 첫째도 맥락, 둘째도 맥락, 셋째도 맥락이다. 12. 프로 월 200달러의 비용이 부담되어 셀프로 만들어본 한 개발자는 압도적인 토큰 비용으로 인해 해당 서비스를 중단했다고 한다. 13. 보통 입력 토큰값이 10이라면 출력 토큰값은 40 (비용 기준) 14. 처음엔 출력 토큰 값에 부담이 될 줄 알았는데 대부분의 비용은 입력 토큰값에서 발생한다. 15. 응답의 퀄리티를 높히는 핵심은 효율적이고 누락없는 맥락 시스템과 코어 프레임워크의 사고 수준이다. 16. 전부 만들어 놓고 나면 응답 속도 때문에 잠이 안오는 순간을 맞이한다. 17. 생각보다 다른 서비스 연결하는 과정은 어렵지 않다. 18. 추론 모델을 사용하다 보면 경직된 추론 방식 때문에 오히려 응답 퀄리티를 떨어트릴 수 있다. 19. GPT의 장기기억 메모리, 사용자 커스텀 지침, GPTs 를 이용한 개인화는 잠시 속 시원한 답변을 주기도 하지만 어느 순간 정체된 답변만 내어놓는 거울이 되어 버린다. 20. Api 연결은 이런 배경 없이 Gpt 성능을 한 껏 끌어올릴 수 있다. 21. 보이지 않는 윤리규정, 지침 덕분에 그록2 가 멍청한 반항아 같았고, 클로드가 괜찮은 척 하는 신사 같았고, 제미나이가 전문 로펌 출신 리포터 같이 느껴진 것. 22. 반대로 윤리규정 때문에 해당 모델의 한계 울타리를 정하기도 한다.