Project Jelly Blog Project Jelly Blog
RSS Feed삽질하고 배운 것들을 기록하는 공간
Recent Posts
-
AI 사이에서 컨텍스트를 나르는 일을 그만두기
AI와 장비가 늘어날수록 사람이 직접 옮기던 작업 맥락을, MCP를 지원하는 여러 AI 도구가 함께 쓰는 개인 중앙 기록으로 남기기 위해 Notegate를 만든 과정을 정리한다.
-
AI가 쓸 도구는, 만드는 것보다 깎는 게 일이었다
AI에게 도구를 쥐여주려면 기능만 만들면 끝날 줄 알았다. 하지만 opsgate를 만들어 실제로 붙여보니, 진짜 일은 기능 구현이 아니라 응답을 줄이고, 실패 이유를 설명하고, 다음 요청을 유도하는 데 있었다. AI용 도구를 만든다는 건 결국 도구의 출력을 계속 깎는 일이었다.
-
모델이 바뀔 때마다 코드를 고치고 싶지는 않았다
모델의 가격, 입력 한도, 과금 방식이 자주 바뀌는 상황에서, 내부 도구와 작은 서비스의 모델 호출 정책을 코드 밖으로 빼기 위해 llmgate를 만든 과정을 정리한다.
-
배포 중 5xx는 왜 날까 — K8s 파드 종료를 분해해서 서비스 특성별로 대응하기
서비스를 배포할 때 간헐적으로 뜨는 5xx는 어디서 오는가. K8s 파드 종료 과정을 '프로세스 경로'와 '네트워크 경로'로 분해하고, preStop과 graceful shutdown을 8가지 조합으로 실험해서 서비스 특성(요청 길이)에 따라 필요한 대응이 달라진다는 것을 확인했다.