Tag: vllm
All the articles with the tag "vllm".
-
Docker로 만들면 어디서든 된다? — GPU로 드러나는 컨테이너 추상화의 경계
컨테이너 이미지는 많은 실행 환경을 감춘다. 하지만 GPU는 그 추상화가 멈추는 지점을 드러낸다. 이 글은 vLLM 서빙 실험을 통해 컨테이너가 어디까지 독립적이고, 어디서부터 호스트에 의존하는지 추적한다.
All the articles with the tag "vllm".
컨테이너 이미지는 많은 실행 환경을 감춘다. 하지만 GPU는 그 추상화가 멈추는 지점을 드러낸다. 이 글은 vLLM 서빙 실험을 통해 컨테이너가 어디까지 독립적이고, 어디서부터 호스트에 의존하는지 추적한다.