빌더 스포트라이트: NodeGhost

제품에 LLM을 추가하는 일반적인 방법은 OpenAI 호환 클라이언트를 호스팅된 API에 연결하고, 프롬프트를 서드파티 제공업체의 서버로 보내는 것입니다. 모델도 내 것이 아니고, 머신도 내 것이 아닙니다. 자체 호스팅을 한다고 해도 보통은 워크로드를 임대한 클라우드 GPU로 옮기는 데 그칩니다.

Acurast app-tunnel 계열의 이 예제는 대신 증명된 스마트폰 한 대에서 모델을 실행합니다. Acurast 터널은 로컬에 바인딩된 이 모델을 공개 HTTPS URL로 접속할 수 있게 만들고, NodeGhost는 Bring Your Own Model 지원을 통해 이를 그대로 교체해 쓸 수 있는 OpenAI 호환 엔드포인트로 제공합니다. 두 가지 기능, 그리고 그 사이의 등록 단계 하나입니다.

Acurast 프로세서는 공인 IP 없이 통신사 NAT 뒤에 있습니다. 여기서 127.0.0.1에 바인딩된 서비스는 기본적으로 외부에서 보이지 않습니다. 이를 바꾸는 것이 터널입니다.

README는 NodeGhost를 좁은 범위로 설명하며, 이 예제가 의존하는 것도 그뿐입니다. NodeGhost는 Pocket Network를 통해 추론을 라우팅하고, OpenAI 호환 API를 제공하며, Bring Your Own Model을 지원합니다.

터널도, OpenAI 호환 게이트웨이도 그 자체로는 평범합니다. 이 예제의 핵심은 결합입니다. 터널 URL을 BYOM 백엔드로 등록하는 단계 하나만 추가하면, 휴대폰에서 호스팅되는 모델이 그대로 교체해 쓸 수 있는 추론 엔드포인트가 되고, 호출하는 애플리케이션은 전혀 바뀌지 않습니다.

배포되면 프로세서는 proot Ubuntu 환경을 구성하고, 샌드박스 안에서 로컬 서버가 올바르게 바인딩되도록 작은 루프백 shim을 빌드하고, 런타임에 llama.cpp와 Qwen2.5-3B 모델을 내려받은 다음, 상태 확인 기반의 준비 루프 뒤에서 서버를 시작합니다. 모델이 로드된 뒤에야 터널이 열립니다.

콜백 수신기로 전체 순서를 따라갈 수 있습니다. 환경 구성, 다운로드, 모델 로드, 모델 준비 완료, 그리고 마지막으로 공개 터널 URL을 담은 started 이벤트입니다. 그 URL을 NodeGhost에 등록하고 일반적인 채팅 요청을 보내면 휴대폰에서 답이 돌아옵니다.

모바일 ARM CPU에서 실행되는 Q4 양자화 3B 모델은 초당 약 3토큰을 생성합니다. 약 120토큰 분량의 답변에 45초 정도 걸리며, 여러 단계의 추론에서는 기본적인 실수를 합니다. 이는 이 하드웨어에서 이 모델이 가진 한계이지, 터널이나 런타임이나 네트워크의 한계가 아닙니다.

실제로 이 패턴은 비동기, 배치, 짧은 컨텍스트 작업에 적합합니다. 백그라운드 요약, 분류, 대기열 기반 생성, 사람이 기다리지 않는 에이전트 단계 같은 것들입니다. 대화형 채팅용으로 만들어진 것은 아닙니다. 처리 속도를 위해 더 작은 모델을 고르는 것도, 내가 통제하는 하드웨어에 모델을 두기 위해 지연 시간을 감수하는 것도 모두 타당한 선택입니다.

터널은 무엇을 전달하든 상관하지 않고, NodeGhost는 백엔드가 호스팅될 것을 요구하지 않습니다. 자매 예제인 cargo는 같은 터널로 SSH를 실행해 이를 증명합니다. 증명된 휴대폰의 로컬 바인딩 서비스라면 무엇이든 이 방식으로 접속할 수 있고, OpenAI 형태의 워크로드라면 무엇이든 그 앞에 변경 없이 놓을 수 있습니다. 여기서의 모델은 그저 반대편에 놓인 것일 뿐입니다.