FlashProve 운영 중

FlashProve는 Anthropic이 오픈소스로 공개한 검증 가능한 추론 시스템으로, 영지식 증명을 사용해 모델 서비스 제공자가 가중치를 공개하지 않고도 특정 답변이 지정된 모델에 의해 생성되었음을 증명할 수 있게 합니다. FlashProve는 400B 파라미터의 Llama 4 Maverick에서 실제 테스트되었으며, H100 한 장에서 약 110 tokens/s, 1024토큰당 증명 크기 약 19MB, CPU 검증 시간 약 17초를 기록했습니다. 증명 생성에 필요한 GPU 시간은 일반 추론의 약 70~95배로, 아직 연구 프로토타입 단계입니다. 출처만 증명할 뿐 내용의 정확성을 보장하지는 않습니다.

신원 검증: 모델 가중치를 공개하지 않고도 특정 답변이 지정된 모델에 의해 생성되었음을 증명합니다.
모델 바꿔치기 방지: 서비스 제공자나 타사 라우팅 플랫폼이 고가 모델을 더 저렴한 모델로 바꾸는 것을 방지합니다.
출력 변조 방지: 추론 서버가 공격받거나 토큰 스트림이 중간자에 의해 수정될 때 사용자가 이상을 발견할 수 있게 합니다.
규정 준수 및 감사: 규제 기관, 독립 평가 기관, 내부 보안 팀에 기계적으로 검사 가능한 추론 증명을 제공합니다.
출처 증명: 코드 감사, 비즈니스 분석 또는 보안 평가가 특정 지정 모델에 의해 실제로 수행되었음을 증명하는 데 사용할 수 있습니다.

WeChat에서 팔로우한 뒤 “开源”에 답장하여 AI 오픈소스 프로젝트交流群에 참여
약정 및 검증 프레임워크: FlashProve는 전체 과정을 오프라인과 온라인의 두 단계로 나눕니다. 서비스 제공자는 먼저 지정 모델의 가중치에 대한 암호학적 약정을 생성하고 모델 지문을 공개하지만 가중치는 공개하지 않습니다. 각 요청에는 zkSNARK 증명이 첨부되며, 사용자는 약정, 입력, 답변만으로 출력이 해당 모델에서 비롯되었는지 검증할 수 있습니다.
영지식 succinct 증명: 시스템은 영지식 간결 증명을 사용해 검증자가 수 초의 CPU 시간 안에 약 19MB 크기의 증명을 검사할 수 있게 하며, 400B 모델을 다시 실행할 필요가 없습니다. 증명은 가중치, 중간 활성값 또는 전문가 선택을 공개하지 않고, 계산이 약정된 모델에 따라 실행되었는지만 확인합니다.
MoE 활성화 인식 최적화: Llama 4 Maverick과 같은 MoE 모델을 대상으로 증명 비용이 전체 400B 파라미터가 아니라 실제로 활성화된 약 17B 파라미터에 따라서만 증가하므로, H100 한 장에서 약 110 tokens/s의 증명 처리량을 달성합니다.
일괄 사후 증명: 추론이 완료된 후 증명을 일괄 생성하고, 이미 생성된 텍스트를 prefill로 사용해 병렬로 읽으며, 배치당 가중치 약정을 한 번만 열어 반복 계산을 줄입니다. 그 대가로 토큰 단위의 실시간 인라인 증명은 지원하지 못합니다.
단일 GPU 스트리밍 실행: 모델 가중치를 호스트 메모리에 계층별로 나누어 저장하고 단일 80GB H100으로 스트리밍 전송하면서 계층별로 증명을 생성합니다. 이를 통해 초대형 MoE 모델 전체를 GPU 메모리에 넣지 않고도 실행할 수 있습니다.

저장소 복제: https://github.com/anthropics/FlashProve 에서 코드를 다운로드하고, 일반 사용자 권한으로 저장소 루트 디렉터리에서 작업합니다.
검증기 빌드: verifier/build.sh를 실행해 C++ 검증기를 컴파일합니다. 출력에 THE VERIFIER IS BUILT가 표시되고 종료 코드가 0이면 성공입니다.
샘플 증명 검증: bin/cp_verify를 실행하고 examples/accepted-proof 아래의 매개변수를 추가해 내장 샘플을 검사합니다. 마지막 줄에 YES가 표시되면 검증기가 정상 작동하는 것입니다.
CPU 자체 점검: blocks/first_look.sh를 실행해 증명 라이브러리를 테스트하고, 정직한 증명이 승인되고 위조된 증명이 거부되는지 확인합니다.
GPU 전체 과정: 유휴 상태의 80GB H100 한 장과 CUDA 13.2가 설치된 컴퓨터에서 examples/quickstart-gpu.sh를 실행하면 소규모 모델 요청의 제출, 증명, 검증을 자동으로 완료합니다.
실제 모델 검증: 서비스 제공자로부터 약정 ID, 요청, 출력, 증명을 받은 후 bin/cp_verify CONFIG PUBLIC_KEY REQUEST TOKEN PROOF -id COMMITMENT_ID로 검증합니다. 약정 ID는 반드시 신뢰할 수 있는 경로에서 받아야 합니다.
결과 해석: 종료 코드 0과 마지막 줄의 YES는 승인을 의미하고, 1은 거부, 5는 결론이 나지 않아 한 번 재시도할 수 있음을 의미합니다. 그 밖의 값은 호출 또는 파일 오류입니다.

가중치를 공개하지 않는 검증 가능성: 모델 가중치를 비밀로 유지하면서 암호학적으로 답변이 지정된 모델에서 생성되었음을 증명합니다.
바꿔치기 및 변조 방지: 서비스 제공자가 저렴한 모델로 바꾸거나 라우팅 계층이 몰래 교체하거나 공격자가 출력을 변경하면 검증 과정에서 드러납니다.
매우 낮은 검증 비용: 검증자는 일반 CPU와 약 19MB 크기의 증명만으로 수십 초 안에 검증을 완료할 수 있으며, GPU나 모델 재실행이 필요하지 않습니다.
획기적인 규모 확장: 400B 파라미터의 Llama 4 Maverick에서 약 110 tokens/s의 증명 속도를 최초로 구현해 기존 zkML 시스템보다 수 자릿수 빠릅니다.
MoE 특화 최적화: 증명 비용은 토큰마다 실제로 활성화되는 약 17B 파라미터의 계산량에 따라서만 증가합니다.
보안 속성의 형식화: 무결성, 신뢰성, 영지식이라는 세 가지 핵심 속성이 Lean 4에서 기계적으로 검사 가능한 형태로 증명되었습니다.

프로젝트 공식 웹사이트: https://www.anthropic.com/research/provable-inference
GitHub 저장소: https://github.com/anthropics/FlashProve
기술 논문: https://assets.claude.com/8e1d181a83015078581c92d896757041713f0160.pdf

타사 API 중계 및 모델 라우팅 검증: 사용자가 고성능 모델을 지정해 비용을 지불한 경우, 증명을 통해 중계업체가 몰래 저렴한 모델로 바꾸지 않았는지 확인할 수 있습니다.
독립 모델 평가: 평가 기관은 평가 대상 서비스가 실제로 평가 대상 모델을 배포했는지 확인하여 “평가한 것은 A인데 실제 출시된 것은 B”인 상황을 방지할 수 있습니다.
추론 서버 변조 방지: 기업은 서버가 응답에 증명을 첨부하도록 요구할 수 있으며, 공격자나 권한을 우회한 모델은 지정된 가중치의 출력을 위조할 수 없습니다.
규제 준수: 규제 기관은 서비스 제공자에게 정기적으로 추론 증명을 제출하도록 요구해 하드웨어가 승인된 모델의 추론에 실제로 사용되었는지, 학습이나 승인 절차 우회에 전용되지 않았는지 확인할 수 있습니다.
고가치 타사 선언의 신뢰성 보강: 개발자는 코드가 실제로 최첨단 보안 모델의 검사를 거쳤음을 증명하거나, 기업은 비즈니스 제안이 지정 모델의 검토를 받았음을 증명할 수 있으며, 상대방은 모델 가중치에 접근하지 않고도 이를 검증할 수 있습니다.