Beam 운영 중

Beam은 Reflection AI가 출시한 첫 오픈소스 대규모 언어 모델로, 501B 파라미터의 희소 MoE 아키텍처를 사용하며 토큰당 23B만 활성화하고 100만 토큰 컨텍스트를 지원하며 23.8T 토큰으로 사전 학습되었습니다. Beam의 학습 과정은 중공업 수준의 컴퓨팅 성능을 보여주는 사례라 할 수 있습니다. 사전 학습은 6,144장의 GB300으로 4주 이내에 완료했으며, 10,500장의 GB300으로 4주 동안 1억 회가 넘는 rollout을 수행하는 대규모 강화 학습을 진행했습니다.

프로그래밍 개발: 소프트웨어 엔지니어링 작업에서 GLM-5.2와 동급의 수준을 달성했으며, 기업 코딩 워크로드를 위한 주력 모델입니다.
에이전트 실행: 도구 호출, 터미널 조작, 웹 검색 등의 기능을 갖추고 여러 단계의 작업을 자율적으로 완료할 수 있으며, 다른 대규모 언어 모델과 OCR API를 호출하는 방법까지 학습했습니다.
장문 처리: 100만 토큰 컨텍스트를 지원하여 매우 긴 코드베이스와 문서에서 핵심 정보를 찾아 연결할 수 있습니다.
추론 강도 조절: 사용자는 reasoning effort 매개변수를 통해 짧은 응답과 긴 추론 사이를 유연하게 전환하여 작업 유형과 컴퓨팅 예산에 맞출 수 있습니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈소스 프로젝트 그룹에 참여하세요.
희소 MoE 아키텍처: 모델의 총 파라미터는 501B이지만 매번 23B만 활성화됩니다. 세밀한 전문가 라우팅과 보조 손실과 무관한 부하 균형을 통해 전문가 활용률을 거의 균일하게 유지하며, 가장 부하가 큰 전문가는 1.04×에 불과합니다. 이는 Beam의 효율적인 추론을 뒷받침하는 하드웨어 수준의 기반입니다.
2단계 대규모 학습: 사전 학습은 6,144장의 GB300에서 4주 이내에 23.8T 토큰을 처리했으며, 토폴로지 인식 스케줄러와 무음 데이터 손상 감지 기능을 결합해 goodput 92.3%를 달성했습니다. 이후 10.5K장의 GB300으로 4주간 강화 학습을 수행해 1억 회가 넘는 rollout을 생성했으며, 이 기간 동안 평균 11만 개의 동시 rollout과 17만 개의 동시 샌드박스를 유지했습니다.
완전 비동기 RL 시스템: 비동기 policy gradients를 사용하여 rollout과 학습을 병렬로 수행합니다. 각 토큰에 해당 토큰을 생성한 모델 버전을 표시해 정책 지연 문제를 처리하므로, 샘플이 현재 정책보다 하루(107개 버전) 뒤처져도 수치가 안정적으로 유지됩니다. 새 가중치를 RoCE 계층 분배 방식으로 추론 클러스터에 배포하는 데 걸리는 시간은 중간값 기준 12초에 불과합니다.
길이 제어형 추론 학습: RL에 길이 페널티 항을 추가하여 모델이 먼저 더 적은 토큰으로 문제를 해결하는 방법을 학습하게 한 뒤, 에이전트 능력이 향상되면서 추론 길이를 자연스럽게 확장하도록 합니다. 이를 통해 능력과 토큰 소비 사이의 최적 균형을 형성하며, 사용자가 필요에 따라 조절할 수 있습니다.

현재 단계에서는 가중치가 공개되지 않았으며 일부 사용자에게만 프리뷰 버전이 제공됩니다. https://platform.reflection.ai/ 에서 얼리 액세스를 신청할 수 있습니다.

매우 높은 추론 효율: GLM-5.2보다 3–4배 적은 추론 컴퓨팅으로 동급의 추론 수준을 달성하며, Qwen 3.8-Max와 같은 2T+ 모델보다 더 많은 비용을 절감해 높은 지능 밀도를 보여줍니다.
매우 적은 활성화 파라미터: 총 501B 파라미터 중 토큰당 23B만 활성화되므로 희소 MoE 설계가 배포 및 추론 비용을 크게 낮춥니다.
업계에서도 보기 드문 RL 규모: 10.5K장의 GB300으로 4주 연속 학습하며 1억 회가 넘는 rollout을 수행했습니다. 이는 오픈 연구소에서 현재까지 진행된 가장 큰 규모의 RL 학습 중 하나입니다.
높은 학습 안정성: 사전 학습 전체 과정에서 반자동 롤백은 9회에 불과했고 goodput은 92.3%에 달했으며, 학습 곡선의 불안정성이 나타나지 않아 매우 높은 엔지니어링 성숙도를 보여줍니다.
추론 길이 제어: 사용자는 reasoning effort 매개변수로 추론 깊이를 자유롭게 조절하여 성능과 비용 사이의 균형을 필요에 따라 맞출 수 있습니다.

프로젝트 공식 웹사이트: https://reflection.ai/blog/introducing-beam

기업용 프라이빗 코딩 어시스턴트: 기업은 완전한 자체 호스팅을 통해 비용이 낮고 데이터가 내부망 밖으로 나가지 않는 AI 코딩 어시스턴트를 구축할 수 있습니다.
코드베이스 수준의 리팩터링 및 감사: 100만 토큰 컨텍스트 창을 바탕으로 Beam은 중간 규모의 전체 코드베이스를 한 번에 불러와 파일 간 종속성을 이해하고 대규모 리팩터링 또는 보안 감사를 수행할 수 있습니다.
자동화 에이전트 워크플로: Beam은 1억 회가 넘는 rollout을 통한 강화 학습으로 도구 호출, 터미널 조작, 웹 검색 능력을 습득했으며, 데이터 분석과 운영 점검 등 장기 다단계 작업을 수행할 수 있습니다.
정부·기업 주권형 AI 배포: 미국 현지 팀이 개발한 오픈 웨이트 모델인 Beam은 감사와 격리 배포가 가능하며, 정부, 에너지, 방위 산업에서 중국 외 공급망 모델을 조달할 때 필요한 규정 준수 요구에 부합합니다.