Scion آپریشن میں

Scion، Anthropic کا اندرونی طور پر تیار کردہ ورژن کنٹرول سسٹم ہے، جسے اس کی بہت بڑی مونو ریپوزٹری کے انتظام کے لیے Git کے متبادل کے طور پر بنایا گیا۔ وجہ یہ ہے کہ Claude کے تیار کردہ کوڈ کی مقدار 4 ماہ میں 12 گنا بڑھ گئی، جبکہ روزانہ مرج کی تعداد 2500 سے بڑھ کر 30,000 ہو گئی اور Git کا بنیادی ڈھانچہ اس صورتِ حال سے تقریباً نمٹنے سے قاصر تھا۔ Scion کو ہمیشہ آن رہنے والے ایجنٹس کے لیے ازسرِنو ڈیزائن کیا گیا ہے۔ کلائنٹ ضرورت کے مطابق سرور سے ڈیٹا حاصل کرتا ہے، جبکہ commit اور merge تمام سرور پر مکمل ہوتے ہیں۔ یہ مکمل افقی توسیع اور sparse checkout کو سپورٹ کرتا ہے۔ منتقلی کے بعد وسائل کا استعمال Git پر مبنی حل کے مقابلے میں 1/200 رہ گیا، جبکہ checkout کی رفتار دو درجے بڑھ گئی۔

Changeset، commit کی جگہ: والدین کے مقابل فائلوں میں ہونے والی تبدیلیوں کی فہرست کو write-ahead log entries کے ذریعے ریکارڈ کیا جاتا ہے۔ یہ سرور پر بنتا ہے اور فوراً عالمی طور پر دستیاب ہو جاتا ہے، اس کے لیے packaging، locking یا references منتقل کرنے کی ضرورت نہیں ہوتی۔
Derived data کا طریقۂ کار: changeset کی recursive تعمیر کی بنیاد پر blame، path history اور commit graph jump tables جیسے indexes تیار کیے جاتے ہیں۔ نئی data types کو hot-plug کیا جا سکتا ہے اور فوری یا تاخیر سے calculation کی سہولت موجود ہے، جبکہ کلائنٹ اس سے بے خبر رہتا ہے۔
مکمل API پر مبنی source control سروس: diff، merge base اور blame جیسے تمام queries RPC کے ذریعے فراہم کیے جاتے ہیں، اس لیے CI اور tools کو مقامی repository کی کاپی برقرار رکھنے کی ضرورت نہیں رہتی۔
درجہ بہ درجہ cache checkout architecture: scion-daemon (node level) → scion-cache (regional level) → scion-server (authoritative layer)، جس میں ہر سطح پر cache hit rate 99% سے زیادہ ہے اور checkout کا وقت چند منٹ سے گھٹ کر چند سیکنڈ رہ جاتا ہے۔
Sparse/virtualized checkout: کلائنٹ صرف مطلوبہ directory کی فائلیں حاصل کرتا ہے اور انہیں ضرورت کے مطابق instantiate کرتا ہے؛ فائل کے مواد کی لاگت صرف حقیقی reading کے وقت آتی ہے۔
باریک سطح کا permission control: repository-level اور directory-level access control کو سپورٹ کرتا ہے، جبکہ Antique review tool کے ساتھ semantic approval constraints نافذ کیے جا سکتے ہیں۔
کم لاگت، incremental اور lock-free commits: commit بنانے کی لاگت repository کے حجم کے بجائے تبدیلی کے حجم کے متناسب ہوتی ہے، جبکہ reference update صرف ایک Spanner record کی atomic operation ہے۔

Scion، Anthropic کا اندرونی سسٹم ہے، اسے عوامی طور پر جاری نہیں کیا گیا، اس لیے بیرونی صارفین اسے ڈاؤن لوڈ یا deploy نہیں کر سکتے۔

انتہائی کم وسائل کا استعمال: CPU اور memory کا استعمال اصل Git mirror infrastructure کے مقابلے میں صرف 1/200 ہے۔
Checkout کی رفتار میں دو درجے اضافہ: CI اور research tasks کے لیے code checkout کا وقت چند منٹ سے گھٹ کر چند سیکنڈ رہ گیا۔
حسابی وسائل میں نمایاں بچت: صرف CI کے ذریعے CPU capacity کا 25% آزاد ہوا۔
انتہائی مؤثر caching: ہر cache layer کا hit rate 99% سے زیادہ ہے، طویل مدتی state کی ضرورت نہیں ہوتی اور capacity بڑھانا آسان ہے۔
انتہائی زیادہ commit throughput: packfile، locks اور cross-service coordination کے بغیر changesets کو high throughput کے ساتھ وصول کیا جا سکتا ہے، جو روزانہ 30,000 merges کو سپورٹ کرتا ہے۔
مقامی repository سے آزادی: تمام source control queries API کے ذریعے فراہم کی جاتی ہیں، اس لیے CI اور tools کو مقامی copy برقرار رکھنے کی ضرورت نہیں رہتی۔
مکمل افقی توسیع: repository کے مکمل instances اور global state bottlenecks موجود نہیں، اس لیے ہر component کو آزادانہ طور پر scale کیا جا سکتا ہے۔
تقریباً صفر maintenance cost: packfile کا کوئی تصور نہیں، اس لیے کلائنٹ اور cache دونوں کو repository maintenance کی ضرورت نہیں ہوتی۔
باریک سطح کی سکیورٹی: directory-level permission control اور semantic approval constraints کی معاونت موجود ہے، جس سے بڑی repository کے اندر حساس code محفوظ رکھا جا سکتا ہے۔

پروجیکٹ کی ویب سائٹ: https://www.anthropic.com/engineering/redesigning-source-control

AI agents کے ذریعے کوڈ کی مسلسل submission: agent coding task مکمل کرنے کے بعد API کے ذریعے براہِ راست سرور پر changeset بناتا ہے، مقامی repository برقرار رکھنے کی ضرورت نہیں ہوتی، اور روزانہ دسیوں ہزار merges کو سپورٹ کیا جا سکتا ہے۔
بڑے پیمانے پر CI کا checkout کے بغیر اجرا: CI jobs diff، blame اور merge base حاصل کرنے کے لیے براہِ راست RPC کو call کرتی ہیں، حتیٰ کہ checkout کے بغیر write operations بھی انجام دیے جا سکتے ہیں، اس لیے روزانہ کروڑوں checkouts bottleneck نہیں رہتے۔
بڑی monorepository میں متعدد ٹیموں کا تعاون: جب دسیوں ہزار engineers ایک ہی repository شیئر کرتے ہیں، تو sparse checkout ہر فرد کو صرف اپنی ذمہ داری والی directory حاصل کرنے دیتا ہے، جبکہ directory-level permissions حساس code کی حفاظت کرتی ہیں۔
خودکار operations اور regression localization: automated bisect اور revert pipelines commit ancestor relationships کو programmatic interfaces کے ذریعے query کرتی ہیں اور مسائل والی تبدیلیوں کو بڑے پیمانے پر واپس رول بیک کرتی ہیں۔