Xây dựng trợ lý nghiên cứu X ưu tiên cục bộ với Gem Search

Gem Search thực hiện những gì

Gem Search là một trợ lý nghiên cứu mã nguồn mở, ưu tiên hoạt động cục bộ dành cho X. Công cụ này thêm lớp phủ hình nhện động vào Chrome hoặc Chromium, kiểm tra các bài đăng được hiển thị trong tab đang hoạt động và gửi các bản ghi nhỏ đến công cụ nghiên cứu chạy trên máy tính của bạn.

Bộ phát hiện JEV cục bộ loại bỏ các bài đăng trùng lặp và nhóm các chủ đề lặp lại, liên kết dự án, cashtag, địa chỉ Solana hợp lệ và các cụm từ gồm hai từ đang nổi lên. Trình thu thập dữ liệu có giới hạn có thể theo dõi các liên kết HTTP hoặc HTTPS công khai, trong khi bảng điều khiển lưu giữ nguồn, lượt kiểm tra, khoảng trống, hoạt động và các phát hiện có thể xuất.

Gem Search được thiết kế để điều tra thay vì tự động xác định độ tin cậy. Một manh mối, điểm số hoặc kết quả ra mắt thuận lợi không chứng minh rằng dự án an toàn, nguyên bản hoặc có khả năng tăng giá trị.

Tiện ích mở rộng đọc DOM của trang hiện tại. Công cụ này không phải là luồng dữ liệu X đầy đủ, không tương tác với bài đăng hoặc tài khoản và không thể giám sát các ứng dụng khác hay các tab chạy nền.

Tính năng chính

• Trợ lý trình duyệt hiển thị: Hình nhện động làm nổi bật bài đăng đang được kiểm tra, đồng thời cung cấp bộ đếm bản ghi, nút tạm dừng, tùy chọn loại bỏ và tính năng tự động cuộn tab đang hiển thị.
• Phát hiện tín hiệu cục bộ: JEV nhóm chủ đề, phát hiện mã giao dịch và địa chỉ Solana, tìm các cụm từ lặp lại, đo mức tăng trưởng trong sáu giờ, đồng thời kiểm tra sự đa dạng của tác giả và văn bản lặp lại.
• Dấu vết bằng chứng: Các phát hiện lưu lại bài đăng, liên kết công khai, lượt kiểm tra, điều chưa biết và lý do của mô hình đứng sau chúng.
• Trình thu thập có giới hạn: Các trang công khai được lưu trong bộ nhớ đệm 30 phút và các đích thuộc mạng riêng bị chặn.
• Hàng đợi cục bộ bền vững: Tối đa 200 bài đăng đã thu thập có thể được giữ lại trong tiện ích mở rộng khi backend không khả dụng và sẽ được chuyển tiếp sau khi kết nối lại.
• Đánh giá Grok tùy chọn: Bốn bộ đánh giá theo vai trò phân tích bằng chứng được cung cấp thông qua API xAI chính thức khi được bật rõ ràng.
• Tùy chỉnh cục bộ: Bạn có thể định nghĩa tối đa 40 mẫu chủ đề bằng tiếng Anh hoặc tiếng Nga trong tệp cấu hình cục bộ.
• Xuất nghiên cứu: Bảng điều khiển hỗ trợ xuất JSON và các capsule khám phá SVG được tạo trong trình duyệt.

Tìm hiểu kiến trúc

Quy trình nghiên cứu thông thường rất đơn giản:

1. Tiện ích mở rộng quan sát các bài đăng đã hiển thị trong tab X đang hiển thị.
2. Các bản ghi được đưa vào hàng đợi tiện ích mở rộng lâu bền.
3. API localhost được ghép nối gửi chúng đến công cụ cục bộ.
4. JEV loại bỏ trùng lặp và nhóm các tín hiệu.
5. Trình thu thập lấy các nguồn công khai trong phạm vi giới hạn.
6. Các lượt kiểm tra bằng chứng cục bộ chạy trước mọi đánh giá mô hình tùy chọn.
7. Bảng điều khiển hiển thị các phát hiện, nguồn, lý do và điều chưa biết.

Mã ghép nối tiện ích mở rộng có thể gửi bản ghi và đọc trạng thái quét. Mã này không thể phát hành token, và tiện ích mở rộng không chứa mã thực hiện hành động trên tài khoản cũng như khóa API xAI.

Điều kiện tiên quyết

Trước khi cài đặt Gem Search, hãy chuẩn bị những thứ sau:

• Python 3.11 trở lên.
• Chrome hoặc một trình duyệt khác dựa trên Chromium.
• macOS, Linux hoặc Windows thông qua WSL2 cho backend.
• Git để sao chép repository.

Node.js 22 trở lên chỉ cần thiết cho bộ kiểm thử hoàn chỉnh và mô-đun Solana tùy chọn. Backend nghiên cứu cốt lõi và tiện ích mở rộng trình duyệt chưa đóng gói không cần bản dựng npm.

Cài đặt và khởi động công cụ cục bộ

Sao chép repository, chuyển vào thư mục, tạo tệp môi trường cục bộ và khởi chạy backend:

git clone https://github.com/h100envy/gem-search.git
cd gem-search
cp .env.example .env
python3 app.py

Giữ terminal này tiếp tục chạy. Bảng điều khiển sẽ khả dụng tại http://127.0.0.1:8787.

Trước tiên hãy thử bản demo hư cấu

Trước khi kết nối tài khoản X, hãy mở http://127.0.0.1:8787/spider-demo. Trang này sử dụng cùng trình hiển thị hình nhện trên các thẻ hư cấu, không thực hiện lệnh gọi API và không thu thập dữ liệu.

Bảng điều khiển cũng có một lượt quét demo riêng, mô phỏng quy trình nghiên cứu với các dự án tổng hợp được đánh dấu rõ ràng.

Tải và ghép nối tiện ích mở rộng Chrome

1. Mở bảng điều khiển cục bộ và đi đến Kết nối.
2. Sao chép mã ghép nối cục bộ.
3. Mở chrome://extensions trong Chrome hoặc Chromium.
4. Bật Chế độ nhà phát triển.
5. Chọn Tải tiện ích đã giải nén.
6. Chọn thư mục extension/ của repository.
7. Mở cửa sổ bật lên Gem Search trên thanh công cụ.
8. Dán mã ghép nối và chọn Kết nối.

Việc ghép nối này kết nối tiện ích mở rộng với API cục bộ. Công cụ nghiên cứu phải tiếp tục hoạt động trong khi bạn sử dụng tiện ích mở rộng.

Thực hiện phiên nghiên cứu đầu tiên

1. Mở nguồn cấp dữ liệu X, trang tìm kiếm hoặc trang hồ sơ.
2. Mở cửa sổ bật lên của tiện ích mở rộng Gem Search.
3. Chọn Thả nhện trên tab này.
4. Cuộn bình thường trong khi hình nhện kiểm tra các bài đăng đã hiển thị trong vùng nhìn thấy.
5. Theo dõi bộ đếm bản ghi và tạm dừng hoặc loại bỏ hình nhện khi cần.
6. Quay lại bảng điều khiển cục bộ và mở Khám phá.
7. Kiểm tra các phát hiện đã nhóm, bài đăng nguồn, trang được liên kết, lượt kiểm tra cục bộ và các tuyên bố chưa biết được nêu rõ.
8. Xuất các phát hiện hữu ích dưới dạng JSON để nghiên cứu sau.

Tự động cuộn là tùy chọn. Các tab chạy nền không thu thập bài đăng hoặc tự động cuộn. Nếu công cụ cục bộ ngoại tuyến, tiện ích mở rộng có thể giữ lại tối đa 200 bản ghi và chuyển tiếp chúng sau khi kết nối hoạt động trở lại.

Khám phá các tín hiệu mới nổi

Gem Search có thể tạo các đầu mối riêng cho mã ticker, địa chỉ hợp đồng Solana hợp lệ và những cụm từ lặp lại không thuộc về chủ đề hiện có.

Mã ticker

Mỗi $CASHTAG được phát hiện có thể trở thành một đầu mối cùng các tác giả và bài đăng liên quan. Những tài sản lớn như $BTC, $SOL và $USDC, cũng như các chuỗi giống giá như $100, sẽ bị bỏ qua. Một đầu mối có thể mở tìm kiếm X trực tiếp.

Địa chỉ Solana

Địa chỉ ứng viên chỉ được giữ lại khi giải mã thành khóa 32 byte thực sự. Điều này giúp giảm các kết quả dương tính giả từ những từ ngẫu nhiên dài. Đầu mối tạo ra có thể liên kết đến địa chỉ trên Solscan.

Luận điểm mới

Một cụm từ mới nổi là cụm gồm hai từ được ít nhất ba tác giả khác nhau lặp lại trong sáu giờ qua và xuất hiện bên ngoài các chủ đề đã cấu hình. Các cách diễn đạt chồng lấp trong cùng một câu chỉ được tính một lần.

Chỉ báo tăng trưởng

Mỗi đầu mối có thể hiển thị số lượt đề cập trong sáu giờ qua so với tốc độ của 18 giờ trước đó, số tác giả gần đây và thời điểm spider quan sát thấy đầu mối lần đầu. Các số liệu này chỉ mô tả mẫu duyệt web của bạn, không phải toàn bộ hoạt động trên X.

Trong Discovery, hãy lọc theo loại tín hiệu và sắp xếp theo Tăng nhanh nhất, Mới nhất trước hoặc Nhiều tác giả nhất. Mở một đầu mối để kiểm tra tốc độ tín hiệu và các bài đăng nguồn.

Chạy hướng dẫn mẫu về tín hiệu

Kho mã bao gồm một bản minh họa trên terminal, truyền các bài đăng hư cấu qua API mở rộng thực tế và in ra các bản chụp, sự kiện của engine, đầu mối, mức tăng trưởng và các lượt kiểm tra.

Khởi động engine trong một terminal:

python3 app.py

Trong terminal thứ hai, chạy hướng dẫn:

python3 scripts/spider_demo.py

Chờ khoảng mười giây để vòng lặp spider chạy, sau đó mở dashboard. Trong Discovery, chuyển đổi giữa các bộ lọc ticker và luận điểm mới, rồi sắp xếp theo mức tăng trưởng nhanh nhất.

Dùng lệnh sau để chạy hướng dẫn nhanh hơn:

python3 scripts/spider_demo.py --speed 2

Để nạp mẫu im lặng, hãy dùng:

python3 scripts/sample_signals.py

Các bài đăng mẫu, tên tài khoản, ticker và địa chỉ đều là dữ liệu hư cấu và được đánh dấu là mẫu.

Tùy chỉnh trình phát hiện chủ đề

Sao chép tệp chủ đề mẫu và chỉnh sửa tệp cục bộ mới:

cp topics.example.json topics.json

Tệp hỗ trợ tối đa 40 chủ đề được biểu diễn bằng các biểu thức chính quy không phân biệt chữ hoa chữ thường. Khởi động lại backend sau khi thay đổi.

Nếu tệp sai định dạng, Gem Search sẽ bỏ qua tệp, ghi nhật ký cảnh báo và tiếp tục sử dụng các chủ đề tích hợp. Tệp tùy chỉnh topics.json vẫn được giữ trên máy tính của bạn.

Bật bốn góc nhìn Grok tùy chọn

Gem Search hoạt động mà không cần Grok. Để bật tính năng đánh giá có hỗ trợ mô hình, hãy thêm các cài đặt xAI của riêng bạn vào tệp .env cục bộ:

GROK_ENABLED=1
XAI_API_KEY=your_local_api_key
GROK_MODEL=grok-4.7
GROK_DAILY_CALLS=12

Khởi động lại engine sau khi lưu tệp. Bốn vai trò nghiên cứu cục bộ đặt ra các câu hỏi khác nhau:

• Lookout: Có tín hiệu đáng chú ý nào trong mẫu đã quan sát không?
• Maker: Thực tế đang có bằng chứng sản phẩm hoặc kỹ thuật nào?
• Skeptic: Điều gì mâu thuẫn, rủi ro hoặc chưa được xác minh?
• Runner: Đã có đủ bằng chứng để điều tra ngay chưa?

Một lượt đánh giá chỉ bắt đầu sau khi engine đã quan sát ít nhất bốn tác giả riêng biệt. Một lượt đánh giá hoàn chỉnh tạo ra bốn yêu cầu API. Với hạn mức mặc định 12 yêu cầu trong mỗi 24 giờ cuốn chiếu, tối đa ba lượt đánh giá hoàn chỉnh có thể nằm trong hạn mức, bao gồm cả các lần gọi thất bại.

Bằng chứng và đầu vào mô hình giống hệt nhau sẽ dùng lại kết quả được lưu trong bộ nhớ đệm trong 24 giờ. Các yêu cầu chứa những đoạn trích có giới hạn và giới hạn đầu ra ở 700 token. Hạn mức kiểm soát số lượng yêu cầu nhưng không đảm bảo hóa đơn cố định; chi phí phụ thuộc vào gói xAI của bạn.

Khi Grok được bật, các đoạn trích đã thu thập sẽ được gửi đến api.x.ai để phân tích. Khóa vẫn nằm trong backend. Không có Grok, việc nhóm tín hiệu và các lượt kiểm tra cục bộ vẫn hoạt động hoàn toàn mà không cần gọi mô hình.

Mô hình không khả dụng, hạn mức đã hết, phản hồi không hợp lệ hoặc trích dẫn được bịa ra không thể được tính là kết quả đạt. Đầu ra của mô hình không thể thực thi mã, tự duyệt web hoặc điều khiển ví. README cũng ghi chú rằng adapter có kiểm thử mô phỏng, nhưng một lần gọi trả phí thực tế chưa được xác thực trong bản checkout đó.

Tạo và chia sẻ capsule khám phá

Để biến một phát hiện thành bản ghi trực quan độc lập, hãy mở một dự án trong Discovery và chọn Discovery capsule. Chọn kiểu Aurora hoặc Daylight, xem trước thẻ và tải xuống SVG.

Capsule có thể bao gồm lượt đề cập, các tác giả đã quan sát, lượt kiểm tra cục bộ, trạng thái Grok, tối đa ba địa chỉ nguồn và dấu thời gian UTC. Capsule được tạo hoàn toàn trong trình duyệt mà không cần gọi API hoặc tự động đăng lên mạng xã hội.

Thông tin xác thực, chuỗi truy vấn và fragment sẽ bị xóa khỏi các địa chỉ nguồn được hiển thị. Hãy kiểm tra nội dung hiển thị trước khi chia sẻ, vì bằng chứng bị thiếu vẫn sẽ bị thiếu và các phát hiện mẫu vẫn được đánh dấu là bản demo.

Sử dụng các nguồn đầu vào bổ sung

Gem Search không chỉ giới hạn ở các bản chụp từ trình duyệt. Công cụ có thể nhập các bản chụp JSON theo định dạng dữ liệu được tài liệu hóa trong kho mã, và thư mục data/inbox/ có thể tiếp nhận đầu vào từ các bộ thu thập bên ngoài.

Để bật trình quét luận điểm Hacker News miễn phí và trình theo dõi hộp thư, hãy khởi động engine ở chế độ tự động:

python3 app.py --autopilot

Mức độ chú ý trên Hacker News được gắn nhãn riêng với các bản chụp từ X. Quyền truy cập chính thức vào tìm kiếm gần đây của X vẫn là tùy chọn và có tính phí, với ENABLE_PAID_X=0 theo mặc định.

Mẹo vận hành nâng cao

• Bắt đầu mà không cần dịch vụ trả phí: Việc nhóm cục bộ và kiểm tra bằng chứng không yêu cầu khóa xAI hay X API trả phí.
• Kiểm tra nguồn, không chỉ phần tóm tắt: Mở các bài đăng và trang công khai được liên kết, sau đó đối chiếu chúng với các kiểm tra cục bộ và những trường chưa xác định.
• Coi tốc độ tăng trưởng là đặc thù của mẫu: Tăng trưởng nhanh phản ánh các bài đăng hiển thị trong phiên duyệt của bạn, không phải toàn bộ mạng lưới.
• Chú ý hành vi phối hợp: Ba tài khoản phối hợp có thể tạo ra một cụm từ mới nổi, vì vậy sự đa dạng của tác giả chỉ là manh mối chứ không phải bằng chứng.
• Tái sử dụng bộ nhớ đệm: Các trang đã thu thập được lưu trong bộ nhớ đệm trong 30 phút, còn các lượt đánh giá Grok giống hệt nhau được lưu trong 24 giờ.
• Thu thập có chủ đích: Sử dụng thao tác cuộn thông thường hoặc chỉ bật tự động cuộn khi cần, đồng thời tạm dừng spider khi trang hiện tại không liên quan.
• Ghi nhớ giới hạn của bộ phát hiện: Mỗi lượt chạy giữ tối đa 10 mã giao dịch, 10 địa chỉ và năm cụm từ, theo thứ tự mạnh nhất.
• Không đưa tín hiệu được phát hiện vào tự động hóa khởi chạy: Mã giao dịch, địa chỉ và cụm từ mới nổi không bao giờ được đưa vào hàng đợi khởi chạy, ngay cả khi SPIDER_ALLOW_LAUNCH=1.

Công cụ quét lưu trữ và Telegram

Dự án cũng vận hành các công cụ miễn phí tại gemsearch.fun. Các công cụ này tách biệt với quy trình nghiên cứu trình duyệt cục bộ và không yêu cầu kết nối ví để quét.

• Scanner: Kiểm tra một địa chỉ hợp đồng Solana về quyền hạn, mức độ tập trung của holder, tỷ lệ của nhà phát triển, các lần khởi chạy pump.fun trước đây, tiến độ thanh khoản hoặc đường cong, thông tin hồ sơ Dex và các bản sao mã giao dịch.
• Web X-ray: Hiển thị những người mua trong khối khởi chạy, các nguồn tài trợ chung và giao dịch giữa những holder, kèm liên kết giao dịch.
• Bundle Index: Phân loại các lần khởi chạy pump.fun mới dựa trên số người mua khác trong khối khởi chạy.
• Hồ sơ Council: Công bố các phán quyết đã lưu và những lần kiểm tra kết quả về sau thay vì các ví dụ được chọn thủ công.
• Bot Telegram: Tiếp nhận địa chỉ hợp đồng và hỗ trợ các lệnh quét, X-ray, theo dõi, theo dõi tài khoản và lệnh nhóm.

Một crew, cluster hoặc bundle thể hiện một mô hình cấp vốn trên chuỗi, không phải bằng chứng cho thấy các ví thuộc cùng một danh tính. Điểm quét cao cho thấy một lần khởi chạy được quan sát sạch hơn, không phải dự đoán về hiệu suất trong tương lai.

Khả năng khởi chạy tùy chọn

Gem Search bao gồm các thành phần liên quan đến khởi chạy, nhưng chúng tách biệt với hoạt động nghiên cứu thông thường. Trang khởi chạy lưu trữ có thể tạo một đồng pump.fun từ ví trình duyệt, trong khi trình khởi chạy cục bộ thử nghiệm trước đây vẫn phải được bật tùy chọn và mặc định ở chế độ chạy thử.

Quy trình khởi chạy lưu trữ tạo khóa mint trong trình duyệt, lưu hình ảnh và siêu dữ liệu trên IPFS, xây dựng giao dịch với người dùng là bên thanh toán và chủ sở hữu, rồi chỉ gửi giao dịch khi giao dịch đã ký khớp từng byte với giao dịch do máy chủ xây dựng. Gem Search cho biết họ không thu phí nền tảng và không đánh giá hoặc chứng thực các đồng tiền được khởi chạy.

Đối với mô-đun cục bộ tùy chọn, giới hạn được ghi nhận là 0.025 SOL cho mỗi lần thử và năm lần thử trong mỗi khoảng 24 giờ luân phiên. Pump.fun được hỗ trợ thông qua trình thực thi PumpPortal cục bộ, trong khi một nền tảng Solana khác yêu cầu bộ điều hợp launch-bridge HTTPS tương thích. Các chain khác không được chính sách ngân sách SOL hiện tại hỗ trợ.

Chạy kiểm thử và đóng gói tiện ích

Cài đặt các phần phụ thuộc Node, chạy các bài kiểm thử Python và JavaScript, rồi đóng gói tiện ích bằng:

npm ci --ignore-scripts
python3 -m unittest discover -s tests -v
npm test
python3 scripts/package_extension.py

Tập lệnh đóng gói ghi tệp dist/gem-search-extension.zip. Kho lưu trữ chỉ chứa các tài sản của tiện ích. Giải nén và tải thư mục đã giải nén dưới dạng tiện ích chưa đóng gói; đây không phải là gói Chrome Web Store.

Các bài kiểm thử tự động bao phủ hoạt động xác thực, loại trừ tuyến, loại bỏ trùng lặp, nội dung tường thuật, bộ nhớ đệm và hạn mức Grok, xử lý lỗi, chặn mạng cục bộ, khôi phục hàng đợi và các lớp bảo vệ giao dịch tùy chọn. Chúng không đảm bảo khả năng tương thích với mọi bố cục X trong tương lai, vì vậy hành vi trên trình duyệt thực vẫn cần được kiểm thử thủ công.

Kết luận

Gem Search kết hợp lớp phủ trình duyệt hiển thị với bộ phát hiện tín hiệu cục bộ, trình thu thập có giới hạn, nhật ký bằng chứng được lưu lâu dài và hoạt động đánh giá Grok tùy chọn. Hãy bắt đầu với bản demo hư cấu, ghép nối tiện ích chưa đóng gói, chỉ thu thập các bài đăng bạn chủ động xem và đánh giá từng phát hiện thông qua nguồn cùng những điều chưa biết, thay vì xem một tín hiệu là kết luận.

Để biết chi tiết triển khai, hãy tham khảo tài liệu kiến trúc, tài liệu quyền riêng tư và hướng dẫn đóng góp của kho mã.