GEOInflow thực hiện những gì
GEOInflow là nền tảng phân tích tự lưu trữ dành cho Tối ưu hóa Công cụ Tạo sinh, gọi tắt là GEO. Nền tảng kết hợp hoạt động trên trình duyệt, lượt giới thiệu từ tìm kiếm AI, nhật ký thu thập dữ liệu của máy chủ hoặc CDN và danh mục nội dung trong cùng một ngữ cảnh website.
Nền tảng giúp trả lời các câu hỏi thực tế: Những trình thu thập dữ liệu AI nào truy cập website của bạn? Chúng yêu cầu những đường dẫn nào? Các yêu cầu có thành công không? Những trang quan trọng nào chưa ghi nhận hoạt động thu thập dữ liệu? Có bao nhiêu lượt truy cập và lượt chuyển đổi đến từ các lượt giới thiệu tìm kiếm AI được hỗ trợ?
GEOInflow phù hợp với website doanh nghiệp, đơn vị xuất bản truyền thông, website nội dung, tài liệu dành cho nhà phát triển và các nhóm quản lý nhiều website. Mã nguồn ứng dụng được phát hành theo giấy phép MIT. README mô tả phiên bản sản phẩm v1.2 và phiên bản bản dựng 1.2.0.
Nhật ký thu thập dữ liệu chứng minh quyền truy cập đã được quan sát. Bản thân chúng không chứng minh việc lập chỉ mục, đào tạo mô hình, trích dẫn trong câu trả lời, thứ hạng đề xuất hoặc thu hút khách hàng.
Các tính năng chính
Nhận diện và mục đích của trình thu thập dữ liệu AI
Danh mục tích hợp bao gồm các nhà cung cấp như OpenAI, Anthropic, Perplexity, Google, Microsoft, ByteDance, Baidu, Kimi và Tencent Hunyuan. Danh mục cũng lưu lại các quan sát về trình thu thập dữ liệu tìm kiếm truyền thống và các bot khác.
Nền tảng, sản phẩm, danh tính yêu cầu, mục đích và loại sản phẩm được biểu diễn riêng biệt. Điều này cho phép hệ thống phân biệt các khái niệm như đào tạo, tìm kiếm AI, truy cập do người dùng kích hoạt, không gian làm việc AI và tác nhân cá nhân mà không xem chúng là các khái niệm loại trừ lẫn nhau.
Bằng chứng nhận diện cũng được lưu riêng. User-Agent được khai báo có thể được đối chiếu với các dải IP chính thức cùng bằng chứng DNS hoặc bằng chứng từ biên đáng tin cậy hiện có. Chỉ riêng tuyên bố User-Agent không được xem là xác nhận, và các bản ghi lịch sử không có đủ bằng chứng vẫn được đánh dấu là chưa xác định.
Hoạt động thu thập dữ liệu và phạm vi nội dung
Bạn có thể xem thứ hạng các trang được yêu cầu, các yêu cầu lặp lại, những trang đã quan sát, phân bổ theo thư mục, các trình thu thập dữ liệu hàng đầu, hoạt động gần đây và độ mới của nội dung. Việc nhập sitemap, tệp CSV hoặc danh mục JSON cung cấp một tập hợp trang đã biết để đối chiếu với nhật ký thu thập dữ liệu được quan sát.
Việc đối chiếu này cho thấy các trang đã được truy cập cũng như những điểm mù AI tiềm ẩn. Bộ lọc theo danh tính, mục đích và loại sản phẩm được áp dụng trước khi tổng hợp và phân trang, vì vậy thẻ, bảng, phần so sánh và tệp xuất đều sử dụng các điều kiện nhất quán.
Chẩn đoán yêu cầu và chính sách truy cập
GEOInflow trình bày riêng biệt các phản hồi HTTP, các phương thức như GET và HEAD, hành vi bộ nhớ đệm, độ trễ, kích thước phản hồi, tính liên tục của việc thu thập và các phát hiện rủi ro dưới dạng bằng chứng. Các nhóm có thể thêm trạng thái xử lý và ghi chú, hoãn điều tra rồi tiếp tục sau.
Nền tảng có thể xuất cấu hình truy cập robots và Nginx. Các kiểm soát Cloudflare được hỗ trợ yêu cầu thông tin xác thực Zone riêng biệt, bản xem trước, xác nhận rõ ràng, thực thi nền và xác minh trạng thái từ xa sau cùng. Các kiểm soát khả dụng phụ thuộc vào môi trường triển khai, gói dịch vụ của nhà cung cấp và quyền được cấp.
Phân tích website và chuyển đổi
- Lượt xem trang, khách truy cập, lượt truy cập, lượt giới thiệu, địa lý, thiết bị, trình duyệt và hiệu suất nội dung
- Sự kiện tùy chỉnh, mục tiêu, phễu, đường đi của khách truy cập, phân bổ và phân tích doanh thu
- Công cụ tìm kiếm, từ khóa giới thiệu, phân tích UTM, hiệu suất, bản đồ nhiệt, khả năng giữ chân và nhóm đối tượng
- Công cụ dành cho website, nhóm, không gian làm việc, bảng điều khiển, quyền và chia sẻ công khai
- Xuất CSV, JSON và ZIP theo phạm vi đã chọn
- Hỗ trợ AI tùy chọn dựa trên thông tin website, mặc định bị tắt
Việc theo dõi trên trình duyệt nhận diện các lượt giới thiệu tìm kiếm AI được hỗ trợ và liên kết chúng với trang đích, sự kiện, mục tiêu và lượt chuyển đổi. Yêu cầu của trình thu thập dữ liệu, phiên giới thiệu và lượt chuyển đổi vẫn là các phép đo riêng biệt, đồng thời việc so sánh giữa các nguồn vẫn có những giới hạn nhất định.
Hiểu luồng dữ liệu
GEOInflow tiếp nhận ba loại đầu vào chính:
- Theo dõi trên trình duyệt: Thu thập lượt xem trang, sự kiện và mọi dữ liệu trình duyệt mở rộng đã bật.
- Nhật ký máy chủ hoặc CDN: Ghi nhận các yêu cầu của trình thu thập dữ liệu không thực thi tập lệnh trình duyệt.
- Danh mục nội dung: Nhập các bản ghi sitemap, CSV hoặc JSON để xác định những trang cần được đánh giá về phạm vi bao phủ.
API ứng dụng và API tiếp nhận dữ liệu ghi dữ liệu vào PostgreSQL. Các worker nhật ký và phân tích xử lý bản ghi, trong khi Redis hỗ trợ báo cáo được lưu trong bộ nhớ đệm. Báo cáo và kết quả đã xuất bản sau đó cung cấp dữ liệu cho phân tích GEO, khách truy cập và nội dung, cũng như hoạt động chia sẻ và xuất dữ liệu được kiểm soát theo quyền.
Mỗi nguồn có thể được kết nối độc lập. Nếu thiếu một nguồn, phần phân tích tương ứng nên hiển thị giới hạn đó thay vì âm thầm xem dữ liệu đầu vào bị thiếu là kết quả tiêu cực.
Điều kiện tiên quyết để triển khai nhanh
Trước khi bắt đầu, hãy cài đặt và chạy Docker Engine hoặc Docker Desktop với Docker Compose V2. Xác nhận rằng máy có thể truy cập các nguồn tải xuống image và phần phụ thuộc cần thiết trong quá trình build.
Lấy mã nguồn GEOInflow, mở terminal và chuyển đến thư mục gốc của repository. Các bản cài đặt production cũng yêu cầu domain, HTTPS và reverse proxy đáng tin cậy.
Triển khai GEOInflow bằng Docker
Chạy tập lệnh triển khai
Từ thư mục gốc của dự án, thực thi:
sh scripts/liekan-deploy.shTập lệnh tạo tệp .env riêng tư cùng các secret ngẫu nhiên, build image ứng dụng, áp dụng migration và khởi động các thành phần sau:
- Ứng dụng GEOInflow
- Worker nhật ký
- Worker phân tích
- PostgreSQL
- Redis
Mở ứng dụng
Địa chỉ cục bộ mặc định là:
http://127.0.0.1:3002Đối với bản cài đặt mới, hãy đăng nhập bằng thông tin xác thực ban đầu:
- Tên người dùng:
admin - Mật khẩu:
liekan
Hãy đổi mật khẩu ban đầu ngay sau khi đăng nhập. Các lần nâng cấp sau này sẽ giữ nguyên tài khoản và mật khẩu đã tùy chỉnh.
Nạp dữ liệu mẫu đi kèm
Để khám phá giao diện trước khi kết nối một website đang hoạt động, hãy nạp bộ dữ liệu đã xử lý đi kèm:
docker compose -f docker-compose.liekan.yml exec app node scripts/liekan-seed-demo.mjsWebsite mẫu có tên 猎看官网（示例数据）. Trong lần nhập đầu tiên, các mốc thời gian được điều chỉnh để thuận tiện kiểm tra bộ dữ liệu. Những lần chạy lại sẽ giữ nguyên dữ liệu hiện có và trạng thái xóa.
Kết nối website đầu tiên
Sau khi bảo mật tài khoản quản trị, hãy tạo một website trong GEOInflow và kết nối các nguồn dữ liệu phù hợp với môi trường triển khai của bạn. Tham khảo hướng dẫn bắt đầu nhanh của dự án để biết quy trình thu thập dữ liệu chính xác.
Bước 1: Thêm tính năng theo dõi trình duyệt
Cài đặt tập lệnh theo dõi trình duyệt để thu thập lượt xem trang, sự kiện và các phép đo mở rộng đã bật. Theo mặc định, tính năng theo dõi không sử dụng cookie. Việc ghi nhận, thuộc tính sự kiện và các tích hợp kinh doanh phụ thuộc vào phạm vi dữ liệu do người vận hành cấu hình.
Việc thu thập lượt xem trang trên trình duyệt vẫn có thể tiếp tục mà không cần truy cập IP đáng tin cậy. Tuy nhiên, các chỉ số nhạy cảm về danh tính như số khách truy cập duy nhất cần bằng chứng truy cập đáng tin cậy, vì vậy hãy cấu hình proxy ngược cẩn thận trong môi trường production.
Bước 2: Kết nối nhật ký máy chủ hoặc CDN
Tập lệnh trình duyệt không thể quan sát các bot chỉ yêu cầu tài liệu từ máy chủ. Hãy thêm nhật ký máy chủ hoặc CDN để đo lường lượt truy cập của trình thu thập, đường dẫn yêu cầu, mã phản hồi, phương thức, độ trễ, bộ nhớ đệm và lỗi.
Việc thu thập máy chủ tự động yêu cầu HTTPS công khai, bí mật thu thập dữ liệu và các tài sản cài đặt được ký. Nếu sử dụng tích hợp Cloudflare, bạn cũng cần OAuth, các quyền phù hợp và sự hỗ trợ của nhà cung cấp đối với các khả năng được yêu cầu.
Bước 3: Nhập danh mục nội dung
Nhập sitemap, tệp CSV hoặc danh mục JSON chứa các trang mà bạn mong đợi trình thu thập sẽ phát hiện. GEOInflow có thể so sánh danh mục đã biết này với các bản ghi nhật ký quan sát được để tính độ bao phủ thu thập và xác định các trang chưa ghi nhận hoạt động.
Hãy xem một trang chưa được bao phủ là đầu mối điều tra, không phải bằng chứng chắc chắn về việc bị loại trừ. Kiểm tra các điểm vào, liên kết nội bộ, chỉ thị robots, phản hồi HTTP và việc thu thập nhật ký có bao phủ đúng khoảng thời gian liên quan hay không.
Quy trình phân tích cơ bản
Tìm các nền tảng AI truy cập website
- Chọn website và khoảng thời gian.
- Mở khu vực phân tích trình thu thập.
- Xem danh tính trình thu thập, nhà cung cấp, mục đích, khối lượng yêu cầu, trạng thái xác minh và xu hướng.
- Sử dụng các bộ lọc danh tính, mục đích và loại sản phẩm để thu hẹp bộ dữ liệu.
- Kiểm tra bằng chứng hỗ trợ từng danh tính thay vì chỉ dựa vào User-Agent.
Quy trình này giúp phân biệt trình thu thập dữ liệu huấn luyện, yêu cầu tìm kiếm AI và lượt truy cập do người dùng kích hoạt khi danh mục và bằng chứng hiện có hỗ trợ việc phân loại đó.
Xác định các đường dẫn được thu thập nhiều và có khả năng không hợp lệ
- Xem thứ hạng các trang được yêu cầu và những yêu cầu lặp lại.
- So sánh hoạt động theo thư mục và trình thu thập.
- Kiểm tra hoạt động gần đây và độ mới của nội dung.
- Tìm các URL sai định dạng, lỗi thời hoặc xuất hiện với tần suất bất thường.
- Kiểm tra trạng thái HTTP, hành vi bộ nhớ đệm, độ trễ và kích thước phản hồi của chúng.
Các yêu cầu lặp lại có thể cho thấy nội dung quan trọng, hành vi trình thu thập kém hiệu quả, chuyển hướng, trang bị thiếu hoặc vấn đề về cấu trúc. Hãy diễn giải từng mẫu cùng với bằng chứng phản hồi.
Đo lường độ bao phủ nội dung
- Nhập danh mục nội dung hiện tại.
- Chọn website, khoảng thời gian và bộ lọc trình thu thập nhất quán.
- So sánh các trang trong danh mục với những đường dẫn được quan sát trong nhật ký.
- Xem xét các trang chưa ghi nhận lượt truy cập.
- Điều tra khả năng được phát hiện, chính sách, phản hồi và tính liên tục của nguồn.
Các thẻ, bảng, phép so sánh và nội dung xuất đều dùng chung các điều kiện bộ lọc đã chọn. Các quan sát đường dẫn suy luận và kết quả ước tính vẫn giữ nhãn của chúng, giúp người dùng phân biệt kết luận được tính toán với bằng chứng trực tiếp.
Phân tích kết quả giới thiệu từ AI
- Bật tính năng theo dõi trình duyệt cho website.
- Xem các phiên truy cập từ nguồn giới thiệu AI và các trang đích được nhận diện.
- Xác định các sự kiện, mục tiêu hoặc chuyển đổi liên quan.
- So sánh lưu lượng giới thiệu với các kết quả tiếp theo.
- Tách riêng yêu cầu của trình thu thập và các phiên truy cập từ nguồn giới thiệu khi báo cáo kết quả.
Một yêu cầu của trình thu thập không chứng minh rằng một trang đã xuất hiện trong câu trả lời AI. Tương tự, một phiên truy cập từ nguồn giới thiệu AI không chứng minh cách mô hình lựa chọn hoặc trích dẫn trang đó. Hãy duy trì những phân biệt này trong bảng điều khiển và báo cáo xuất.
Khoảng thời gian, múi giờ và hành vi làm mới
Các khoảng thời gian chính là Hôm nay, 7 ngày và 30 ngày. Múi giờ phân tích mặc định là Asia/Shanghai. Trong lần đăng nhập hoàn tất đầu tiên, ứng dụng xác nhận múi giờ của quốc gia và thành phố. Các yêu cầu sau đó sử dụng múi giờ đã lưu của tài khoản để xác định hôm nay.
Số khách truy cập theo thời gian thực bao phủ 30 phút gần nhất. Phân tích tỷ lệ duy trì sử dụng các tháng theo lịch. Các bảng điều khiển Hôm nay chính đọc kết quả đã công bố mỗi 30 giây và hiển thị thời điểm giới hạn dữ liệu thực tế. Việc làm mới sẽ tạm dừng khi trang bị ẩn hoặc ngoại tuyến, trong khi dữ liệu thời gian thực và các phân tích nặng hơn sử dụng lịch cập nhật riêng.
Mẹo vận hành nâng cao
Kiểm tra khả năng tăng tốc phân tích
GEOInflow sử dụng tổng hợp trước, dữ kiện lượt truy cập chính xác, kết quả bền vững và nhiều lớp lưu trữ để giảm các phép tính lặp lại. Các khoảng thời gian phổ biến có thể được làm nóng trước, và kết quả đã công bố vẫn khả dụng trong khi các bản cập nhật nền đang chạy.
Sau khi triển khai, hãy sử dụng trang Tăng tốc Phân tích để kiểm tra các tác vụ và phạm vi bao phủ. Các phép tính ban đầu, lần truy cập bộ nhớ đệm và các bản cập nhật chạy nền có chi phí khác nhau. Hiệu năng thực tế phụ thuộc vào khối lượng dữ liệu, việc xây dựng kho dữ liệu, hiệu năng PostgreSQL và trạng thái bộ nhớ đệm.
Duy trì worker hoạt động ổn định
Các worker nhật ký và phân tích rất cần thiết để xử lý dữ liệu nhập vào và công bố kết quả. Nếu báo cáo ngừng cập nhật, hãy kiểm tra trạng thái worker, hàng đợi, tính liên tục của nguồn, tình trạng cơ sở dữ liệu và Redis trước khi diễn giải bảng điều khiển trống là không có hoạt động.
Các cơ chế bảo vệ dung lượng có thể loại bỏ các khoảng thời gian cũ hơn, còn các tác vụ lỗi không hoạt động có thể tạm dừng việc thử lại tự động. Các tác vụ nền bền vững cho phép hoàn tất các phép tính ban đầu mà không yêu cầu duy trì một phiên trình duyệt đang mở.
Duy trì ranh giới giữa nguồn và bằng chứng
- Không coi tuyên bố User-Agent là danh tính trình thu thập dữ liệu đã được xác minh.
- Không coi việc thiếu hoạt động trong nhật ký là bằng chứng cho thấy trình thu thập dữ liệu chưa từng truy cập một trang, trừ khi phạm vi thu thập là đầy đủ.
- Không đánh đồng việc trình thu thập dữ liệu truy cập với việc lập chỉ mục, huấn luyện, trích dẫn, xếp hạng hoặc thu hút khách hàng.
- Giữ các trạng thái tích hợp bị thiếu, tập dữ liệu trống, giá trị không xác định, ước tính và khả năng chưa được hỗ trợ ở dạng riêng biệt.
- Chỉ so sánh các kết quả khi phạm vi ngày, phạm vi bao phủ nguồn, bộ lọc và phiên bản quy tắc của chúng tương thích.
Sử dụng quyền kiểm soát truy cập cẩn trọng
Hãy xem trước các thay đổi robots, Nginx hoặc Cloudflare được tạo trước khi áp dụng. Các thao tác Cloudflare yêu cầu xác nhận rõ ràng và nên được tiếp nối bằng việc đọc lại trạng thái từ xa. Xác minh gói dịch vụ và quyền trong môi trường thực tế đã triển khai.
Lập kế hoạch hạ tầng production
Sử dụng tên miền, HTTPS và reverse proxy đáng tin cậy để truy cập production. Sao lưu PostgreSQL và bảo vệ .env riêng tư, các secret nhập dữ liệu, thông tin xác thực tài khoản, khóa riêng tư và mọi cơ sở dữ liệu địa lý được cung cấp riêng tư. Xem hướng dẫn triển khai để biết chi tiết về proxy, sao lưu, dịch vụ, cấu hình và nâng cấp.
Chỉ bật các tính năng AI khi cần
Phân tích website cốt lõi và nhận diện trình thu thập dữ liệu không yêu cầu khóa API của mô hình. Phân tích AI bị tắt theo mặc định. Khi bật tính năng này, người dùng chọn các kết nối mô hình và tài liệu website, vì vậy hãy xem xét dữ liệu nào được gửi đến nhà cung cấp mô hình đã chọn.
Diễn giải GEO Weight thận trọng
GEO Weight là một khả năng Beta dựa trên hoạt động truy cập nội dung AI đủ điều kiện trong 30 ngày lịch hoàn chỉnh gần nhất. Hãy sử dụng công thức, bằng chứng, phạm vi áp dụng và các giới hạn được ghi chép thay vì coi đây là điểm xếp hạng phổ quát.
Thiết lập phát triển
Người đóng góp cần Node.js 22.23.4, pnpm 12.3.4, PostgreSQL, một cơ sở dữ liệu phát triển độc lập và cấu hình môi trường riêng tư. Chuỗi lệnh sau chuẩn bị và khởi động ứng dụng web trên cổng 3302:
pnpm install --frozen-lockfile
pnpm build:db
pnpm db:migrate
pnpm liekan:migrate
pnpm liekan:queue-bootstrap
pnpm build:openapi
pnpm build:packages
pnpm build:tracker
pnpm build:recorder
pnpm liekan:build-worker
pnpm dev --port 3302Khởi động các worker nhật ký và phân tích trong các terminal riêng như mô tả trong CONTRIBUTING.md. Các worker phát triển và ứng dụng web phải sử dụng cùng một cấu hình môi trường riêng tư.
Các trang sản phẩm nằm trong src/components/liekan, các hợp đồng dữ liệu nằm trong src/lib/liekan/contracts, còn các adapter truy vấn và quyền truy cập upstream nằm trong src/lib/liekan/upstream. Thêm thay đổi schema thông qua các migration tăng dần của dự án và không sửa đổi các migration đã được áp dụng.
Kết luận
GEOInflow cung cấp một phương thức tự lưu trữ để kết hợp bằng chứng từ trình thu thập dữ liệu, kho nội dung, phân tích khách truy cập, lượt giới thiệu từ AI và chuyển đổi. Hãy bắt đầu bằng việc triển khai Docker, bảo mật tài khoản quản trị viên, kết nối các nguồn trình duyệt và nhật ký, rồi nhập một kho dữ liệu đáng tin cậy. Những kết luận hữu ích nhất đến từ các bộ lọc nhất quán, worker hoạt động ổn định, phạm vi bao phủ nguồn đầy đủ và sự phân tách rõ ràng giữa hoạt động truy cập được quan sát với các tuyên bố cần thêm bằng chứng.