Cách sử dụng kho câu hỏi phỏng vấn Kỹ thuật AI theo từng công ty

Dự án này cung cấp những gì

Câu hỏi phỏng vấn Kỹ sư AI theo từng công ty là tài liệu chuẩn bị được tuyển chọn, bao gồm các câu hỏi phỏng vấn được công khai từ 35 công ty. Các câu hỏi được sắp xếp theo cả chủ đề kỹ thuật thường lặp lại và từng công ty, giúp bạn dễ nhận diện những kỳ vọng phổ biến cũng như chuẩn bị cho một quy trình phỏng vấn cụ thể.

Kho lưu trữ phù hợp với các vai trò như Kỹ sư AI, Kỹ sư AI tạo sinh, Kỹ sư LLM, Kỹ sư AI tự chủ, Kỹ sư Machine Learning, Kỹ sư Nghiên cứu, Nhà khoa học Ứng dụng, Kỹ sư Triển khai trực tiếp, Kiến trúc sư Giải pháp AI, Kỹ sư Nền tảng AI, Kỹ sư MLOps và Kỹ sư LLMOps.

Các câu hỏi được tổng hợp từ những chia sẻ công khai về trải nghiệm phỏng vấn. Quy trình phỏng vấn thay đổi tùy theo nhóm, thâm niên, khu vực và thời điểm, vì vậy bộ sưu tập này nên được xem là bản đồ chuẩn bị thay vì một kịch bản chính xác.

Tính năng chính

• Sắp xếp theo từng công ty: Duyệt các câu hỏi liên quan đến những phòng thí nghiệm AI tiên phong, các công ty công nghệ lớn, nhà cung cấp hạ tầng, công ty sản phẩm AI và tổ chức AI doanh nghiệp.
• Danh sách chủ đề liên công ty: Bắt đầu với những câu hỏi xuất hiện ở nhiều nhà tuyển dụng thay vì học các mục trùng lặp.
• Phạm vi vai trò: Chuẩn bị cho các vai trò nghiên cứu, AI ứng dụng, nền tảng, suy luận, tác tử, giải pháp và vận hành.
• Bối cảnh phỏng vấn được chia sẻ: Các phần theo công ty mô tả những vai trò được đề cập, quy trình phỏng vấn được công khai và các chủ đề riêng của từng công ty.
• Giải thích có liên kết: Nhiều câu hỏi bao gồm liên kết đến các bài viết hoặc video có câu trả lời hay phần giải thích chuyên sâu hơn.
• Cập nhật liên tục: Những người duy trì dự án cho biết họ sẽ tiếp tục bổ sung câu hỏi và câu trả lời.

Các chủ đề được đề cập

Phần câu hỏi chung được chia thành những lĩnh vực chính của kỹ thuật AI. Hãy sử dụng các lĩnh vực này làm nền tảng cho kế hoạch học tập của bạn.

Nội bộ và kiến trúc LLM

Phần này đề cập đến attention, bộ nhớ đệm KV, MQA, GQA, MLA, FlashAttention, tokenization, mã hóa vị trí, RoPE, quy luật mở rộng, mô hình mixture-of-experts, chuẩn hóa, mạng feed-forward của transformer và các chiến lược giải mã.

Các câu hỏi tiêu biểu gồm:

• Tại sao attention tích vô hướng có scale sử dụng hệ số 1/sqrt(d_k)?
• Bộ nhớ đệm KV ở quy mô lớn ảnh hưởng đến bộ nhớ như thế nào?
• Tại sao FlashAttention có thể nhanh hơn mà không làm giảm FLOPs?
• Giải mã tham lam, tìm kiếm theo chùm, lấy mẫu top-k, top-p và temperature khác nhau như thế nào?
• Điều gì xảy ra với từng tensor trong một lượt truyền tiến của transformer chỉ dành cho decoder?

Suy luận, phục vụ và hiệu năng GPU

Danh mục này tập trung vào việc triển khai LLM hiệu quả. Nội dung bao gồm hành vi prefill và decode, batching liên tục, PagedAttention, giải mã suy đoán, bộ nhớ đệm prompt, lượng tử hóa, tính song song, các chỉ số độ trễ, ước tính dung lượng GPU và các framework phục vụ.

Bạn nên sẵn sàng thảo luận cả định nghĩa lẫn những đánh đổi trong vận hành. Chẳng hạn, người phỏng vấn có thể yêu cầu bạn chẩn đoán độ trễ p99 tăng gấp đôi sau khi triển khai hoặc ước tính bộ nhớ cần thiết để phục vụ một mô hình 70 tỷ tham số.

RAG và truy xuất

Phần truy xuất đề cập đến việc chia nhỏ dữ liệu, truy xuất thưa và dày, tìm kiếm kết hợp, xếp hạng lại, đánh giá truy xuất, HyDE, RAG tự chủ, các chỉ mục láng giềng gần đúng, truy xuất theo quyền, độ mới của chỉ mục, phân tích tài liệu và gán nguồn trích dẫn.

Tác tử và sử dụng công cụ

Các câu hỏi về tác tử kiểm tra ReAct, gọi công cụ, MCP, cơ chế thử lại, thời gian chờ, lược đồ công cụ, điều phối đa tác tử, bộ nhớ, kết thúc vòng lặp, phê duyệt của con người, khả năng kiểm toán và hiện tượng lệch hướng của tác tử chạy dài.

Tinh chỉnh và căn chỉnh

Phần này bao gồm RLHF, PPO, DPO, GRPO, LoRA, QLoRA, tinh chỉnh prompt và prefix, hiện tượng quên thảm họa, RL với phần thưởng có thể xác minh, hack phần thưởng và chưng cất tri thức.

Đánh giá và khả năng quan sát

Các câu hỏi đánh giá đề cập đến hệ thống LLM-as-judge, ground truth hạn chế, nhãn chuyên gia tốn kém, phát hiện ảo giác và các cổng hồi quy dùng để quyết định có nên đưa những thay đổi về mô hình hoặc prompt vào triển khai hay không.

Truy cập và thiết lập

Đây là một kho tài liệu thay vì thư viện phần mềm, nên không cần cài đặt gói. Bạn có thể đọc trực tiếp trên GitHub.

Tùy chọn 1: Sử dụng trên trình duyệt

1. Mở kho lưu trữ trên GitHub.
2. Sử dụng mục lục để mở Câu hỏi chung được hỏi tại các công ty.
3. Chọn một danh mục kỹ thuật như RAG, suy luận hoặc tác tử.
4. Mở các câu trả lời được liên kết khi có.
5. Chuyển sang phần của công ty mục tiêu sau khi hoàn thành nội dung chung.

Tùy chọn 2: Sao chép về máy

Sao chép kho lưu trữ sẽ cung cấp một bản ngoại tuyến để bạn tìm kiếm, chú thích và cập nhật.

git clone https://github.com/pallavi-shekhar/ai-engineering-interview-questions-company-wise.git
cd ai-engineering-interview-questions-company-wise

Để nhận các bản cập nhật trong tương lai, hãy chạy:

git pull

Sau đó, bạn có thể mở README trong trình soạn thảo văn bản hoặc trình xem Markdown và sử dụng tính năng tìm kiếm toàn văn để tìm một công ty, công nghệ hoặc từ khóa.

Cách sử dụng cơ bản: Xây dựng kế hoạch chuẩn bị

Bước 1: Chọn vai trò mục tiêu

Hãy bắt đầu bằng việc xác định vai trò, vì mỗi vị trí nhấn mạnh những phần khác nhau của kho lưu trữ. Một vai trò về suy luận LLM có thể đòi hỏi kiến thức chuyên sâu hơn về GPU và phục vụ, trong khi vai trò AI ứng dụng có thể tập trung nhiều hơn vào RAG, đánh giá và các đánh đổi trong sản phẩm.

Một bảng ánh xạ đơn giản giữa vai trò và chủ đề có thể như sau:

• Kỹ sư LLM hoặc suy luận: Cấu trúc bên trong Transformer, bộ nhớ KV-cache, batching, lượng tử hóa, tính song song và thông lượng.
• Kỹ sư AI ứng dụng: RAG, tác tử, đánh giá, prompting và các quyết định fine-tuning.
• Kỹ sư tác tử: Schema công cụ, cơ chế thử lại, bộ nhớ, điều kiện kết thúc vòng lặp, điều phối và phê duyệt của con người.
• Kỹ sư MLOps hoặc LLMOps: Chỉ số phục vụ, khả năng quan sát, cổng hồi quy, lập kế hoạch năng lực và chẩn đoán trong môi trường production.

Bước 2: Hoàn thành các câu hỏi chung trước

README khuyến nghị bắt đầu với những câu hỏi xuất hiện ở nhiều công ty. Cách này giúp bạn có phạm vi bao quát rộng và tránh học trùng lặp.

Với mỗi câu hỏi, hãy chuẩn bị bốn lớp hiểu biết:

1. Định nghĩa: Giải thích khái niệm rõ ràng trong một hoặc hai câu.
2. Cơ chế: Mô tả cách khái niệm đó hoạt động bên trong.
3. Đánh đổi: Giải thích lợi ích, chi phí, hạn chế và các chế độ lỗi.
4. Ứng dụng: Đưa ra ví dụ về trường hợp bạn sẽ hoặc sẽ không sử dụng nó.

Bước 3: Sử dụng có chọn lọc các câu trả lời được liên kết

Nhiều mục có liên kết đến các bài viết hoặc video của Outcome School. Hãy đọc câu hỏi trước khi mở câu trả lời và thử trả lời dựa trên trí nhớ. Sau đó, dùng tài liệu được liên kết để xác định những chi tiết còn thiếu.

Ví dụ, câu hỏi về KV-cache cần đưa bạn vượt ra ngoài một định nghĩa cơ bản. Phần chuẩn bị cuối cùng nên bao gồm mục đích của cache, sự tăng trưởng theo độ dài chuỗi, tác động đến bộ nhớ và các kỹ thuật phục vụ được dùng để quản lý nó.

Bước 4: Tìm hiểu công ty mục tiêu

Sau khi nắm các chủ đề chung, hãy mở phần dành cho công ty bạn đang nhắm tới. Kho lưu trữ phân nhóm các tổ chức thành những danh mục như phòng thí nghiệm AI tiên phong, công ty công nghệ lớn, công ty hạ tầng, công ty sản phẩm AI-native và công ty AI doanh nghiệp.

Sử dụng phần về công ty để xác định:

• Các vai trò xuất hiện trong những trải nghiệm phỏng vấn được báo cáo.
• Cấu trúc công khai được báo cáo của quy trình phỏng vấn.
• Những câu hỏi hoặc chủ đề đặc thù hơn đối với tổ chức đó.
• Các lĩnh vực kỹ thuật cần được luyện tập thêm.

Bước 5: Chuyển câu hỏi thành bài tập chủ động

Đừng chỉ đọc các mục. Hãy trả lời thành tiếng, viết phần giải thích ngắn, suy ra các công thức liên quan và luyện tập những câu hỏi tiếp nối.

Ví dụ, với câu hỏi về batching liên tục, hãy sử dụng cấu trúc trả lời sau:

1. Định nghĩa batching tĩnh và batching liên tục.
2. Giải thích tại sao các yêu cầu hoàn tất vào những thời điểm khác nhau.
3. Mô tả cách tái sử dụng các vị trí batch được giải phóng.
4. Liên hệ cơ chế này với mức độ sử dụng và thông lượng.
5. Thảo luận về đánh đổi giữa lập lịch, độ trễ và triển khai.

Ví dụ học tập có hướng dẫn

Ví dụ 1: Chuẩn bị câu hỏi về suy luận

Giả sử bạn chọn câu hỏi về lý do prefill bị giới hạn bởi năng lực tính toán, trong khi decoding bị giới hạn bởi băng thông bộ nhớ.

1. Định nghĩa các giai đoạn prefill và decode.
2. Giải thích cách các token trong prompt có thể được xử lý song song trong giai đoạn prefill.
3. Giải thích tại sao decoding tự hồi quy tạo token tuần tự.
4. Liên hệ việc truy cập lặp lại các trọng số trong quá trình decoding với băng thông bộ nhớ.
5. Liên hệ sự khác biệt này với TTFT, độ trễ trên mỗi token, batching và kiến trúc phục vụ.
6. Đọc phần giải thích được liên kết về prefill và decode rồi hoàn thiện câu trả lời.

Ví dụ 2: Chuẩn bị câu hỏi thiết kế RAG

Với câu hỏi về việc chọn BM25, dense retrieval hay cả hai, hãy xây dựng câu trả lời dựa trên yêu cầu thay vì gọi một bộ truy xuất nào đó là tốt nhất trong mọi trường hợp.

1. Xác định corpus, loại truy vấn, mục tiêu độ trễ và chỉ số đánh giá.
2. Thảo luận ưu điểm của đối sánh từ vựng đối với các thuật ngữ chính xác.
3. Thảo luận khả năng truy xuất ngữ nghĩa đối với ngôn ngữ có liên quan về mặt khái niệm.
4. Giải thích khi nào tìm kiếm kết hợp có thể hữu ích.
5. Mô tả cách bạn đánh giá truy xuất trước khi đánh giá các câu trả lời được sinh ra.
6. Bổ sung các mối quan tâm vận hành như quyền truy cập, độ mới của chỉ mục và chi phí reranking.

Ví dụ 3: Chuẩn bị câu hỏi về độ tin cậy của tác tử

Với lỗi gọi công cụ, timeout và cơ chế thử lại, hãy cấu trúc câu trả lời như một vòng lặp kiểm soát trong production:

Xác thực yêu cầu
Gọi công cụ với timeout
Phân loại lỗi
Chỉ thử lại khi phù hợp
Áp dụng giới hạn số lần thử lại và chi phí
Ghi lại hành động và kết quả
Chuyển cấp hoặc dừng an toàn

Sau đó, các câu hỏi liên quan trong kho lưu trữ có thể mở rộng thảo luận sang điều kiện kết thúc vòng lặp, phê duyệt của con người, hành động có thể hoàn tác, khả năng kiểm toán và hiện tượng drift trong các tác vụ chạy dài.

Mẹo chuẩn bị nâng cao

Luyện suy dẫn, không chỉ học định nghĩa

Một số câu hỏi yêu cầu rõ ràng các công thức hoặc ước tính số. Hãy luyện tính bộ nhớ KV-cache, bộ nhớ trọng số mô hình ở các độ chính xác khác nhau, bộ nhớ fine-tuning và năng lực phục vụ xấp xỉ. Nêu các giả định trước khi tính vì kết quả phụ thuộc vào kiến trúc, độ chính xác, kích thước batch và độ dài chuỗi.

Kết nối các khái niệm giữa các nhóm

Câu trả lời phỏng vấn tốt thường liên kết kiến trúc với hành vi trong production. Ví dụ:

• Thiết kế KV-cache liên kết cơ chế attention của Transformer với bộ nhớ GPU và năng lực phục vụ.
• Lượng tử hóa liên kết độ chính xác số với chất lượng mô hình, mức sử dụng bộ nhớ và thông lượng.
• Chunking liên kết cấu trúc tài liệu với độ bao phủ truy xuất và khả năng quy nguồn của câu trả lời.
• Thiết kế schema công cụ liên kết hành vi của mô hình với độ tin cậy và tính an toàn của tác tử.
• Lựa chọn fine-tuning liên kết chất lượng dữ liệu với chi phí, độ trễ và hiện tượng quên thảm họa.

Chuyển câu hỏi hệ thống thành thảo luận về yêu cầu

Khi được yêu cầu thiết kế một hệ thống AI, hãy bắt đầu bằng các ràng buộc thay vì lập tức nêu tên công cụ. Làm rõ lưu lượng dự kiến, độ trễ, chất lượng, độ mới của dữ liệu, quyền riêng tư, quyền hạn, cách xử lý lỗi và chi phí. Sau đó giải thích cách mỗi quyết định kiến trúc đáp ứng các yêu cầu đó.

Chuẩn bị các khung chẩn đoán

Phỏng vấn về hệ thống production thường sử dụng các tình huống thay vì câu hỏi mang tính ghi nhớ. Với tình trạng suy giảm độ trễ, hãy chia việc điều tra thành các yếu tố: thay đổi gần đây, đặc điểm lưu lượng, cơ chế xếp hàng, độ dài prompt, độ dài đầu ra, batching, hành vi bộ nhớ đệm, mức sử dụng GPU, áp lực bộ nhớ, các phụ thuộc mạng và các dịch vụ downstream.

Duy trì bảng theo dõi dựa trên bằng chứng

Tạo một checklist cục bộ với điểm độ tin cậy cho mỗi câu hỏi:

0 - Chưa gặp
1 - Nhận ra chủ đề
2 - Có thể giải thích định nghĩa
3 - Có thể giải thích cơ chế và các đánh đổi
4 - Có thể giải quyết câu hỏi tiếp nối hoặc phép tính
5 - Có thể hướng dẫn người khác và xử lý các biến thể thiết kế

Ôn lại các câu hỏi phổ biến có điểm thấp trước khi dành thời gian cho tài liệu chuyên biệt của từng công ty.

Thực hiện phỏng vấn thử theo từng công ty

Chọn các câu hỏi gắn với nhà tuyển dụng mục tiêu và trả lời trong giới hạn thời gian. Nhờ một người cùng luyện tập chất vấn các giả định, yêu cầu thực hiện phép tính, đưa ra các tình huống lỗi hoặc thay đổi yêu cầu. Cách này phản ánh một cuộc trò chuyện phỏng vấn thực tế tốt hơn việc học thuộc các câu trả lời cố định.

Lưu ý các cập nhật của kho mã

Những người duy trì dự án dự định bổ sung câu hỏi và câu trả lời mới. Nếu đã clone kho mã, hãy chạy git pull định kỳ. Nếu sử dụng phiên bản trên trình duyệt, hãy xem lại các phần về câu hỏi phổ biến và công ty mục tiêu trước buổi phỏng vấn.

Những hạn chế quan trọng

• Các câu hỏi được báo cáo không đảm bảo nhà tuyển dụng trong tương lai sẽ hỏi những gì.
• Quy trình phỏng vấn có thể thay đổi theo nhóm, cấp độ, địa điểm và thời điểm tuyển dụng.
• Hiện tại không phải câu hỏi nào cũng có câu trả lời được liên kết.
• Phần giải thích được liên kết nên hỗ trợ việc luyện tập chủ động, không thay thế việc luyện tập.
• Thông tin về công ty nên được dùng để ưu tiên chủ đề thay vì học thuộc kịch bản.

Kết luận

Kho mã này phát huy hiệu quả nhất khi được sử dụng như một chương trình học có cấu trúc thay vì một danh sách để đọc lướt. Hãy bắt đầu với các câu hỏi lặp lại, đào sâu từng câu trả lời thông qua cơ chế và các đánh đổi, sau đó nghiên cứu phần liên quan đến công ty và luyện tập các câu hỏi tiếp nối thực tế. Việc kết hợp bộ sưu tập này với các bài suy luận, bài tập thiết kế, tình huống chẩn đoán và phỏng vấn thử sẽ tạo ra một quy trình chuẩn bị tập trung cho nhiều vị trí kỹ sư AI.