Guide cho Viewer

Cách tìm và đọc kết quả test trong Orbit Console khi bạn theo dõi chất lượng nhưng không tự chạy test: run, kết quả, report, release và readiness của chúng, share link và notification.

Trang này dành cho ai

• Viewer: member của project theo dõi kết quả, ví dụ product owner, project manager và đầu mối phía khách hàng.
• Stakeholder chỉ nhận share link của một report. Họ không cần account; xem Đọc share link của report.
• Mọi role khác đọc kết quả theo cùng cách, nên trang này cũng hữu ích cho QA Engineer và QA Lead.

Viewer xem được mọi thứ trong project nhưng không bắt đầu, thay đổi hay xóa được gì. Bảng đầy đủ nằm trong User và role.

Trước khi bắt đầu

• Bạn đăng nhập được Console. Nếu chưa, đọc Bắt đầu với Orbit trước.
• Bạn có mặt trong ít nhất một project. Chọn project đó trong project switcher ở đầu trang. Mọi trang đều hiển thị project đó.
• Hầu hết các metric có icon info. Chọn icon đó để xem “How is this computed?”. Bản thân các metric được giải thích trong Giải thích các quality metric.

Các bước

Xem tình hình project

Mở Home. Phần đầu trang hiển thị những gì đang Running, Failing và Quarantined, cùng Cycle hiện tại. Các card bên dưới trả lời những câu hỏi thường gặp:

• Quality pulse: health của 7 ngày gần nhất.
• Release countdown: release tiếp theo và nó còn cách trạng thái ready bao xa.
• Failure radar: các failure group đang mở, group nào đã quá deadline hoặc chưa có owner.
• Recent runs và Environments and Stations: những gì vừa chạy và environment nào đang hoạt động.

Để xem chi tiết hơn, mở Quality trong menu. Các tab là Health, Coverage, Performance và Debt. Đọc nhãn của từng metric: nhãn luôn ghi metric được tính trên khoảng thời gian nào, ví dụ “7 days (project days)” hoặc “this cycle”. Hai metric có nhãn khác nhau có thể không khớp nhau mà vẫn đều đúng; Giải thích các quality metric giải thích lý do.

Tìm một run

1. Mở Executions (nhóm menu Run). Trang này liệt kê các run của project, mới nhất trước, 50 run mỗi trang.
2. Thu hẹp danh sách bằng filter: workload, environment, kết quả (Passed, Failed, Error, Flaky, No tests, Running), ngày From và To, và Mine cho các run bạn đã bắt đầu. All projects hiển thị run của mọi project bạn có mặt.
3. Các cột gồm số Run, Workload, Revision (commit), Result (số pass trên tổng số), Environment, Profile, Duration, Triggered by, Station và Started.
4. Export CSV download danh sách theo filter hiện tại.

Kết quả Error nghĩa là run dừng trước khi test kịp chạy, ví dụ vì thiếu một variable. Đây là lỗi setup, không phải test fail.

Đọc một run

Chọn một run trong danh sách. Trang run hiển thị:

• Thanh kết quả: bao nhiêu test passed, failed, flaky (fail, rồi pass khi retry), skipped, did not finish hoặc quarantined.
• Các test của run. Chọn một test để xem lỗi, screenshot, và từng lần chạy trong Attempts nếu test đã được retry.
• Open HTML report: report Playwright đầy đủ.
• Open trace in Trace Viewer và Watch video, khi run có giữ lại chúng. Trace, screenshot và video bị xóa sau retention period của project; kết quả vẫn được giữ.
• Các nhãn như Overridden (ai đó đã đổi run option, nên run không được tính vào quality metric; xem Các tính năng run trên Station) và Ran offline (Station chạy khi không kết nối được Console và gửi kết quả sau).
• Menu thao tác của run (⋯) có Station log (log do Station ghi) và Compare (đặt run này cạnh một run khác để so sánh).

Theo dõi một test

Mở Tests (nhóm menu Run). Gõ vào Search tests, rồi chọn test để xem các kết quả mới nhất của nó qua các run và environment. Dùng trang này để trả lời câu hỏi “test này fail từ bao lâu rồi?”.

Đọc failure và test flaky

• Failures gom các test fail theo lỗi của chúng. Mỗi group có owner, trạng thái và deadline tính theo ngày làm việc. Là Viewer, bạn đọc được các group và lịch sử của chúng; QA Engineer làm phần triage.
• Flaky liệt kê các test lúc pass lúc fail dù không có thay đổi gì, và các test đang bị quarantine. Test bị quarantine vẫn chạy nhưng không được tính vào quality metric.

Kiểm tra một release

1. Mở Releases (nhóm menu Release) và chọn một release.

2. Trang release có các tab Readiness, Scope, Matrix, Cycles và Record:

   Tab	Bạn đọc gì ở đó
   Readiness	Kết luận ở đầu trang (Blocked, In progress, Ready hoặc Ready with risks) và, khi bị chặn, danh sách những gì đang chặn.
   Scope	Các workload, suite, tag và requirement mà release bao gồm.
   Matrix	Test matrix: từng test trong scope và kết quả của nó theo từng cycle. Download CSV lưu bảng này.
   Cycles	Các test cycle của release (ví dụ mỗi vòng regression một cycle) và mức hoàn thành của chúng.
   Record	Decisions and approvals, và Evidence packs: bản lưu cố định của release tại thời điểm có decision, với Download ZIP và Print or save as PDF.

3. Ý nghĩa của từng kết luận và từng mục đang chặn được giải thích trong Giải thích các quality metric.

Requirements cho biết requirement nào được cover bởi test đang pass, còn Risks and gate hiển thị các risk đang mở và quality gate của project.

Đọc và export report

1. Mở Reports (nhóm menu Insights). Trang có các tab Generate, Saved và Schedules.
2. Trên Generate, chọn loại report:
   • Summary: health, pass rate, failure mới và failure kéo dài, gate, release và risk.
   • Quality: test fail, test fail kéo dài, test flaky, risk và các test chậm nhất.
   • Release: readiness, decision, các cycle regression và risk của một release (chọn Release).
   • Personal: về công việc của chính bạn; report này không được lưu hay share.
3. Chọn Period (1, 7, 14, 30 hoặc 90 ngày gần nhất) và các environment, rồi chọn Generate report.
4. Export report lưu report dưới dạng Print or PDF, Markdown, CSV hoặc JSON. Report được generate không được lưu lại: hãy export nếu bạn muốn giữ.
5. Saved liệt kê các report mà QA Lead đã lưu vào project. Report đã lưu giữ nguyên nội dung của ngày lưu; report đã lưu được giữ 180 ngày.

Việc lưu report, tạo schedule để build report hằng ngày hoặc hằng tuần, và tạo share link dành cho QA Lead trở lên. Nếu cần lưu hoặc share một report, hãy nhờ một QA Lead.

Đọc share link của report

Ai đó có thể gửi bạn link tới một report đã lưu. Bất kỳ ai có link đều đọc được report mà không cần đăng nhập, cho đến khi link hết hạn (sau 1, 7 hoặc 30 ngày, tùy người gửi chọn). Link chỉ hiển thị đúng report đó, không bao giờ hiển thị phần còn lại của Orbit.

1. Mở link. Trang ghi rõ report được lưu khi nào và link dùng được đến khi nào.
2. Print or PDF lưu một bản copy.
3. Nếu bạn thấy “This report is not available”, link không tồn tại, đã hết hạn hoặc đã bị revoke. Hãy xin người gửi một link mới.

Người tạo link xem được link đã được mở bao nhiêu lần, và có thể Revoke bất cứ lúc nào.

Chọn notification

1. Chọn biểu tượng chuông ở góc trên bên phải để xem các notification mới nhất và các Notices của hệ thống. Mark all read đánh dấu tất cả là đã đọc.
2. All notifications and settings mở Notifications, với hai view Inbox và Settings.
3. Trên Settings, bảng Notify me about có một dòng cho mỗi loại notification, với cột In Orbit và cột By email. Với một số loại, bạn chọn All hoặc Only mine (run bạn đã bắt đầu, test và failure group bạn là owner, các mục quarantine bạn là owner).
4. Email được gửi tới địa chỉ của account Orbit của bạn. Các notification lặp lại trong vòng 15 phút được gộp thành một. Nếu email chưa được setup, trang sẽ ghi rõ.

Các loại Viewer thường giữ: New errors in my projects, Tests quarantined or released, My account and access, và Release approvals asked of me, and verdicts on my decisions nếu bạn approve release.

Hỏi Assistant

Chọn Assistant ở góc trên bên phải để hỏi về trang bạn đang xem, ví dụ “why is this release blocked?”.

Những gì có thể sai

Bạn thấy	Lý do	Cần làm gì
Một trang trống hoặc ghi “You are not on a project yet.”	Bạn không có role trong project đang chọn.	Chọn project khác trong switcher, hoặc nhờ Project Admin thêm bạn vào.
Một nút bị mờ kèm “Needs the qa-engineer role” (hoặc role khác)	Viewer không thay đổi được gì.	Nhờ người có role đó, hoặc xin Project Admin cấp role.
Station báo “all passed” nhưng Quality › Health báo Watch, hoặc một release báo Blocked	Các metric đếm những thứ khác nhau trên các khoảng thời gian khác nhau. Watch là status của Health (Healthy, Watch, Critical) trong 7 ngày gần nhất; Blocked là verdict của release (Blocked, In progress, Ready, Ready with risks).	Đọc Giải thích các quality metric.
Thiếu Open HTML report hoặc trace trên một run cũ	File của run đã bị xóa sau retention period. Kết quả vẫn còn.	Đọc kết quả trên trang run.
Một run bạn chờ không có trong Executions	Đang bật một filter, hoặc Station chưa gửi run lên (run chạy offline).	Xóa filter. Run offline xuất hiện khi Station kết nối lại.
“This report is not available” trên share link	Link đã hết hạn hoặc bị revoke.	Xin người gửi một link mới.
Bạn nhận quá nhiều email	Mọi loại notification đều bật gửi email.	Tắt By email cho các loại bạn không cần, hoặc chọn Only mine.

Các guide liên quan

• Bắt đầu với Orbit: đăng nhập, menu, bảng phím tắt.
• Giải thích các quality metric: từng metric, khoảng thời gian của nó, và vì sao hai trang có thể không khớp.
• User và role: mỗi role làm được gì và hỏi ai.
• FAQ: trả lời ngắn cho các câu hỏi thường gặp.