Guide cho QA Lead

Trang này hướng dẫn QA Lead các việc Orbit giao cho họ: theo dõi quality, kiểm soát failure và flaky test, đưa release đến một decision, và chia sẻ kết quả.

Trang này dành cho ai

QA Lead của một project. Mọi thứ ở đây cũng áp dụng cho Project Admin và System Admin, vì họ có mọi permission của QA Lead.
QA Engineer cũng có thể đọc trang này: họ thấy cùng các trang, và những phần cần role QA Lead đều được ghi rõ.

Những việc chỉ QA Lead (hoặc role cao hơn) được làm: quarantine test, tạo issue Jira, thay đổi run profile, quản lý release, cycle, gate, decision và risk, thay đổi quality setting, và lưu report, lịch gửi report và share link. Bảng đầy đủ nằm trong User và role và Roles and permissions reference.

Trước khi bắt đầu

Bạn cần role QA Lead trong project. Nếu bạn chỉ có QA Engineer hoặc Viewer, hãy nhờ một Project Admin.
Chọn project trong project switcher ở đầu trang. Mọi trang bên dưới hiển thị project đó.
Đọc Giải thích các quality metric một lần. Trang đó nói mỗi metric đếm gì và vì sao hai trang có thể cho hai verdict khác nhau. Guide này link sang đó thay vì nhắc lại.
Menu có bốn nhóm: Run (Executions, Tests), Quality (Quality, Failures, Flaky), Release (Releases, Requirements, Risks and gate) và Insights (Reports, Customers). Project settings nằm cuối cùng.

Một ngày của bạn trong Orbit

Một ngày điển hình, theo thứ tự:

Mở Home. Danh sách Needs you chứa những việc đang chờ bạn, ví dụ failure group đã quá SLA, risk được đề xuất cần review, flaky queue, quarantine sắp hết hạn và cycle đang chậm tiến độ. Failure radar hiển thị các failure group đang mở, Quality pulse cho biết health của project, và Test debt cho biết debt cùng mức thay đổi trong tuần.
Xử lý trang Failures (xem Triage failure).
Xử lý queue Flaky (xem Xử lý flaky test).
Review các risk được đề xuất trên Risks and gate (xem Review risk).
Kiểm tra các cycle đang mở của release (xem Chạy một release).

Cái chuông ở header mở Notifications. Chọn những gì bạn muốn nhận trong tab Settings của nó (xem Notification cho QA Lead).

Theo dõi quality

Mở Quality trên menu. Trang có bốn tab, và filter Workload, Environment ở đầu trang (mặc định All workloads, All environments).

Tab	Trả lời câu hỏi gì
Health	Một verdict cho 7 ngày gần nhất của project: Healthy, Watch, Critical hoặc No data. Đó là kết quả xấu nhất trong năm mục check: pass rate, failure mới và failure kéo dài, tỷ lệ flaky, thay đổi về duration và test P1.
Coverage	Những test nào trong catalog đã pass ở kết quả mới nhất, nhóm theo priority, suite hoặc tag (Group by).
Performance	Test nào đang chậm dần, và, ở By site, mỗi environment phản hồi nhanh thế nào từ mỗi văn phòng.
Debt	Test debt theo mười hai nhóm, kèm trend 90 ngày.

Mỗi metric có một icon info: chọn nó để xem “How is this computed?”. Các threshold và ví dụ cụ thể nằm trong Giải thích các quality metric.

Debt đếm những thứ cần dọn dẹp, không phải một điểm số. Các nhóm là Quarantine overdue, Flaky, Persistent failure, Not run, Always skipped, Getting slower, No @id, No explicit owner, No requirement, Orphaned quarantine or triage, Old known issue và Requirement without a test. Chọn một nhóm để xem các test, entry hoặc requirement đứng sau con số đó. Khi một nhóm liên quan đến code test (No @id, No explicit owner, No requirement), hãy chuyển danh sách cho người viết workload: xem Workload author guide.

Triage failure

Mở Failures trên menu (trang Failures and triage). Orbit gom mọi failure có cùng error vào một failure group. Mỗi group có một owner, một status và một SLA.

Trang có ba view: Groups (danh sách), Triage board (từng test một, thao tác bằng bàn phím) và Investigations.

Status

Status	Ý nghĩa
New	Group vừa được tạo, hoặc quay lại sau khi đã resolve.
Triaged	Đã có người xem và group đã có owner.
Resolved	Đã fix. Một failure mới với error này sẽ mở lại group ở status New.
Known issue	Tạm chấp nhận. Failure mới vẫn được đếm nhưng không mở lại group.

Ngoài status còn có hai dấu: Recovered (không còn test nào fail với error này) và Investigating (một investigation đang mở có chứa error này). Group ở trạng thái recovered liên tục 14 ngày sẽ được Orbit tự resolve.

Các bước

Trên Groups, filter theo workload, priority hoặc status. Past SLA hiển thị các group đã quá SLA.
Mở một group. Trang hiển thị Owner and status, Affected tests (mỗi test và environment đã fail với error này trong 30 ngày gần nhất), Failures per day, Jira, Investigations và Timeline.
Chọn Take ownership, hoặc chọn một Owner (owner phải là member của project và sẽ nhận notification).
Chọn Mark as triaged khi bạn đã biết nguyên nhân. Dùng Add a note để ghi lại những gì bạn tìm ra.
Khi đã fix, chọn Resolve…, chọn Resolved hoặc Known issue trong Outcome, và ghi How it was resolved. Chọn Resolve.

Để xử lý nhiều group cùng lúc, chọn chúng trên Groups rồi dùng Assign hoặc Resolve. Resolve recovered (N) resolve trong một bước mọi group không còn fail.

Trên Triage board, bên trái liệt kê các test đang fail của từng group đang mở, bên phải hiển thị failure mới nhất của test đang chọn. Mỗi thao tác có một nút và một phím: j/k test tiếp theo hoặc trước đó, J/K group tiếp theo hoặc trước đó, b Mark as Bug, o Take ownership, r Resolve the group, q Quarantine…, i Investigate…, ? bảng phím tắt. Label của test (Bug, Environment issue, Known flaky) dành cho QA Engineer trở lên; quarantine cần role QA Lead.

SLA

SLA có hai mốc, tính bằng ngày làm việc (thứ Hai đến thứ Sáu theo time zone của project, không tính lịch nghỉ lễ) kể từ lúc group được mở hoặc mở lại. Group lấy priority cao nhất trong các test của nó.

Priority cao nhất	Có owner trong vòng	Resolve trong vòng
P1	1 ngày	3 ngày
P2	2 ngày	7 ngày
Khác	3 ngày	14 ngày

Đây là giá trị mặc định. Thay đổi chúng trong Quality settings (xem Quality settings). SLA chỉ là lời nhắc: nó không bao giờ thay đổi gate, readiness hay decision của release. Khi một group quá SLA, owner của nó và các QA Lead nhận notification.

Issue Jira

QA Lead có thể tạo issue Jira từ một kết quả fail: mở execution, rồi chọn Create Jira issue… trên test bị fail. Orbit giữ một issue cho mỗi error, và trang group hiển thị key cùng status Jira của issue. Project Admin phải setup Jira trước (xem Guide cho Project Admin).

Investigation

Investigation là một case mà team theo dõi xuyên qua nhiều execution, test và failure signature. Dùng Investigate… trên một failure, một test hoặc một execution để bắt đầu một investigation hoặc thêm vào một investigation đang mở. Investigation không thay đổi readiness của release; khi cần thay đổi, mở case và chọn Record a risk from this case….

Xử lý flaky test

Mở Flaky trên menu. Trang có ba view: Queue, Trends và Quarantined.

Queue liệt kê các test bị flaky hoặc fail trong 7 ngày gần nhất, test P1 lên đầu. Với mỗi test, chọn một trong các thao tác:

Thao tác	Ai	Chuyện gì xảy ra
Investigate	QA Engineer	Mở một investigation. Test vẫn nằm trong queue.
Known flaky	QA Engineer	Đưa test ra khỏi queue. Test vẫn được tính vào tỷ lệ flaky và vào việc phát hiện risk.
Quarantine	QA Lead	Test vẫn chạy ở shadow mode, nhưng không còn được tính.
Open test	Mọi người	Mở trang của test cùng history của nó.

Quarantine một test

Trong Queue, chọn một hoặc nhiều test rồi chọn Quarantine.
Nhập Reason và chọn Until (ngày kết thúc).
Chọn Quarantine. Bạn trở thành owner của từng entry. Station áp dụng thay đổi ở lần refresh config tiếp theo, trong vòng 5 phút.

Từ queue, quarantine luôn là Shadow run: test vẫn chạy, nhưng kết quả của nó không thay đổi kết quả của execution. Từ trang riêng của test (Tests, chọn test, Quarantine this test) bạn còn chọn được Skip: Station bỏ test đó ra khỏi run.

Một shadow entry tự kết thúc khi test pass đủ số run liên tiếp (mặc định 5, setting Quarantine release). Test bị skip không bao giờ chạy, nên quarantine của nó không thể tự kết thúc: nó kết thúc vào ngày đã đặt hoặc khi kết thúc bằng tay, và dòng của nó ghi “Runs are skipped: switch to shadow to earn release”. Quarantined liệt kê các entry đang active cùng tiến độ release của chúng. Để kết thúc một entry bằng tay, mở trang của test và chọn End quarantine (hoặc chọn các test trên Tests rồi chọn Release). Change trên trang của test dùng để gia hạn.

Quarantine thay đổi các metric ra sao được giải thích trong Giải thích các quality metric.

Quality settings

Mở Failures, rồi menu ⋯ (More actions for failures), rồi Quality settings. QA Lead và Project Admin thay đổi được; những người khác chỉ xem.

Phần	Bạn setup gì
Failure group SLA	Owner within và Resolved within cho từng priority, tính bằng ngày làm việc.
Quarantine release	Release after N run pass (từ 3 đến 20).
Test debt	Khi nào một test bị tính là debt: số ngày không có run, quarantine được kéo dài bao lâu, known issue được cũ đến mức nào.
Notifications	Khi nào error mới của một run, pass rate giảm hoặc flaky tăng đáng để gửi notification cho project này, và độ nhạy của alert (Sensitivity: Relaxed, Standard, Strict hoặc Custom).

Use the defaults đưa mọi giá trị về mặc định. Chọn Save settings.

Setup quality gate

Gate là một danh sách rule mà project hoặc release phải đạt. Mở Risks and gate, view Gate rules.

Chọn Change preset (hoặc Edit rules với gate đã có). Các preset là Standard (khuyên dùng), Strict, Lenient và Hotfix. Mỗi preset hiển thị “Would you pass today?” dựa trên 7 ngày gần nhất.
Chọn Use this, hoặc Start from blank.
Điều chỉnh rule. Mỗi rule có một metric, một threshold và một level:
- Blocking: rule fail thì gate fail.
- Warning: rule fail thì gate vẫn pass nhưng release bị đánh dấu “ready with risks”.
- Khi không có dữ liệu, rule blocking cho kết quả “not enough data”, không bao giờ là pass.
Chọn Save as new version. Các version cũ vẫn nằm trong Earlier versions.

Preview now tính trên 7 ngày gần nhất và không lưu gì. Evaluate now lưu một verdict vào Latest verdicts.

Release dùng rule của project, trừ khi release tự đặt rule riêng: trên tab Readiness của release, phần Gate rules, chọn Set rules for this release (hoặc Use the project rules để quay lại).

Review risk

Mở Risks and gate, view Risks. Mỗi giờ Orbit check mọi environment và đề xuất các risk tìm thấy trong kết quả gần đây. Risk được đề xuất chỉ được tính khi bạn accept.

Mở các risk Proposed.
Với mỗi risk, chọn Accept (nó trở thành risk đang mở) hoặc Dismiss (cùng phát hiện đó sẽ không được đề xuất lại trong 7 ngày, trừ khi level của nó tăng).
Để thêm risk bằng tay, chọn Record a risk: một tiêu đề, một Level, một Environment (hoặc Whole project) và một Release (hoặc Every release). Chọn Record risk.
Khi nguyên nhân không còn, đặt status của risk thành Mitigated hoặc Closed. Risk đã accept không bao giờ tự đóng: nó hiển thị Condition no longer seen.

Risk đang mở hoặc đã acknowledge ở level medium trở lên giữ release ở “ready with risks”; risk high hoặc critical sẽ block release. Detect now chạy việc check ngay lập tức.

Chạy một release

Release được test qua các cycle regression trên các environment của nó. Release đi qua các giai đoạn Planned, In testing, Quality validation, Ready for release, Released và Closed.

Tạo release

Mở Releases và chọn New release.
Điền Version, Name, Starts và Ends.
Đánh dấu các Environments mà release được test trên đó, và đánh dấu các environment Sign-off. Environment sign-off quyết định release đã ready hay chưa; nếu không đánh dấu environment nào, mọi environment đều được tính.
Chọn Create release.

Setup scope

Trên release, tab Scope, chọn Edit scope. Thu hẹp danh sách test theo Workloads, Suites, Priorities, Features, Modules, Processes và Requirements, thêm hoặc loại trừ Single tests, rồi chọn Save scope. Không chọn gì trong một filter nghĩa là giữ mọi giá trị. Test mới khớp với scope sẽ tự được thêm vào.

Khi bạn thay đổi scope sau khi đã có cycle, các cycle đang mở và đã plan không tự cập nhật theo: trang release đưa ra Apply to cycles.

Plan và đóng cycle

Trên tab Cycles, chọn Plan a cycle. Chọn các environment, Starts, Ends, Name (không bắt buộc) và, nếu muốn, Suites. Chọn Plan cycle.
Execution được gắn vào cycle theo thời điểm nó bắt đầu. Tester chạy test từ Station như bình thường.
Mở một cycle để theo dõi mức hoàn thành, pass rate và các test đang fail. Một run thuộc chỗ khác có thể được chuyển bằng Move to cycle… hoặc Take out of cycles.
Khi test xong, chọn Close cycle now. Đóng cycle sẽ chụp một snapshot và evaluate gate trên environment của cycle. Cycle cũng tự đóng khi qua ngày kết thúc. Reopen hoàn tác việc này.

Checklist

Mọi release mới bắt đầu với checklist của project. Các mục bắt buộc giữ release ở Quality validation cho đến khi hoàn thành.

Để thay đổi template cho release mới: Releases, menu ⋯ (More actions for releases), Checklist template. Việc lưu không bao giờ thay đổi các release đã có.
Để thay đổi một release: tab Readiness, phần Checklist, Add an item to this release. Đánh dấu từng mục khi đã xong.

Approval

Trên tab Readiness, phần Approvals, chọn Name approvers (hoặc Edit approvers).
Chọn Add an approver và chọn một member của project. Đánh dấu Required cho những người mà release phải chờ; approver không bắt buộc chỉ được thông báo, release không chờ họ. Tối đa 20 người.
Chọn Save approvers.

Mỗi approver ký decision proceed mới nhất bằng Approve hoặc Reject (reject thì bắt buộc có comment). Một reject giữ release lại cho đến khi một QA Lead ghi nhận decision mới. Approver đã rời project hiển thị No longer a member; gỡ họ bằng Remove.

Ghi nhận decision

Trên tab Readiness, đọc verdict ở đầu trang (Blocked, In progress, Ready hoặc Ready with risks) và danh sách những gì đang block release. Giải thích các quality metric liệt kê mọi lý do.
Chọn Assess now để evaluate gate trên từng environment sign-off và đếm các risk đang mở. Việc này cũng tự chạy khi cycle cuối cùng đóng.
Trong Record a decision, chọn Proceed, Proceed with risk hoặc Hold. Hai lựa chọn sau bắt buộc có lý do.
Chọn Record proceed (hoặc Record proceed with risk, Record hold).

Decision không sửa và không xóa được. Decision sau thay thế decision trước, và approver ký decision mới nhất.

Khi release đi ra, chọn Mark as released. Nếu vẫn còn thứ block release, Orbit đưa ra Release anyway và hỏi lý do; ghi chú, người release và những gì đang block được lưu trên tab Record và trong audit log. Undo release hoàn tác việc này.

Summarize with AI trên tab Readiness viết một bản tóm tắt ngắn về release, khi AI được bật cho project.

Test matrix

Tab Matrix hiển thị kết quả mới nhất của mỗi test trong scope trên từng environment. Chọn Current cycle of each environment hoặc Every cycle of the release, filter theo environment, workload và suite, và dùng Download CSV để lấy file spreadsheet. Run có local override không được tính.

Lưu evidence pack

Evidence pack đóng băng những gì đã được sign-off và đóng dấu bằng một hash SHA-256. Orbit tự lưu một pack khi các approval của một decision proceed đã đủ.

Mở release, tab Record, phần Evidence packs.
Chọn Save evidence pack để lưu một pack ngay (QA Lead).
Mở một pack, rồi chọn Download ZIP hoặc Print or save as PDF.

Pack được giữ suốt vòng đời của release, kể cả khi archive. HTML report, trace và video được link, không được copy: chúng hết hạn theo retention, và pack liệt kê từng link kèm ngày hết hạn. Nếu Orbit không lưu được pack sau khi approval xong, release sẽ báo điều đó kèm nút Save now.

Requirement và test debt

Mở Requirements. Test link tới một requirement bằng tag @req:KEY trong code; requirement được verify khi mọi test của nó đã pass.

New requirement thêm một requirement: Key (không đổi được sau khi tạo), Title, và tùy chọn Description, Priority, Feature và Link.
Import CSV thêm hoặc cập nhật nhiều requirement cùng lúc: xem Import requirement từ file CSV.
Mở một requirement để xem Coverage by environment, các test được link và các release có nhắc tới nó. Archive đưa requirement ra khỏi coverage; requirement đang được một release nhắc tới thì không xóa được.
Để thu hẹp release theo một số requirement, chọn chúng trong tab Scope của release.

Các nhóm debt Requirement without a test và No requirement (trên Quality, tab Debt) cho thấy lỗ hổng theo cả hai chiều.

Report và lịch gửi report

Mở Reports. Trang có ba tab: Generate, Saved và Schedules.

Trên Generate, chọn Report: Summary, Quality, Release (rồi Choose a release) hoặc Personal (công việc của riêng bạn; không bao giờ được lưu hay share).
Chọn Period và Environments, rồi chọn Generate report.
Export bằng Export report: Print or PDF, Markdown, CSV hoặc JSON.
Để giữ lại, chọn Save to the project (QA Lead). Report đã lưu được giữ 180 ngày và nằm trong Saved.

Để share một report đã lưu với người ngoài Orbit, mở report và chọn Share, rồi Share outside Orbit. Chọn Valid for (1, 7 hoặc 30 ngày) và chọn Create link. Bất kỳ ai có link đều đọc được report này mà không cần đăng nhập, cho đến khi link hết hạn. Copy link ngay: khi bạn rời trang, link không hiển thị lại được nữa. Revoke vô hiệu hóa một link.

Lên lịch gửi report

Trên Schedules, chọn New schedule.
Chọn Report, Period, Environments, Repeat (Every week hoặc Every day), ngày và giờ (At).
Tùy chọn Post to Teams (một channel do Project Admin setup) và Email to các member. Member nhận tiêu đề, các con số chính và một link, rồi đăng nhập để đọc report. Email chỉ hoạt động khi System Admin đã setup.
Đặt Name cho schedule và chọn Create schedule. Report theo lịch xuất hiện trong Saved.

Mỗi schedule có Run now, Pause, Resume, Edit và Delete.

Notification cho QA Lead

Mở cái chuông, rồi Settings. Với mỗi loại, đánh dấu In Orbit và By email, và với một số loại thì chọn All hoặc Only mine. Quality settings của project quyết định khi nào failure và alert đáng để gửi notification.

Là QA Lead, bạn được thông báo khi một failure group quá SLA, khi một group đã resolve mà không có owner fail lại, và về các quality alert của project của bạn (tối đa một lần cho mỗi environment mỗi ngày).

Những gì có thể sai

Bạn thấy	Lý do	Cần làm gì
Một nút bị disable với “Needs the qa-lead role”	Role của bạn trong project này thấp hơn.	Nhờ một Project Admin cấp role QA Lead.
Một test không có trong Queue của flaky	Test đang bị quarantine, đã được đánh dấu Known flaky sau lần run flaky mới nhất, hoặc đã ổn định trong 7 ngày.	Xem trong Quarantined, hoặc trên trang của test.
Release vẫn Blocked sau khi đã fix	Cycle chưa đóng, vẫn còn risk đang mở, hoặc chưa có decision nào được ghi nhận từ khi cycle cuối đóng.	Đọc danh sách bên dưới verdict. Giải thích các quality metric có từng trường hợp.
Approver không ký được	Decision mới nhất là Hold, hoặc chưa có decision.	Ghi nhận một decision Proceed hoặc Proceed with risk.
“The release scope changed. N cycles do not follow it yet.”	Scope đã được sửa sau khi tạo cycle.	Chọn Apply to cycles.
Test bị quarantine không tự ra khỏi quarantine	Test đang ở mode Skip, hoặc auto release đang tắt.	Chuyển sang Shadow run bằng Change, hoặc chọn End quarantine.
Một failure group quay lại New	Error xuất hiện lại sau khi đã resolve.	Xem failure mới; resolve lại hoặc đánh dấu Known issue.
Mất share link	Link chỉ hiển thị một lần.	Revoke link đó và tạo link mới.
Xuất hiện một error code	Xem ý nghĩa và cách xử lý.	Error codes reference.

Thêm câu trả lời: Câu hỏi thường gặp.

Các giá trị cần ghi lại

Giá trị	Tìm ở đâu	Secret?
Share link của một report	Hiển thị một lần sau Create link	Coi như secret cho đến khi hết hạn: ai có link đều đọc được report. Chỉ gửi cho người đọc.
Hash của evidence pack (SHA-256)	Release, tab Record, pack	Không secret. Lưu cùng tài liệu release để có thể kiểm tra pack về sau.
Preset gate và các giá trị SLA đã chọn	Risks and gate, Gate rules; Quality settings	Không secret. Ghi lại các thay đổi trong test plan của team.