Guide cho tester

Một ngày làm việc của tester với Orbit: đăng nhập Station, chọn test, chạy test, theo dõi, chạy lại những gì fail, và đọc kết quả. Trang này cũng nói về làm việc offline, khởi động cùng Windows, update, trang Diagnostics với support bundle, và các bước triage failure đầu tiên trong Console.

Trang này dành cho ai

QA Engineer chạy test hằng ngày trên máy Windows của mình. QA Lead và Project Admin làm cùng công việc này và cũng dùng được trang này.

Trước khi bắt đầu

Station đã được cài và enroll trên máy của bạn. Nếu chưa, làm theo Cài đặt Orbit Station trước.
Bạn có role QA Engineer (hoặc cao hơn) trong project. Viewer chỉ xem được, không chạy được.
Bạn đăng nhập được Console. Bắt đầu với Orbit giới thiệu Console và menu của nó.

Menu của Station có ba nhóm: Work (Today, Run, Explorer, và Running khi đang có run), Quality (Activity, Coverage, Failures, Insights, Release, Reports) và Mine (History, Settings). Thanh trên cùng chứa project và environment bạn đang làm việc; mọi trang đều theo lựa chọn này. Thanh status hiển thị Station (online hoặc offline), Session của bạn, Sync, Slots (số run chạy cùng lúc) và Offline runs. Chọn một mục để xem chi tiết.

Các bước

1. Mở Station và đăng nhập

Mở Orbit Station từ Start menu (hoặc shortcut trên desktop). Một cửa sổ nhỏ mở ra, rồi browser hiển thị Station. Giữ cửa sổ đó mở trong lúc làm việc: đóng nó là Station dừng.
Trên Welcome to Orbit Station, chọn Sign in with Orbit. Browser mở trang đăng nhập Orbit. Đăng nhập bằng account Console của bạn. Station không bao giờ thấy password của bạn.
Nếu account của bạn có authenticator, Station hỏi Authenticator code. Nhập 6 số và chọn Confirm code.
Today mở ra.

Nên biết:

Sign in as a different account chuyển sang account khác, ví dụ khi đồng nghiệp dùng máy của bạn.
Session hết sau 8 giờ không hoạt động, hoặc vào một ngày kết thúc cố định. Mục Session trên thanh status cho biết còn bao nhiêu thời gian.
Settings, Account cho biết ai đang đăng nhập (Your account), Where you can run (từng environment với Run hoặc View only) và Sign out.

2. Bắt đầu ngày làm việc với Today

Today hiển thị những gì cần bạn xử lý trên project và environment hiện tại:

Needs your attention: những gì Console dành cho bạn hôm nay, theo role (ví dụ failure group đã quá SLA). Dùng J và K để di chuyển, Enter để mở một mục.
Right now: Running now, Last failure của Station này và Release của environment kèm mức hoàn thành cycle và gate.
My runs today: các run của bạn, trên This Station hoặc trên All my Stations.
Start a run (hoặc N) mở trang Run; mũi tên bên cạnh có thêm các cách bắt đầu khác. Personal report mở report về công việc của chính bạn. Ask about today hỏi Ask Orbit.

3. Chọn test trong Explorer

Explorer là nơi bạn chọn chính xác test nào sẽ chạy.

Mở Explorer và chọn Workload.
Tìm test bằng Search tests (/; tìm theo tiêu đề, file và tag) và Filters (Priority, Module, Flags, Folder, Quarantine, Last result here, This cycle và các filter khác). Group by đổi cách hiển thị cây: Folder › File › Describe, File › Describe hoặc None.
Tick các test cần chạy. A tick mọi test đang hiển thị, Esc bỏ tick. Flag có ghi “Lock tag: runs with it wait for each other” nghĩa là các test đó thay đổi setting dùng chung và không bao giờ chạy cùng lúc.
Panel bên phải (N tests selected) hiển thị Environment, Settings from profile và Run options. Giữ nguyên các option theo giá trị của profile khi run cần được tính vào quality metric; xem Các tính năng run trên Station.
Chọn Run N tests.

Lưu một selection bạn hay chạy: trong Saved selections, dùng Save as a new selection, đặt tên (ví dụ “Material smoke”) và chọn cái cần giữ: The N selected tests (một danh sách cố định) hoặc This filter (tự lấy thêm các test mới khớp filter). Trang Run và Explorer mở lại được selection đã lưu về sau.

Danh sách test có thể cũ hơn repository. Explorer chạy đúng commit của lần lấy danh sách gần nhất. Sau khi đồng nghiệp merge test mới, chọn Refresh from main. Chi tiết: Các tính năng run trên Station.

4. Hoặc bắt đầu run từ trang Run

Trang Run (tiêu đề Run tests) chạy cả một profile, hoặc một selection đã lưu:

What runs: Environment, Workload, Profile (ví dụ smoke hoặc regression), Tests (mọi test của profile, hoặc một selection đã lưu) và, nếu bạn cần một version khác của test, Branch, tag or commit. Để trống thì chạy default branch.
How it runs: worker, retry, time limit và có hiển thị browser hay không.
Variables: chỉ đổi khi bạn biết rõ lý do; đổi một variable sẽ đánh dấu run là Overridden.
Chọn Start run.

5. Theo dõi run

Trang run tự mở, và Running xuất hiện trong menu.

Các bước ở đầu trang là Checkout, Install, Lock and secrets, Running và Collecting results. Run đầu tiên của một workload trên máy bạn chậm hơn: nó download dependency và browser.
Running now liệt kê từng test đang chạy tại thời điểm đó. Run có nhiều suite còn có danh sách Suites và mỗi suite một report; xem Các tính năng run trên Station.
Log cho biết Station đang làm gì. Giá trị secret luôn bị ẩn trong log.
Nếu run phải chờ, một banner cho biết đang chờ gì (“Waiting for” một lock tag, một test account hoặc một slot trống). Run tự bắt đầu khi thứ đó rảnh.
Cancel run dừng run. Các test chưa chạy xong là Not run, không bao giờ bị tính là fail.
Run dừng khi hết time limit. “Most of the time limit is used” xuất hiện ở mức 80 %. Xem Các tính năng run trên Station.

Bật Notify me when a run finishes trong Settings, Station, General để nhận notification của browser khi tab Station đang chạy nền.

6. Đọc kết quả và chạy lại

Khi run kết thúc, trang run hiển thị kết quả. Chọn một test fail để mở failure panel: lỗi, Steps, Evidence (screenshot và file), Open report (report Playwright) và Open in Console.

Để chạy lại, chọn Re-run… trên trang run, trong History hoặc trong preview của run:

Lựa chọn	Chạy gì
Failed tests	Chỉ các test fail trong run này
All tests	Cùng selection với run này
This test	Một test (từ dòng của test đó)
More options…	Mở dialog Re-run: chọn test (Failed tests, All tests hoặc Chosen tests), Environment, Commit (This run’s commit hoặc commit mới nhất trên branch của nó) và run option. What this re-run will do tóm tắt trước khi bạn bắt đầu.

7. Xem lại trong History

History liệt kê mọi run đã bắt đầu trên Station này, với Result, Compared with the run before, Ran by và Started · took.

Filter bằng Search runs, Environment, Workload, Result, Date và Ran by. Needs attention hiển thị các run cần bạn xử lý.
J và K di chuyển giữa các run; Enter mở preview của run, Shift+Enter mở trang run.
Preview có Open run page, Open report, Re-run… và Open in Console.
Menu ⋯ của mỗi dòng có Open run in Console, Keep for offline runs (cleanup sẽ giữ lại file của run đó) và Delete files… (file bị xóa; run vẫn còn trong History).
Menu riêng của trang có Recently deleted, Clean up và link tới Sync.

8. Đọc và export report

Reports trên Station có hai tab:

Generate: report của project hoặc của công việc của chính bạn, được build khi bạn mở. Menu export lưu report thành Markdown, CSV hoặc JSON, hoặc in bằng Print / PDF.
Saved reports: các report QA Lead đã lưu trong Console. / để tìm; mỗi report có cùng menu export.

Station không share report. QA Lead share report đã lưu từ Console bằng link.

Activity, Coverage, Insights và Release hiển thị metric của project và environment trên thanh trên cùng. Open in Console mở trang Console tương ứng. Ý nghĩa các metric: Giải thích các quality metric.

9. Triage failure trong Console

Failure được gom theo lỗi, nên mười test fail cùng một lỗi là một group. Là QA Engineer, bạn làm triage bước đầu:

Trong Console, mở Failures. Các view là Groups, Triage board và Investigations. Groups I own hiển thị các group của bạn.
Trên Triage board, di chuyển bằng J và K (Shift+J và Shift+K nhảy giữa các group). Với mỗi test fail:
- Gắn label Bug (B), Environment issue (E) hoặc Known flaky (F).
- Take ownership (O) của group nếu bạn sẽ theo dõi tiếp.
- Investigate… (I) mở một investigation khi cần đào sâu nguyên nhân.
- Resolve… (R) khi không còn test nào fail với lỗi đó. Group xuất hiện lại sẽ tự mở lại.
Mỗi group có deadline (SLA của nó, tính theo ngày làm việc). Past SLA trên Home và Today hiển thị các group bị trễ.
Quarantine… (Q) dành cho QA Lead. Nếu bạn nghĩ một test nên bị quarantine, hãy báo QA Lead.

Trang Failures riêng của Station có cùng các label (B, E, F) và Claim or release the group (O).

10. Làm việc offline

Station chạy được test khi không kết nối được Console, trong một khoảng thời gian giới hạn cho mỗi environment.

Mục Offline runs trên thanh status cho biết environment nào nhận run offline và đến khi nào (“None allowed” nghĩa là không có). Project Admin đặt giá trị này cho từng environment, gọi là offline grace (mặc định 3 ngày; 0 là tắt run offline). Mỗi run online sẽ gia hạn nó.
Run offline cần những gì một run online đã để lại trên máy này: thông tin đăng nhập, config, secret, code và dependency của workload. Hãy chạy online mỗi workload ít nhất một lần trước. Settings, Account, Kept for offline runs liệt kê những gì được giữ và khi nào hết hạn; chúng bị xóa khi bạn đăng xuất.
Khi offline, lock chỉ thấy các run trên Station này, và test account không được lease: một Station offline khác có thể dùng cùng account vào cùng thời điểm. Run plan sẽ cảnh báo bạn.
Kết quả chờ trên máy bạn. Sync hiển thị những gì chưa được gửi; không có gì bị bỏ, kể cả sau nhiều ngày offline. Console đánh dấu các run đó là Ran offline.

11. Khởi động cùng Windows

Trong Settings, Station, General, bật Start Orbit Station when I sign in to Windows. Khi đó Station khởi động trong một cửa sổ thu nhỏ, không mở browser. Mở nó từ Start menu khi cần. Create desktop shortcut (hoặc Recreate shortcut) đặt một icon lên desktop.

12. Giữ Station luôn mới

Station tự download version mới.

Khi có version sẵn sàng, mục Update xuất hiện trên thanh status (“version ready”). Chọn Restart to update. Station chờ đến khi không còn run nào đang chạy (“Once the running executions finish”).
Nút này cũng có trong Settings, Station (dòng Updates) và trên About Orbit Station, nơi cũng liệt kê What’s new.
“This Station is no longer supported” nghĩa là Station thấp hơn version tối thiểu. Run vẫn chạy được, nhưng kết quả chờ trên máy bạn cho đến khi bạn update.

13. Khi có vấn đề: Diagnostics và support bundle

Mở Diagnostics từ menu avatar (hoặc từ Settings, Station, Help).

Overview báo “Everything checks out”, hoặc số lỗi và cảnh báo tìm được, theo nhóm: Install, Data folder, Configuration, Sync, Browsers, Workload sources, Proxy, Local server, Clock và Network.
Run all network checks kiểm tra lần lượt từng kết nối. Check again chạy lại các check.
Copy summary copy một đoạn text ngắn vào clipboard (version, lỗi, cảnh báo). Dán nó vào tin nhắn gửi support.
Khi support cần thêm thông tin, dùng Support bundle:
- Trong Runs to include, tick tối đa 5 run (không chọn run nào: run fail gần nhất được đưa vào).
- Chọn số ngày Server log (1, 3, 7 hoặc 14).
- Chỉ tick Include test names and error messages khi support cần.
- Chọn Create support bundle. Bundle được build trên máy bạn và không có gì được upload. Bạn thấy từng file, những gì đã bị ẩn (secret, giá trị variable, token, password trong link, thư mục user của bạn và nhiều thứ khác) và những gì Never in a bundle.
- Chọn Download và gửi file zip cho người đang hỗ trợ bạn. Station tự xóa bản copy của nó sau một thời gian.

Những gì có thể sai

Bạn thấy	Cần làm gì
“Sign in first” trên trang Run	Đăng nhập trên Today bằng Sign in with Orbit.
“The sign-in page did not open?”	Chọn Open it here.
“You cannot run on this workload”	Bạn chỉ có quyền xem trên các environment của workload này. Xin Project Admin role QA Engineer, hoặc run grant cho environment restricted.
“Your account has expired”	Bạn có 3 ngày chỉ được xem. Nhờ Project Admin gia hạn account, rồi refresh config (Settings, Station, Refresh).
“Variables are missing” trên một run	Workload cần một variable hoặc secret chưa được đặt cho environment này. Nhờ Project Admin đặt giá trị, rồi chạy lại.
“The workload’s manifest has errors”	File `orbit.workload.yaml` của branch đó bị sai. Báo người viết workload, hoặc chạy branch khác.
Run kết thúc với `run-timeout`	Xem Cần làm gì khi run bị cắt ngang.
Một suite báo “Waiting for lease …” quá lâu	Một run khác đang giữ lock. Chờ, hoặc xem Running hay History.
Installing the workload failed	Mở Diagnostics từ card lỗi; Workload sources cho biết repository nào không đọc được. Xem Cài đặt Orbit Station.
Explorer liệt kê test cũ	Chọn Refresh from main.
Station · Offline và “Offline runs are not allowed now”	Không environment nào nhận run offline. Kết nối lại; Diagnostics, Network cho biết cái gì bị lỗi.
Sync có mục bị lỗi	Mở Sync và làm theo thông báo. Nếu vẫn còn lỗi, gửi text của Copy summary cho support.
Restart to update bị mờ	Đang có run chạy. Update chờ đến khi run kết thúc.

Các guide liên quan

Cài đặt Orbit Station: cài, enroll, gỡ.
Các tính năng run trên Station: run option, run song song, time limit, Refresh from main, account hết hạn.
Giải thích các quality metric: vì sao Station và Console có thể cho kết luận khác nhau.
Guide cho người viết workload: nếu bạn cũng viết test.
Guide cho QA Lead: quarantine, release và gate.
FAQ.