Bỏ qua để đến nội dung

Guide cho Project Admin

Trang này liệt kê công việc của Project Admin và chỗ của từng việc trong Project settings. Lần setup đầu tiên của một project có guide riêng; trang này nói về những việc tiếp theo.

  • Project Admin: người setup và quản lý một project.
  • System Admin, vì họ có mọi permission của Project Admin trên mọi project. Các việc riêng của họ nằm trong Guide cho System Admin.

Project Admin làm được mọi việc của QA Lead (xem Guide cho QA Lead), và thêm: quản lý environment và run grant, variable và secret, workload, integration và user, xóa artifact của run, xóa release và cycle, và reset test data. Bảng đầy đủ nằm trong User và role.

  • Bạn cần role Project Admin trong project.
  • Chọn project trong project switcher ở đầu trang, rồi mở Project settings (mục cuối cùng của menu).
  • Với project mới, bắt đầu từ Onboard project của khách hàng vào Orbit: guide này đi qua environment, repository, config, user và run đầu tiên bằng Guide me.
Phần Chứa gì Ai thay đổi
Overview Checklist setup, Guide me, Details của project, và vùng nguy hiểm Test data. Details: System Admin. Reset: Project Admin và System Admin.
Environments Các hệ thống được test, health, maintenance và run access của chúng. Project Admin
Workloads Các repository test, nơi chúng được chạy, profile override, upload artifact và nhu cầu account. Project Admin (profile override: cả QA Lead)
Variables and secrets Các giá trị mà test đọc, theo project, environment hoặc repository. Project Admin
Test accounts Các account đăng nhập dùng chung, mỗi lần chỉ lease cho một run. Project Admin
Integrations Jira, Microsoft Teams và AI cho project này. Project Admin
People Ai ở trong project và với role nào. Project Admin
Data reset Xóa run history; danh sách các lần reset trước. Project Admin (System Admin có thêm level)

Mọi member đều mở được Project settings. Phần nào bạn không được thay đổi sẽ ghi rõ, kèm tên những người cần hỏi.

Project settings, Overview: số bước bắt buộc đã xong, Guide me, Export configuration và danh sách các bước

Overview, Details hiển thị Name, Short name, Time zone, Keep artifacts for và Customer. Time zone quyết định khung thời gian của release và ngày trong report. Retention quyết định khi nào trace, screenshot và video bị xóa (kết quả vẫn giữ). Chỉ System Admin thay đổi được các giá trị này; nếu có gì sai, hãy hỏi một System Admin.

Mở Project settings, Environments.

  1. Chọn Add environment (hoặc Edit trên một dòng).
  2. Điền Name, Kind (Development, QA, Staging, UAT hoặc Production-like), Time zone và, nếu muốn, Health check URL.
  3. Trong Advanced: Short name (dùng trong link và trong manifest của repository; không đổi được sau khi tạo) và Offline grace (days): Station được chạy bao lâu mà không kết nối tới Console. 0 là tắt offline run cho environment này.
  4. Đánh dấu Restricted cho environment gần với production: chỉ Project Admin được chạy ở đó, cùng những người có run grant.
  5. Chọn Add environment (hoặc Save environment).

Trên panel Edit của environment, phần Run access: chọn một người trong Grant someone… rồi chọn Grant. Revoke thu hồi grant. Thay đổi đến Station của họ trong vòng 5 phút. Chỉ người có role QA Engineer trở lên mới được cấp grant. Xem thêm trong User và role.

Mỗi dòng hiển thị health của environment: Up, Degraded, Down, Unknown hoặc Maintenance. Health lấy từ các Station đang rảnh, từ lúc bắt đầu run và từ một probe tùy chọn của Console. Unknown nghĩa là không ai check trong 30 phút gần nhất, không phải environment bị down. Environment bị down không block run.

Chọn chip health để mở chi tiết: sample của 30 ngày, theo từng site, và các incident. Ở đó Project Admin có thể:

  • đặt threshold Slow above (ms) và đánh dấu Probe from the Console too, rồi chọn Save settings;
  • bắt đầu một khung maintenance: chọn Until (tối đa 14 ngày) và một Note, rồi chọn Start maintenance. Trong thời gian đó, environment hiển thị Maintenance, không có incident nào được mở và không ai nhận notification. End maintenance kết thúc sớm.
  • Archive ẩn environment: Station không còn đưa ra environment này và không có run mới nào bắt đầu trên đó. Run, cycle và report của nó vẫn hiển thị. Restore đưa nó trở lại.
  • Delete xóa một environment chưa được dùng cho việc gì. Nếu nó vẫn còn run hoặc record khác, Orbit liệt kê chúng và đề xuất archive thay vì xóa.
  • Reset test data of this environment… xóa run history của nó (xem Reset test data).
  • Remove environment… gỡ environment cùng mọi thứ bên trong. Chỉ System Admin làm được: xem Gỡ một project hoặc một environment.

Một workload là một repository test. Mở Project settings, Workloads.

  • Add a repository đăng ký một repository mới. Các bước, việc check repository và manifest nằm trong Onboard project của khách hàng vào Orbit.
  • Mỗi workload hiển thị repository, branch và team sở hữu nó. Tên và team lấy từ manifest và đi theo version mới nhất của manifest.

Trên mỗi workload:

Phần Làm gì
May run on Đánh dấu các environment mà workload được chạy.
Tracked ref Branch mà danh sách test (catalog) đi theo; mặc định là default branch của repository. Run trên branch khác vẫn được tính là kết quả bình thường nhưng không thay đổi danh sách test. Change tracked ref đặt một branch khác.
Refresh dependencies Hiển thị khi workload cài các repository private. Dùng một lần sau khi đăng ký workload, và dùng lại khi lockfile của nó có thêm một repository private.
Profile overrides Mỗi profile của manifest chạy thế nào trên từng environment: Projects, Grep, Workers, Retries và Timeout (min). QA Lead cũng thay đổi được.
Artifact uploads Station upload những file nào (HTML report, Station log (redacted), Traces, Videos, Screenshots, Other attachments): Always, Failed and flaky tests hoặc Never. Use the default quay về policy mặc định. Chọn Save policy.
Archive / Restore Station không còn đưa ra workload đã archive và không có run mới nào bắt đầu. Execution và test của nó vẫn hiển thị.
Delete Xóa một workload chưa có history. Nếu nó đã có run, Orbit đề xuất archive thay vì xóa; nếu các run phải biến mất, hãy reset test history của nó trước.

Bên dưới danh sách, Account needs cho biết mỗi workload cần những test account nào trên từng environment (xem Test account).

Người viết test: xem Workload author guide.

Mở Project settings, Variables and secrets.

  1. Chọn scope trong Applies to: “Whole project (every environment)”, “Environment X (every repository on it)” hoặc “Repository R on X (only this repository)”. Giá trị của repository override giá trị của environment, và giá trị của environment override giá trị của project.
  2. Trên Variables, nhập các giá trị mà manifest yêu cầu và chọn Save variables. Variable là giá trị thường, member của project đều xem được.
  3. Trên Secrets (chỉ có ở scope environment hoặc repository), chọn Set value, nhập giá trị và chọn Save value. Secret là write-only: không ai đọc lại được. Add a custom secret thêm một secret không có manifest nào yêu cầu.
  4. History and changes cho biết ai đã thay đổi gì.

Đặt password và token vào Secrets, không bao giờ vào Variables. Các rule đầy đủ, và cách xử lý khi một secret bị nhập nhầm thành variable, nằm trong Onboard project của khách hàng vào Orbit.

Environments, Workloads by environment cho biết mỗi workload đã có đủ variable và secret mà manifest mới nhất của nó cần trên từng environment hay chưa.

Nhiều test phải đăng nhập vào hệ thống được test. Khi nhiều run chạy cùng lúc, chúng không được dùng chung một account. Orbit giữ một pool account cho mỗi environment và role, và mỗi lần chỉ lease một account cho một run.

Mở Project settings, Test accounts. Chọn environment ở đầu trang. Phần này có bốn tab: Accounts, Live leases, Lease history và Workload needs.

  1. Trên Accounts, chọn Add account.
  2. Chọn Environment và Role (ví dụ approver), rồi nhập Username. Thêm Label (optional) dễ nhận ra, ví dụ “Approver 2”.
  3. Nhập password vào Password (optional) và Type it again. Password là write-only: không ai đọc lại được. Nếu không có password, run không lease được account này.
  4. Tùy chọn đặt Password expires on (optional) để Orbit cảnh báo trước khi password hết hạn.
  5. Chọn Add account.

Trên một account, Manage có Edit, đặt password mới (Save password; run đang giữ account vẫn dùng password cũ cho đến lần lease tiếp theo), Mark locked out, Disable, Mark active, Archive và Restore. Force release giải phóng một account mà run vẫn đang giữ.

  1. Trên Workload needs, chọn workload và chọn Add role.
  2. Chọn Role và số Accounts mà một run cần. Alias là tùy chọn: chúng đổi tên các variable mà test đọc.
  3. Chọn Save needs.

Workload không khai báo nhu cầu thì vẫn dùng secret của environment như trước. Station cũ hơn 0.7.0 không chạy được workload khi workload đó cần account trên một environment, nên chỉ khai báo nhu cầu sau khi mọi Station chạy workload đó đã được update.

Live leases cho biết run nào đang giữ account nào ngay lúc này. Station renew lease mỗi 30 giây; lease không được renew sẽ kết thúc trong vòng 2 phút. Lease history giữ 90 ngày.

Mở Project settings, People. Ở đó bạn thêm một người (Add person), thay đổi role hoặc expiry của họ (Edit), và gỡ họ (Remove). Project tự giữ một managed team cho mỗi role. Các bước và giới hạn nằm trong User và role.

Cần biết:

  • Bạn cấp được role tối đa bằng role của mình, và không tự thay đổi chính mình được.
  • Không gỡ được Project Admin cuối cùng.
  • Bạn tạo được tối đa 10 account mới mỗi ngày; chọn người đã có account thì không bị tính.
  • Account mới do bạn tạo luôn có expiry, tối đa 365 ngày kể từ hôm nay.
  • Người được thêm qua một team tạo thủ công hiển thị “via team …”: nhờ một System Admin thay đổi họ.

Với người không đăng nhập được, bị mất authenticator hoặc đã nghỉ việc, xem Xử lý sự cố account của user và hỏi một System Admin.

Hai setting quyết định mọi người nhận được gì:

  1. Theo project, trong Quality settings (mở Failures, menu ⋯, Quality settings), phần Notifications: những error mới, pass rate giảm và flaky tăng nào đáng gửi notification. QA Lead và Project Admin thay đổi được. Xem Guide cho QA Lead.
  2. Theo từng người, trên Notifications, tab Settings: mỗi người đánh dấu In Orbit và By email cho từng loại.

Email chỉ đến được khi System Admin đã setup email trong Admin, System, Email. Message Teams đi qua integration của project (bên dưới).

Mở Project settings, Integrations. Chỉ Project Admin config được integration.

  1. Trong Jira Cloud, điền Jira site (địa chỉ Jira của bạn), Account email và API token của account Jira mà Orbit dùng.
  2. Chọn Save Jira settings, rồi Test connection.
  3. Chọn Jira project và Issue type từ danh sách (Type it instead nếu Jira không liệt kê được).
  4. Tùy chọn thêm Labels (“orbit” luôn được thêm), Components, và một priority Jira cho mỗi priority của test.
  5. Tùy chọn đánh dấu Create an issue automatically for a new error signature, giới hạn theo một số priority của test và kind của environment. Orbit giữ một issue cho mỗi error.
  6. Chọn Save Jira settings.

Sau đó QA Lead tạo issue từ các kết quả fail. Token được lưu và không bao giờ hiển thị lại; để trống ô này nếu muốn giữ token cũ.

  1. Trong Teams, tạo một Workflows webhook cho channel và copy URL của nó.
  2. Trong Microsoft Teams, chọn Add a Teams channel. Điền Channel name và Workflows webhook URL.
  3. Đánh dấu các event cần gửi, ví dụ “A P1 test failed”, “A quality gate failed”, “A risk was proposed”, “A failure group passed its SLA” hoặc “An environment went down (once per incident)”. Only for (empty = all) giới hạn channel theo một số kind của environment và priority của test. Daily digest gửi một bản tóm tắt mỗi ngày vào Digest time.
  4. Bật Channel on, lưu, rồi chọn Send a test message.

Các message cùng loại trong vòng 15 phút được gộp thành một. Recent deliveries liệt kê những gì đã gửi; Retry now gửi lại một message bị lỗi. QA Lead cũng có thể gửi report theo lịch vào một channel.

Trong AI features, Use AI with this project’s data bật hoặc tắt AI diagnosis, summary và assistant cho project này. Tính năng này chỉ hoạt động khi System Admin đã bật AI cho Orbit.

Đôi khi run history bị sai: run thử, setup bị lỗi, demo trước go-live. Project Admin có thể xóa run history của cả project, của một environment hoặc của một workload, và giữ nguyên config.

  1. Mở Project settings, Data reset (hoặc Overview, Test data), và chọn Reset test data….
  2. Chọn Scope (Whole project, một Environment hoặc một Workload) và đọc What is removed và What is kept.
  3. Chọn Reason và xác nhận.

Dữ liệu biến mất khỏi mọi danh sách ngay lập tức và bị xóa hẳn sau 7 ngày. Trước thời điểm đó bạn có thể cancel. Các bước đầy đủ, export và những gì người khác thấy nằm trong Reset test data. Gỡ cả một project hoặc environment là việc của System Admin: Gỡ một project hoặc một environment.

Bạn thấy Lý do Cần làm gì
“Only Project Admins open …” trên một phần Role của bạn trong project này thấp hơn. Hỏi một trong những người mà trang nêu tên.
Các field của Details chỉ đọc Chỉ System Admin thay đổi được thông tin project. Hỏi một System Admin.
Một workload không có trên Station Workload đã bị archive, hoặc chưa được đánh dấu trong May run on cho environment đó. Restore workload hoặc đánh dấu environment.
Run fail vì thiếu một giá trị Một variable hoặc secret mà manifest cần chưa được đặt trên environment đó. Xem Workloads by environment trên Environments, rồi điền vào Variables and secrets.
“The Station could not read a repository the workload needs” Không đọc được một repository private mà workload cài. Chọn Refresh dependencies trên workload. Nếu vẫn lặp lại, hỏi một System Admin.
Run chờ account Mọi account của role đều đang bị lease, bị locked out hoặc bị disable. Xem Live leases; thêm account hoặc Force release một lease bị kẹt.
Hệ thống được test từ chối một test account Password của nó đã hết hạn hoặc đã bị đổi. Đặt password mới cho account; đánh dấu active lại.
Test connection của Jira fail Sai site, email hoặc token, hoặc token đã hết hạn. Tạo API token mới trong Jira và lưu lại.
Message Teams không đến Webhook URL đã đổi hoặc channel đang tắt. Xem Recent deliveries, sửa URL, rồi chọn Retry now.
Không ai nhận được email Email chưa được setup cho Orbit, hoặc mọi người đã tắt email. Nhờ một System Admin kiểm tra Admin, System, Email.
Xuất hiện một error code Xem ý nghĩa và cách xử lý. Error codes reference.

Thêm câu trả lời: Câu hỏi thường gặp.

Giá trị Tìm ở đâu Secret?
Jira site, project key và issue type Jira của bạn; Integrations, Jira Cloud Không secret
Jira API token Tạo trong Jira cho account mà Orbit dùng Secret. Lưu trong password manager. Orbit lưu token và không bao giờ hiển thị lại.
Teams Workflows webhook URL Teams, Workflows của channel Secret. Ai có URL đều post được vào channel.
Username, role và environment của test account Test accounts, Accounts Không secret
Password của test account Từ owner của hệ thống được test Secret. Lưu trong password manager; Orbit không bao giờ hiển thị lại.
Giá trị secret (password, token, key) Từ owner của chúng Secret. Lưu trong password manager trước khi nhập vào Orbit.
Tên các variable và secret theo từng environment Variables and secrets Không secret