1. 개요
Beta Test어떠한 제품을 상용화하기 전에 실시되는 테스트로, 현재 제품이 지닌 결함, 결함 이외의 불편사항, 그 외 제품 상용화 시의 가치 등 종합적인 사항을 평가하는 단계이다. 이 단계까지 왔으면 제품 개발은 거의 끝난 셈이다.
체험단 모집 형식으로 베타 테스트를 진행하는 편이며 바로 다운받을 수 있는 소프트웨어 계열(게임 등)에서 베타 테스트가 널리 쓰인다. 이전에는 단순하게 공CD에 구워서 우편으로 나누어주기도 하였다.
베타 테스트를 통해 사용자들로부터 제품에 대한 다양한 의견을 수용하고 피드백을 주고받을 수 있다. 베타테스트의 궁극적인 목표는 '제품의 내구도 문제나 소프트웨어의 버그'가 아니라 '사용자마다 호불호가 갈리는 기능 자체'에 대한 사용자의 주관적 의견을 직접 듣는 것이다. 즉, 정말로 유저가 원하는 기능을 만들기 위해 베타 테스트를 시행한다.
베타 테스트를 거쳐 여러 상황이 연출된다.
- 한 번에 테스트를 바로 마치는 경우
- 변경점이 너무 많아 이것저것 고치다(갈아엎다)보니 여러 차례 테스트를 하는 경우
- 오히려 고친 것이 문제를 더 키우는 경우
- 상용 단계에라도 접어들지 못하고 베타 테스트만 마치고 소리소문 없이 사라지는 경우
-
베타 테스트 단계의 호평에 힘입어 야심차게 상용화를 했더니 처참하게 망하는 경우
설마 [[사이버펑크 2077|이녀석]]도출시하지 않는게 좋을뻔했다 - 베타 테스트만 하고 출시를 아예 안 하는 경우
- 오픈 베타면 몇 년 동안 하는 사실상 정식출시인 경우
5번은 대부분 상대적으로 상용화시보다는 자체적으로 인원수를 제한하는 경우가 많아서 운영진 측에서 주의를 기울여야 한다. 베타 테스트를 너무 과신할 수 없다. 유저의 의견은 중요하지만 유저'들' 만큼은 아니다.
여담으로 소프트웨어는 정식으로 발표된 제품부터 v1.0을 사용하는 불문율이 있다. # 참고로 이 경우 대개 v0.0~0.9 사이가 프리알파~알파, v0.9~1.0 사이가 알파~베타버전이 된다. # 물론, 모든 소프트웨어가 다 그런 것은 아니다.[1]
철도에서는 개통 전 시운전이 베타 테스트 역할을 하며 해당 구간의 열차가 출고되지 않았을 경우 다른 노선의 차량으로 진행한다.[2] 방송계에서는 파일럿이라는 일종의 베타 테스트를 진행하기도 한다.
베타 테스트 과정에 자발적으로 참가하고 개선 피드백을 보내는 유저를 베타 테스터라고 한다.
2. 단계
본래 알파/베타 테스트의 개념은 IBM으로부터 유래했으며 일반적인 순서는 다음과 같다. ## 참고로 나무위키의 특성상 아래의 서술들은 주로 온라인 게임에 편향돼 있을 수 있으니 주의할 필요성이 있다.
2.1. 프리 알파 테스트
Pre-Alpha Test(Pre-AT)사내에서도 오직 개발팀 내부에서만 진행되는 비공개 테스트다. 요구사항 분석, 소프트웨어 설계, 소프트웨어 개발, 유닛 테스트 등의 기초적인 작업이 이루어지는 단계로 엄밀히 말하면 프로그램을 테스트한다기보다는 개발을 하면서 테스트가 겸해지는 단계라고 볼 수 있다.
낙원: LAST PARADISE, Vindictus: Defying Fate처럼 몇몇 게임은 프리 알파 테스트 버전을 마치 데모처럼 오픈하여 진행하기도 했다. 자신감의 표현이나 마케팅의 일환일 수도 있지만 가장 큰 장점은 개발진 보다 실전적인 피드백을 수용할 수 있다는 점을 특징으로 갖는다. 실제로 링크된 두 게임의 경우 플레이어들에게는 기대감을 심어줌과 동시에 적지 않은 개선요소를 발굴한 바 있다. 어떻게보면 이 게임을 직접 소비할 당사자들을 통해 개발 방향을 참고할 수 있는 만큼, 개발 과정에서 충분히 공개가 가능한 부분들은 프리 알파 테스트 버전으로 잠시 공개하여 공격적으로 활용할 수 있을 것이다.
2.2. 알파 테스트
Alpha Test(AT)알파테스트란 어디까지나 사내에서만 진행되는 비공개 테스트로, 치명적인 오류가 발생해 아예 실행 자체가 되지 않는 경우도 많다. 따라서 먼저 개발팀이 직접 실행해 보고 그 다음에 QA팀 등 다른 직원들이 플레이해본다. 참고로 베타 테스트 문서에 있지만 베타 테스트가 아니다.
보통 인디, 소규모 개발사가 알파 빌드임에도 불구하고 많은 테스터들에게 피드백을 받기 위해 공개 알파 테스트를 가끔 실시하는 경우도 있다. 그래서 상술한 대로 치명적인 버그, 여러 막대한 미완성된 부분 등을 감안하면서 플레이해야 한다.
2012년부터 스팀 등의 플랫폼에서 몇몇 인디 게임사들을 중심으로 앞서 해보기란 이름으로 이 단계에서 게임을 팔기 시작하는 경우도 종종 있다. 인디 게임사에서는 개발 도중 자금을 조달받아서 좋고 유저 입장에서는 일찍 게임을 해 볼 수 있다면서 긍정적인 반응이 있지만 만들다 만 게임을 팔아먹다가 개발을 놔버리고 도망친다는 비판도 있다.
2.2.1. 포커스 그룹 테스트
Focus Group Test(FGT)사내 알파테스트를 통과한 작품을 회사가 고용한 제한된 유저층에게 테스트를 하는 것을 의미하며 일종의 프리 클로즈 베타 테스트로, 회사 외부에서 진행되는 비공개 테스트다. 알파테스트와 베타테스트의 중간단계에 있으며, 일단 각자의 집이 아닌 임의의 특정한 장소에 모여서 진행되며, 그로 인해 나름대로 전문적인 역량을 갖춘 약 10여명의 소수정예로만 진행된다는 점이 CBT와 다르다. 무려 아르바이트 형태로 일당도 받을 수 있다.[3] 참고로 회사 외부라는 것은 어디까지나 개념적으로, 어른의 사정상 테스터들이 물리적인 회사 내부로 들어가서 테스트를 진행하는 경우가 대부분이다. 물론 비밀유지서약과 임시통행증은 필수다.
게임의 코어 메카니즘이 완성된 상태. 쉽게 말하자면 일단 게임이 '돌아가기만' 하는 버전으로, 핵심적 컨텐츠 몇 가지 혹은 게임 엔진만 일단 완성시킨 상태가 이 단계에 해당한다. 철권으로 예를 들면 폴 피닉스 모양의 폴리곤으로만 플레이 가능하고 기술도 일단 붕권밖에 없는 단계 정도다.
비공개 테스트가 보통이고 전문 테스트 팀[4]이 주로 플레이하게 된다. 가끔 개발자의 친구 및 가족, 혹은 홍보용으로 몇몇 관계자(웹진 기자 등)에게 릴리즈되기도 하지만 아무래도 부정확한 응답을 받을 가능성이 높다. 주로 일단 릴리즈하여 회사의 초기반응/여론을 알아보기 위해서나 미디어 배포용[5] 기획의 실현 가능성, 적절성 여부를 알아보는 용도로 릴리즈한다. 필요 없을 때까지 여러 차례 할 수도 있다.
물론 예외적으로 거의 오픈 베타 수준의 작품을 테스트 팀에게 플레이를 시켜 그 플레이 영상을 공개하는 경우도 많다. 배틀필드 시리즈가 대표적인 사례다.
2.3. 비공개 베타 테스트
Closed Beta Test(CBT)알파테스트를 통과한 작품을 일반에게 공개하지 않고 회사가 선발한 제한된 유저층에게 테스트를 하는 것을 의미하며, FGT와의 차이점이라면, 비교적 다수의 대중들에게서 재능기부 및 열정 페이의 형태로 진행되며 특정한 공간이 아닌 비교적 넓은 에리어 내에서 진행된다.
개발이 완벽하게 되어 있지는 않았지만 장기적으로 서비스를 할 의도가 있는 작품의 완성도를 높이고, 유저들의 대략적인 반응을 살피기 위해 실시한다. 게임 홈페이지에서 CBT 신청을 한 사람들 중 소수 인원을 뽑아서 진행하게 된다.[6] 1번만 실시하는 경우보다는 여러 차례에 걸쳐 실시하는 경우가 많고 오픈 베타 테스트를 실시하기 전까지 간헐적으로 진행된다.
블리자드 엔터테인먼트에서는 대외적으로 '테크니컬 알파 테스트'라는 용어를 쓰지만 이것도 신청한 사람들에게만 무작위로 선정해서 테스트해 볼 수 있는 자격을 주기 때문에 엄밀히 말하면 알파 테스트가 아니라 클로즈드 베타 테스트이다. G-STAR 같은 게임쇼에서 열리는 시연회도 클로즈 베타 테스트의 일종이라고 볼 수 있다. 신작과 게이머의 소개팅(?)을 게임쇼가 주선하는 셈.
2.3.1. 프리 오픈 베타 테스트
Pre-Open Beta Test(Pre-OBT)'프리오베'로도 불린다. 대개 클로즈드 베타 테스트 다음에는 오픈 베타 테스트로 바로 넘어가지만 몇몇 부분유료화 온라인 게임은 오픈 베타 이전에 프리 오픈 베타 테스트를 한 번 더 거치는 경우가 있으며 후술할 스트레스 테스트의 목적을 가지기도 한다. CBT와의 차이점이라면 더 많은 인원에, 더 넓은 지역 범위에서 가능하며, 정해진 플레이 시간대가 없이 24시간 플레이가 가능한 경우가 많다. 당연히 특이사항 보고의무도 없다.
보통 비공개 외부테스트[7]이며 오픈 베타 테스트 직전에 실시하게 된다. CBT만큼 한정된 인원을 가지고 테스트할 수도 있고, 아예 신청자 대부분에게 테스트 자격을 부여하는 '사실상' 오픈 베타 테스트인 경우도 있다. 부분유료화 온라인 게임에서 오픈 베타 테스트의 의미는 게임 발매나 마찬가지의 단계이기 때문이다. 사전에 사람을 모으는것 뿐이지 신청자 대다수가 테스트를 할 수 있기 때문에 사실상 프리 베타나 오픈베타나 같은 말이다. 이런 방법을 택하는 이유는 사용자 DB 수집과
2.4. 오픈 베타 테스트
Open Beta Test(OBT)정식 출시 직전에 진행한다. 즉, 오픈 베타 테스트가 끝나면 곧이어 정식 출시다. 비공개 베타가 한정된 인원 대상으로 했다면, 오픈 베타는 대상 국가의 모든 사용자들이 제한없이 OBT에 참여할 수 있으며 OBT에서 향후 공개물이 어떤 평가를 받을지 유추하기도 하며 OBT에서 좋은 반응을 얻으면 정식 서비스 이후에도 사용자들이 잘 찾는다. 정액제 온라인 게임은 유료 상용화 직전에 1~2개월 정도 OBT를 실시하는 것이 보통이다.
따라서 상용화보다 더 중요한 가장 중요한 단계다. 게임 완성도가 높지 않은 상황에서 OBT를 실시하게 되면 게임의 낮은 완성도(잦은 랙, 엉망인 밸런스 등)로 인해 유저들이 등을 돌리게 되어 높은 확률로 망하게 되어 있다. OBT 때 유저들의 반응이 좋지 않으면 차후 패치로 게임의 완성도를 높이더라도 접속률이 반등하는 경우는 거의 없다.
정액제 게임에서는 정식 공개와 더불어 바로 유료화를 진행하는 경우 소비자가 이탈하는 경우도 있다.[8] 정액제 게임이 많지 않고 부분 유료화 게임이 더 많고 몇몇 게임은 아예 오픈 베타 테스트 때부터 유료 아이템을 판매하는 경우도 있기 때문에 이 단계에서는 사실상 게임 정식 서비스 출시인 경우가 많아지고 있다.
3. 그밖의 테스트
3.1. 스트레스 테스트
Stress Test오픈 베타 서비스 이전에 서버의 사용자 수용력이나 랙 정도를 측정하기 위해서 시험하는 것을 말한다. 원활한 테스트를 위해 스트레스 테스트임을 밝히지 않거나, (경품)이벤트를 하는 경우가 있다. 전술한 프리 오픈 베타 테스트와 목적과 시기가 유사한 경우가 많다.
3.2. 테스트 서버
줄여서 '테섭' 이라고 부르기도 하며 흔히 (폐쇄적인 인트라넷을 포함한) 온라인 프로그램의 컨텐츠 업데이트에 앞서 베타테스트를 진행하는 별개의 서버를 말한다. 공개물의 모든 단계에서 테스트 서버가 존재할 수 있으며 유료화 이후에도 테스트 서버를 공개적으로 운영해 지속적인 시험자들의 유입 효과나 정식 공개시의 결과를 모의한다. 퍼스트서버[9], PTR[10]이라는 별도의 이름을 내거는 게임도 있다.대개 정식 공개 이후 유료화된 게임에서 베타 테스트 서버는 무료인 경우가 많으므로 많은 유저들이 몰린다. 그러나 테스트가 주목적이므로 공개된 서버는 하나고 그마저도 새로운 업데이트나 오류 수정을 위해 공지 없이 지워지거나, 백섭[11]되는 경우가 많다. 대개의 게임 제공 회사들은 이용약관에서 그럴 경우 책임 없음을 규정하여 동의받는다. 자세한 사항은 테스트 서버 문서 참조.
3.3. 프리 론칭 테스트
Pre-Launching Test오픈 베타 테스트 이후에 하는 테스트라고 하지만 사실 이건 테스트가 아니라 그냥 소프트 런칭이다. 게임의 완성도는 사실 프리미엄 테스트 단계에서 벌써 끝난 경우가 많다. 오직 시장성만을 알아보기 위한 테스트로 사실상 그냥 오픈이나 다름없다. 따라서 이 단계가 있다면 이 뒤에 있을 하드 런칭은 앞의 프리 오픈과 구분하기 위해 그랜드 오픈이라는 쓸데없는 미사어구를 붙이는 경우가 대부분이다.
4. 의미의 변질
온라인 게임이 주류가 된 2000년대 들어서 한국 게임계에서 베타 테스트의 의미는 크게 변질되었다.베타 테스트는 테스터로부터 피드백을 수집하고 그 속에서 유의미한 피드백을 선별해 게임 개발에 반영하는 것이 궁극적인 목적이자 당연한 성격이다. 외국 게임 업체에서 개발하는 게임은 클로즈 베타 테스트를 했는지 안 했는지를 알 수 없을 정도로 클로즈 베타 테스트를 기업 비밀로 처리하여 진행하고 테스터들도 피드백 역량을 어느 정도 평가해서 선정한다. 그런데 한국 게임사는 이걸 단지 홍보용으로 미완성 게임을 잠시 플레이 하라는 정도로서 활용하고 있다. 사내 테스트나 전문 테스터에게 맡기는 클로즈 베타 테스트는 사실상 말만 클로즈드지 오픈 베타 테스트와 다를 바가 없는 것이 현실이다. 이처럼 베타 테스트가 제대로 활용되지 않는 것이 거의 관례처럼 굳어져서 테스트에 임하는 유저들도 진정성 있는 테스트를 하기보다는 단순히 게임을 즐기는 차원에서 끝나는 경우가 많다. 베타 테스트 계정을 사고파는 행위도 한다.[12] 아예 모두에게 공개한 오픈베타테스트임에도 불구하고, 클로즈 베타 테스트라고 우기는 등 단순히 개발진행도에 따라 클로즈 - 오픈을 구분하는 게임들도 있어서[13] 한국에서는 그 의미가 아예 없어지는 중이다.
거기에 테스트가 홍보성 이벤트로 변질되어 버리면서 쓸데없이 테스트를 많이 한다. 클로즈드, 클로즈드 오픈
클로즈 베타가 이 모양이니 오픈 베타 테스트의 의미는 사실상 게임 발매 단계나 마찬가지가 되어 버렸다. 절대다수가 부분유료화 게임이고 월 정액제 요금이 아니기 때문에 부분 유료화 게임은 정식 발매의 개념이 없기 때문이다. 오히려 정식 서비스처럼 현질도 가능하고 수익모델도 다 들어가 있는데도, 딱지만 베타라고 붙여놓고 버그나 문제점이 빈발해도 베타니까 괜찮다고 변명하는 수준이 되어 버렸다.
이 영향을 받아 해외 게임들도 오픈 베타 같지 않은 오픈 베타를 수도 없이 실시하고 있다. 거의 다 완성된 게임을 발매 직전에 오픈베타랍시고 일정 기간 체험할 수 있게 하는 것은 1990년대라면 데모 게임이라는 이름으로 홍보용으로 쓰였겠지만, 이제는 단순히 무료 체험용으로만 쓰이는 경우가 많으며 데모와 달리 베타니까 버그나 문제점이 많아도 나중에 고칠 거라고 변명하는 용도로 흔히 쓰인다.
4.1. 변질의 이유
요즘 트렌드로는 보통 오베는 정식발매일 1~2개월 전에 1/2주 정도 진행한다. 이게 왜 그렇냐면 어느정도 규모가 있고 스크럼 팀을 짜고 Agile로 개발진을 굴리는 회사라면 보통 1분기, 1/2분기별로 개발 스케쥴과 외주 계약을 끊기 때문이다. 보통 이런 6주 내지는 12/14주 스프린트 전에 4~12주가량을[14] 할애해 기획을 하고 아트 작업에 들어가는데, 보다시피 오베 기간이 발매 직후 스프린트를 기획/조율하는 기간이다. 이게 무슨 뜻이냐면 GAS모델을 차용한 개발사에서 오베를 했는데 뭔가 분위기가 심상치 않으면 외주사 계약 취소하고 개발진들은 일단 땜뻥만하고 다른 프로젝트로 돌리려고 그러는 거다. 테스트이긴 테스트인데 망겜 스멜이 나면 추가 개발 당장 중단하고 적당히 유지보수하다가 종료해서 돈을 뺀다는 의미의 테스트다.4.2. 유료 베타 테스트
정식 테스트는 아니고 베타 테스트를 거쳐 상용화 이후에도 제품의 퀄리티가 심히 저질일 때 돈내고 산 제품인데 마치 테스트 버전 같다고 비꼴 때 사용하는 단어. 특히 빠른 시일내에 출시되는 다음 버전에선 논란이 된 문제점이 상당히 개선돼서 초기 구매자만 엿되는 경우에 사용된다. 대표적으로 트리 오브 세이비어, 심시티(2013), 워크래프트 3 리포지드 등이 있다.여기서 더 나아가면 해외 서비스를 시작할 때 한국 서비스 중 나온 문제점을 상당수 개선해서 출시하거나 한국보다는 해외수익이 우선하기 대문에 해외 우선으로 패치를 적용하는 관례를 비꼴 때 쓰는 한국섭은 테스트 서버라는 소리도 있다.
DLC의 등장 이후, 정식출시된 제품들이 DLC를 위해 나사가 하나 내지 몇 개 씩 빠져있는 경우가 많아 이런 경우에도 자조적으로 유료 베타 테스트를 한다고 이른다.
유료 베타 테스트를 오픈 베타와 혼동하는 사람도 적지 않아 쓸때없이 키배가 벌어지기도 한다.
이러한 것은 당장에 게임의 홍보에는 즉각적인 효과를 나타낼 수 있을지 모르지만 게임의 완성도를 높이는 데는 하등의 도움도 되지 않는다. 게임사 측에서 QA팀과 같은 전문 테스트 조직을 동원해 테스트를 한다 해도 일반 유저의 유의미한 피드백을 받을 수는 없기 때문이다. 홍보를 목적으로 내어 놓는 베타 버전은 상당한 수준의 완성도를 확보한 뒤에 내 놓을 수밖에 없는데, 만일 그러한 상태에서 유저들이 어떤 콘텐츠나 시스템에 대해서 비판한다고 해도 게임 자체가 어느 정도 완성된 단계이기 때문에 그러한 피드백을 반영할지 말지 결정하는 것 자체가 게임사 입장에선 난감할 수 있다. 이렇게 유저의 입장에서 작성된 피드백이 반영되지 않은 게임이 오픈 베타 테스트에 접어들거나 상용화되면 기존에 나타나지 않았던(발견하지 못한) 문제들이 한꺼번에 터져나오는 것을 볼 수 있다. 여러 차례의 클로즈 베타 테스트를 거쳐 상용화 되었음에도 불구하고 버그나 게임 시스템적 문제가 있다거나 하는 식인 것이다.
베타 테스트 딱지만 붙이고 발매는 안하고 수년 동안 질질 끌다보니 정발했다고 착각을 일으키는 게임도 있다. 대표적인 게임이 Escape from Tarkov
스팀 등에서는 앞서 해보기로 아예 정식 도입했다. 드물게 성공적인 게임들도 있지만 대부분은 문제투성이다.
게임이 아닌 전자기기에서도 사례를 자주 찾을 수 있다. 발열도 심하고 속도도 안 나오는 초창기 4g, 5g 스마트폰. 서피스 프로 X와 갤럭시 북 S같은 ARM기반 윈도우 10 초기제품 등. 초기에 문제점이 많은 모델들을 그냥 시제품으로 내는 경우가 많다.
5. 나무위키에 등재된 베타 버전 목록
- One UI 베타 프로그램
- 스타크래프트/베타
- 마인크래프트/자바 에디션/업데이트/베타
- Windows 2000/개발
- Windows Me/개발
- Windows XP/개발
- Windows Vista/개발
- Windows 7/개발
- Windows 8/개발
- Windows 8.1/개발
- Windows Insider Program[15]
- Windows 10/개발
- Windows 11/개발
- Sky - 빛의 아이들/베타 테스트
6. 관련 문서
[1]
대표적으로
MariaDB이 있는데 개발 버전부터 버전넘버를 매기기 때문에 정식 버전이 되는 시점에서 이미 x.10을 넘어가 있는 경우가 다반사다.
[2]
극단적인 사례로 한큐 전철이 승객을 태운 채 개통 이전의
도카이도 신칸센에서 영업운전을 했던 적이 있다. 한큐 선로는 공사로 인해 사용할 수 없었고, 당시에는 0계 시운전이 시작되지 않았기 때문. 한큐는 운휴 없이 열차를 계속 운행할 수 있었고, 일본국유철도는 신칸센 선로에 대한 베타 테스트를 해 볼 수 있었으니 서로 윈윈인 셈이다.
[3]
물론 어마어마한 인건비를 감당하지 못하는 영세기업에선 시도하기 힘든 방식이라
포메스라는 대체 서비스도 등장했다.
[4]
게임으로 치면 게임을 실력으로 잘하는 사람들이 아니라, 버그와 예외사항을 잘 잡고 그걸 개발자가 알아듣게 설명할 수 있는 사람들이다.
[5]
이럴 때는 스크립팅이 된 일부분을 따로 짜서 주거나 약속된 플레이를 녹화하기만 하는 식으로 제한된다.
[6]
몇몇 게임들은 CBT에 참가할 수 있는 권한을 판매하는 식으로 CBT 신청을 받기도 한다. 주로 인디 개발사에서 자주 쓰는 자금을 모집하기 위한 방법 중 하나이다.
[7]
대상은 목적과 필요성에 따라 일반 사용자를 모으거나 전문적인
QA 인력을 활용하여 진행하기도 한다.
[8]
하지만 대부분의 상품의 경우 구매력 있는 소비자에 맞춰 기획, 진행되기 때문에 큰 타격은 없다. 게임의 경우 동시접속자가 줄어든다는 것이 흠. 약간의 언플용/회사 주주 혹은 투자자들에게 브리핑할 목적의 칭찬받을 거리가 줄어드는 것이다.
[9]
던전앤파이터
[10]
선행 테스트 지역, Public Test Realm/Region의 약자. 대표적으로
월드 오브 워크래프트를 필두로 한 블리자드 게임.
[11]
서버가 처음 혹은 특정 시점으로 돌아가는 경우. 게임에서 아이템을 잃거나 마지막에 방문했던 지역을 벗어나거나, 퀘스트/사냥을 하지 않은 상태로 돌아가는 것이다.
[12]
이러한 행위는 결국 그 게임을 좀 먹는 것이라 할 수 있다. 클로즈 베타건 오픈 베타건 게임에 도움이 될 수 있는 유의미한 테스트, 피드백 능력을 지닌 사람이 테스트에 신청하는 것이 좋다.
[13]
심한 경우 첫 테스트를 프리 알파 테스트라고 부르는 만행을 저지르기도 한다.
[14]
1개월~1분기로, 아티스트가 스프린트 중에 수평으로 작업 하느냐, 아니면 아트 애샛 제작 완료하고 수직으로 스프린트에 들어가느냐에 따라 다르다.
[15]
Windows 10과 11의 최초 버전 개발뿐만이 아닌 모든 버전 업그레이드 관련 내용도 같이 서술되어 있다.