--- 日本語 OO.o の QA に関わっていらっしゃる皆様へ -------
先日ご案内させて頂いた Andre からの TCM release sanity シナリオですが
ちょっと、日本語での説明が不足していたような気がしてきました。
背景説明無しにスモークテストに変わるかもとか言ってもぴんと来ませんよね。
すみません。
そこで改めて、背景を説明させて頂きます。
-. TCM のシステム自体、以前ここでテスターの方を募集して利用していたときから
新しくなっています。主な違いは、今まで Writer-1, Calc-1 などカテゴリ
と呼んでいたテスト単位を、シナリオと呼ぶ単位に変更していることです。
-. テストシナリオというのはカテゴリに入っているテストケースを自由に組み
合わせた単位で
例えば今回の release sanity というのは、すでにある Writer-1 や Overall-1
といった
カテゴリに含まれていたテストケースから基本的なケースを抜き出してまとめた
ものです。
(今までの Writer-1 や Calc-1 はそれぞれ Writer-1 all test cases
Calc-1 all test cases というシナリオとして利用できます。また testtool を
使用する
Automation カテゴリが追加されています。)
-. これにより例えばすべてのテストケースから特に日本語に関係するような物を
まとめて、Japanese specific などというシナリオを作成することも出来ます。
で、今回提案されている release sanity というシナリオは、最低限のチェック
をすることで
特に RC ビルドにストッパーになるようなバグがないか検査することを目的とし
ています。
つまり、開発途中になるべく多くのバグを発見すると言うことを目的とした物で
はありません。
最低限といっても testtool によるテストケースが含まれていたり、個人的には結構
使える物のように感じています。
くどいようですが、QA には基本的に以下の二種類の物があります。
1. 次(今後) のリリースで修正すべきバグを洗い出すための物
2. RC (リリース候補) または Beta といった公式にリリースするためのビルド
に対して
リリースに耐えないような大きな問題がないかどうかチェックするための物
で、今まで OO.o QA community では基本的に 1 は TCM のテストケースで、2.
は Smoke Test
で行ってきたわけですが、2. に関してもテスターのアサインや結果報告などすべて
TCM でやりたいという要望が前々から上がっていて、それに対する解として
(2 をカバーする物として) 今回の release sanity シナリオが提案されている
というわけです。
で、これらの事を実際に運用するかどうかは NL コミュニティーで合意、決定され
るべき事だと思いますので、いままでの方法の方がいいなどの意見を含め是非
QA に関わっている皆さんの意見をお聞かせいただければと思います。
例えば日本語に関しては ja specific シナリオを作って release sanity + ja
specific
で 2. のテストを行うべきだとか。
また、この方向性を日本のコミュニティーでも受け入れようという流れになった場合
今までのスモークテストのように、どなたかとりまとめ (TCM でのテスターアサ
インなど) を
していただける方がいらっしゃったら是非その方に TCM でそれらの管理をする
権限を
持って頂きたいと思っています。
不明な点ありましたら、遠慮無くお知らせください。
石村
--- Begin Message ---
QA に関わっていらっしゃるみなさん、こんにちは。
OO.o の QA Lead Andre Schnabel さんが TCM のシナリオ (以前の TCM の
Writer-1 とか
Impress といったカテゴリに相当するテスト単位) "OOo release sanity" を提案
しています。これは最低限のサニティチェックを目的とした物で Smoke Test の
代わり
といってもいいかもしれません。rc の受け入れ検査に関しては今後これを元に
行われるように
なる可能性があります。
http://www.sunvirtuallab.com/tcm2/opensource/tcm_login.cgi?tcm_config=newooo
から ja_guest / 123 でログインして、"2. Test Scenario maintenance" ->
"OOo release sanity" で内容を見ることが出来ます。
(テストケースが英語で出てしまうのはバグだと思われます)
現在コメントを求めている段階ですので、最低限これもやった方がいいなどコメ
ントありましたら
お願いします。
石村
--- Begin Message ---
Hi,
I'v created a new scenario in TCM, called "OOo release sanity". I'd like to use
this as the absolut minimum of tests, that a build needs to pass to be approved for
release.
This should help in situations like we have with 2.0.3:
- a series of RC's has already been tested
- a small amount of stoppers needs to be fixed
- running the full tests again would take a lot of time
- running no tests at all would break our QA policy
I'm not shure, what test cases should be put to the scenario. The current set
is my first attemt .. and as always, at the one hand it seems not enough to be
shure we have no bugs .. at the other it seem to be to many tests to be able to
go through the scenario quickly.
Comments are welcome (no problem, if they would take some time, I know, native
lang teams are still busy with 2.0.3 testing).
andré
---------------------------------------------------------------------
To unsubscribe, e-mail: [EMAIL PROTECTED]
For additional commands, e-mail: [EMAIL PROTECTED]
--- End Message ---
--- End Message ---
---------------------------------------------------------------------
To unsubscribe, e-mail: [EMAIL PROTECTED]
For additional commands, e-mail: [EMAIL PROTECTED]
