ngx_mruby v2.7.6
更新前に確認する挙動の変更
Section titled “更新前に確認する挙動の変更”HTTPのログハンドラからの出力
Section titled “HTTPのログハンドラからの出力”アドバイザリ:GHSA-r6wq-r8rh-6rc3
- 変更前:ログハンドラが
Nginx.rputsやNginx.echoに渡した文字列が、応答本文の後に送信されることがありました。 - 変更後:両メソッドは従来どおり引数を変換し、応答には何も書き込みません。呼び出しが成功すると、スクリプトはそのまま次の処理に進みます。
- 変更の理由:
- 不具合:共通のハンドラ終了処理が、nginxがリクエストを解放する段階で出力チェーンを送信することがありました。
- 前の挙動を残せなかった理由:同じ接続で余分なバイトが次の応答として読まれることがありました。
- ドキュメントが示していた挙動:ログディレクティブは、リクエスト処理の最後にログを記録するために実行されます。
- 影響の範囲:ファイル形式とインライン形式のHTTPログハンドラ、およびそこから呼ぶメソッド内での出力です。
- 必要な対応:ログの記録には
Nginx.logを使い、応答本文はコンテンツハンドラで書き込んでください。 - このリリースで変わらない挙動:引数の変換時に起きる例外と、通常のコンテンツハンドラからの出力です。
SSIサブリクエストでのmrubyのcontentハンドラやボディフィルタの出力
Section titled “SSIサブリクエストでのmrubyのcontentハンドラやボディフィルタの出力”アドバイザリ:GHSA-79vp-37cx-547v
- 変更前:サブリクエストでmrubyのcontentハンドラ(
Nginx.rputs、Nginx.echo、Nginx.send_header)やmrubyのボディフィルタが出力する内容が、親リクエストの応答をサブリクエストの出力で終わらせることがありました。HTTP/1.1では、chunkedフィルタが応答の終端を示す0チャンクを応答の途中で出してしまい、長さで応答を区切って読むリーダーは1つの応答を2つとして読んでいました。HTTP/1.0のときや、親がContent-Lengthを使うときは、親の応答がサブリクエストのバイトで途中で切れ、接続が閉じました。mrubyのボディフィルタを持つサブリクエストが静的ファイルを読むときは、親リクエストがsend_timeoutまで止まりました。 - 変更後:サブリクエストは、nginx自身のハンドラと同じに、最後のバッファを
last_in_chainで(空のバッファではsyncも)閉じます。親の応答は、親リクエスト自身の最後のバッファで終わります。静的ファイルの経路でも、親リクエストは止まりません。 - 変更の理由:
- 不具合:ngx_mrubyの応答の確定処理は、どのチェーンでも
last_bufを立てていました。last_bufは親リクエストでのみ正しく、サブリクエストでは誤りです。nginxのchunkedフィルタ、Content-Lengthのフレーミング、ボディ終端の検出は、last_bufで動きます。 - 前の挙動を残せなかった理由:サブリクエストの
last_bufが親の応答を早く終わらせていました(chunkedの分割、Content-LengthやHTTP/1.0の応答の途中での切断で、共有している接続では別の応答として読まれます)。ボディフィルタの経路では、親リクエストがsend_timeoutが切れて接続が閉じるまで止まっていました。 - ドキュメントが示していた挙動:2.7.5のNginx.rputsとNginx::
Filter は、サブリクエストの出力と親の応答の関係について、何も書いていませんでした。
- 不具合:ngx_mrubyの応答の確定処理は、どのチェーンでも
- 影響の範囲:mrubyのcontentハンドラが
Nginx.rputs、Nginx.echo、Nginx.send_headerを呼ぶか、mrubyのボディフィルタが本体を作るlocationで、別のlocationがSSIの<!--# include virtual=... -->やほかのサブリクエストで取り込む構成です。 - 必要な対応:ありません。サブリクエストの出力は、親の応答の一部として正しく並ぶようになりました。
to_sが無いか、例外を出すか、String以外を返す値をmruby_setやNginx::Varに渡しても、ワーカーが終わらなくなります(#768)
Section titled “to_sが無いか、例外を出すか、String以外を返す値をmruby_setやNginx::Varに渡しても、ワーカーが終わらなくなります(#768)”- 変更前:ngx_mrubyは、Stringでない値を
to_sで変換し、その結果を型を確かめずにStringとして使っていました。mruby_setかmruby_set_codeのコードが返した値については、mrubyがto_sの例外を出さずに返す場所でto_sを呼んでいました。to_sがString以外を返すと、Nginx::Async.sleepの前でも後でも、ワーカープロセスがセグメンテーション違反で終わりました。BasicObjectのようにto_sの無い値と、to_sが例外を出す値では、ngx_mrubyは例外のオブジェクトをStringとして読み、例外はワーカーのmrb_stateに残りました。そのリクエストは500になるか応答が無く、ワーカーが次に動かすmrubyのハンドラは、同じリクエストでも後のリクエストでも、その例外で失敗して500を返すことがありました。Nginx::VarのセッターであるNginx::Var#<name>=と、Nginx::Var#setは、to_sがString以外を返す値を受け取ると、ワーカープロセスを終わらせました。Nginx::Var#setに名前として同じ値を渡した場合も同じでした。to_sが無いか例外を出す場合は、この2つのメソッドはその例外を出していました。この挙動は変わりません。 - 変更後:
mruby_setとmruby_set_codeの値を変換できないとき、ngx_mrubyはコードが例外を出した場合と同じに扱います。コードがNginx::Async.sleepで待つ前なら、ngx_mrubyは例外をログに書き、変数を空の文字列にして、リクエストを続けます。sleepの後なら、ngx_mrubyは例外をログに書き、リクエストは500になります。to_sがString以外を返すとき、ログに書く例外はTypeErrorで、メッセージは... cannot be converted to Stringです。to_sが無いときはNoMethodErrorを書き、to_sが例外を出すときはその例外を書きます。Nginx::VarのセッターとNginx::Var#setは、to_sがString以外を返すとTypeErrorを出し、変数の値を変えません。後のハンドラに例外は残りません。 - 変更の理由:
- 不具合:ngx_mrubyは
to_sの結果を、型を確かめずにStringとして読んでいました。さらにmruby_setのハンドラの終わりでは、Rubyのコードの外でto_sを呼んでいました。そこでは、to_sが無いか例外を出しても、mrubyは例外を出さずに例外のオブジェクトを返します。同じ変換をnextで直した#735のレビューで、この不具合が見つかりました。 - 前の挙動を残せなかった理由:前の挙動では、ワーカープロセスが同じワーカーのほかのリクエストと一緒に終わるか、後のハンドラが自分のものでない例外で失敗しました。変数にはStringが要り、このような値からはStringを作れません。そこで、このコードの例外としてngx_mrubyが既に扱っている方法で、この値を扱うことにしました。
- ドキュメントが示していた挙動:2.7.5のmruby_set and mruby_
set_ とNginx::code Var は、Stringでない値について何も書いていませんでした。mruby_setの説明は、コードが例外を出した後に変数とリクエストがどうなるかを書いていました。このリリースは、その扱いをこれらの値に当てます。
- 不具合:ngx_mrubyは
- 影響の範囲:
to_sが無いか、例外を出すか、String以外を返す値を返すコードを持つmruby_setとmruby_set_codeです。to_sがString以外を返す値か名前を、Nginx::VarのセッターやNginx::Var#setに渡す呼び出しも含みます。 - 必要な対応:
mruby_setのコードからは、String、nil、to_sがStringを返す値のどれかを返してください。Nginx::Varにも同じ値を渡してください。ほかの値を返すか渡すコードは、2.7.5でも動いていませんでした。ワーカーが終わるか、ハンドラが失敗していました。 - このリリースで変わらない挙動:String、
nil、Integer、to_sがStringを返すほかの値から変数に入る値は、前と同じです。Nginx::Varの呼び出しでto_sが無いか例外を出したときに出る例外も、前と同じです。
引数のto_sがString以外を返すと、Nginx.rputs、Nginx.echo、Nginx.redirect、Nginx::Filter#body=がTypeErrorを出します(#775)
Section titled “引数のto_sがString以外を返すと、Nginx.rputs、Nginx.echo、Nginx.redirect、Nginx::Filter#body=がTypeErrorを出します(#775)”- 変更前:
Nginx.rputs、Nginx.echo、Nginx.redirect、Nginx::Filter#body=、Nginx::Filter#outputは、Stringでない引数をto_sで変換していました。その結果を、型を確かめずにStringとして使っていました。to_sがIntegerを返すと、ワーカープロセスがセグメンテーション違反で終わりました。同じワーカーのほかのリクエストも、一緒に止まりました。to_sがString以外のオブジェクトを返すと、これらのメソッドはそのオブジェクトのメモリをStringとして読みました。to_sが無いか例外を出す場合は、これらのメソッドはその例外を出していました。この挙動は変わりません。 - 変更後:引数の
to_sがString以外を返すと、これらのメソッドはTypeErrorを出します。メッセージは... cannot be converted to Stringです。#768以降のNginx::Varのセッターと同じ例外です。スクリプトのほかの例外と同じに、この例外でもハンドラは終わります。スクリプトはrescueでこの例外を捕まえられます。捕まえなければ、ngx_mrubyは例外をログに書き、リクエストは500になります。どの場合も、メソッドは何も書き出さず、リダイレクトもしません。フィルタのボディも変わりません。 - 変更の理由:
- 不具合:これらのメソッドは、
to_sの結果を型を確かめずにStringとして読んでいました。#768はmruby_setとNginx::Varで同じ読み方を直しました。そのテストを書いたときに、これらのメソッドにも同じ読み方が見つかりました。 - 前の挙動を残せなかった理由:前の挙動では、ワーカープロセスが同じワーカーのほかのリクエストと一緒に終わるか、Stringでないメモリを読みました。これらのメソッドにはStringが要り、このような値からはStringを作れません。そこで、同じ値に
Nginx::Varのセッターが出す例外を、これらのメソッドも出すことにしました。 - ドキュメントが示していた挙動:2.7.5のNginx.rputsは、Stringでない引数を
to_sで変換すると書いていました。to_sがString以外を返す場合は、何も書いていませんでした。Nginx.echo、Nginx.redirect、Nginx::Filter#body=のドキュメントは、Stringでない引数について何も書いていませんでした。
- 不具合:これらのメソッドは、
- 影響の範囲:
to_sがString以外を返す引数を渡す、Nginx.rputs、Nginx.echo、Nginx.redirect、Nginx::Filter#body=、Nginx::Filter#outputの呼び出しです。 - 必要な対応:これらのメソッドには、String、
nil、to_sがStringを返す値のどれかを渡してください。ほかの値を渡すコードは、2.7.5でも動いていませんでした。ワーカーが終わるか、Stringでないメモリを読んでいました。 - このリリースで変わらない挙動:String、
nil、to_sがStringを返すほかの値を渡したときの出力は、前と同じです。to_sが無いか例外を出したときにこれらのメソッドが出す例外も、前と同じです。
mrubyのヘッダフィルタの有無にかかわらず、前のハンドラがNginx.rputsで書いた後、1回の書き込みで送れないproxyの応答で、mrubyのボディフィルタが1回だけ動くようになります(#786)
Section titled “mrubyのヘッダフィルタの有無にかかわらず、前のハンドラがNginx.rputsで書いた後、1回の書き込みで送れないproxyの応答で、mrubyのボディフィルタが1回だけ動くようになります(#786)”- 変更前:
mruby_output_body_filterかmruby_output_body_filter_codeのあるlocationで、mruby_output_header_filterかmruby_output_header_filter_codeの有無にかかわらず、次の3つがそろうと、ボディフィルタのコードが2回動きました。1つ目は、リクエストの前のハンドラがNginx.rputsで書いてからリクエストを続けたことです。たとえば、Nginx::DECLINEDを返すrewriteハンドラがこれに当たります。2つ目は、応答がproxy_passから来ることです。3つ目は、nginxがその応答を1回の書き込みで送れないことです。たとえば、sendfile_max_chunkかlimit_rateがあるときがこれに当たります。1回目はupstreamの応答のボディに対して動き、2回目はupstreamの応答が終わったときに空のボディに対して動きました。クライアントは1回目のボディを、そのContent-Lengthとともに受け取りました。一方、log_formatの$sent_http_content_lengthは0になりました。 - 変更後:このような応答では、ボディフィルタのコードは1回だけ動きます。
$sent_http_content_lengthは、クライアントが受け取ったボディの長さになります。nginxが1回の書き込みで送る応答は、このリリースでも変わりません。その場合は、ボディフィルタのコードが空のボディに対してもう一度動きます。 - 変更の理由:
- 不具合:ボディフィルタが動いた後に、前のハンドラが
Nginx.rputsで書いた出力がリクエストの状態に残っていると、ngx_mrubyはその状態を捨てます。後のハンドラがその出力を応答の後ろに送らないようにするためです。捨てた状態には、ボディフィルタが同じ応答の残りをそのまま次のフィルタへ渡すためのフラグも入っていました。フラグが無くなると、ボディフィルタは新しいボディを待ちました。静的ファイルの応答は、最初の書き込みの後で止まり、send_timeoutが過ぎて接続が閉じるまで残りが送られませんでした。この停止は「不具合の修正」に書いています。proxyの応答が最後まで届いたのは、upstreamの応答が終わったときにボディフィルタが空のボディに対してもう一度動いたからにすぎません。#785のレビューで、この不具合が見つかりました。 - 前の挙動を残せなかった理由:応答が止まることと、ボディフィルタが2回動くことは、同じ原因から起きます。修正では、nginxが応答の一部をまだ送っていないときに、そのフラグを持つ新しい状態をリクエストに渡します。proxyの応答だけで2回目の実行を残すには、proxyの応答にだけフラグを渡さないことになります。そうすると、ボディフィルタのコードは、応答を作り終えた後にも空のボディに対して動き続けます。新しい挙動は、前の
Nginx.rputsが無いときに同じlocationが既に示している挙動と同じです。そのときは、nginxが応答を1回で送っても2回以上で送っても、ボディフィルタのコードは1回だけ動き、$sent_http_content_lengthはボディの長さになります。 - ドキュメントが示していた挙動:2.7.5のmruby_
output_ とNginx::body_ filter Filter は、1つの応答でボディフィルタのコードが何回動くかについて、何も書いていませんでした。
- 不具合:ボディフィルタが動いた後に、前のハンドラが
- 影響の範囲:mrubyのボディフィルタがあるlocationで、mrubyのヘッダフィルタの有無にかかわらず、前のハンドラが
Nginx.rputsで書いた後にproxy_passか、ほかのupstreamから来て、nginxが2回以上の書き込みで送る応答です。そのような応答で、動いた回数を数えるか空のボディに対して何かをするmruby_output_body_filterとmruby_output_body_filter_codeのコードと、$sent_http_content_lengthを使うlog_formatが影響を受けます。 - 必要な対応:ボディを変えるだけのボディフィルタでは、対応は要りません。クライアントが受け取るボディは同じだからです。空のボディに対する2回目の実行を前提にしていたコードは、その処理を1回目の実行で行ってください。たとえば、応答の数を数えるコードや、応答の終わりに何かをするコードがこれに当たります。このような応答では、1回目の実行が唯一の実行になります。
ありません。
不具合の修正
Section titled “不具合の修正”- rewriteハンドラかaccessハンドラが
Nginx::Async.sleepで待った後に、同じリクエストのrewriteハンドラかaccessハンドラがNginx::Async::HTTP.sub_requestを呼ぶと、サブリクエストがすぐに始まるようになりました。sleepしたハンドラ自身が呼ぶ場合も、後のフェーズのハンドラが呼ぶ場合も同じです。後のフェーズの例は、sleepの後にNginx::DECLINEDを返したrewriteハンドラに続くaccessハンドラです。これまでは、クライアントの接続に次のイベントが来るまで、サブリクエストは始まりませんでした。それまでクライアントは応答を受け取れませんでした(#772)。 mruby_output_body_filterかmruby_output_body_filter_codeのあるlocationで、contentハンドラかrewriteハンドラがNginx.rputsで書いた応答を、nginxが1回の書き込みで送れないとき、応答の残りも送るようになりました。1回で送れないのは、たとえばlimit_rateかsendfile_max_chunkがあるときや、読み取りの遅いクライアントに送るときです。これまでは、クライアントは全体のContent-Lengthを持つヘッダと、最初の書き込みで送れた分のボディだけを受け取り、send_timeoutが過ぎるとnginxが接続を閉じていました(#784)。- 前のハンドラが
Nginx.rputsで書いてからリクエストを続けた後に、mrubyのボディフィルタが動き、nginxが応答を1回の書き込みで送れないとき、応答の残りも送るようになりました。前のハンドラの例は、静的ファイルを返す前にNginx::DECLINEDを返すrewriteハンドラです。1回で送れないのは、たとえばsendfile_max_chunkかlimit_rateがあるときや、読み取りの遅いクライアントに送るときです。locationにmrubyのヘッダフィルタがあってもなくても同じです。これまでは、クライアントは全体のContent-Lengthを持つヘッダと、最初の書き込みで送れた分のボディだけを受け取り、send_timeoutが過ぎるとnginxが接続を閉じていました(#786)。
ビルドとテストの変更
Section titled “ビルドとテストの変更”-
directives.rbは、同じ持続接続に送った2件のリクエストの応答を末尾まで確認します。ファイル形式とインライン形式のログハンドラ、および呼び出し後の変数の更新も検証します。 -
新しいテストのケースとして、
test/t/cases/var_value_to_s.rbと、ポート18159のtest/conf/conf.d/83-var-value-to-s.confのサーバーを加えました(#768)。 -
新しいテストのケースとして、
test/t/cases/async_sub_request_after_sleep.rbと、ポート18190のtest/conf/conf.d/84-async-sub-request-after-sleep.confのサーバーを加えました(#772)。 -
新しいテストのケースとして、
test/t/cases/output_value_to_s.rbと、ポート18191のtest/conf/conf.d/88-output-value-to-s.confのサーバーを加えました(#775)。 -
新しいテストのケースとして、
test/t/cases/body_filter_split_write.rbと、ポート18141のtest/conf/conf.d/89-body-filter-split-write.confのサーバーを加えました(#784)。 -
新しいテストのケースとして、
test/t/cases/body_filter_leftover_chain.rbと、ポート18145のtest/conf/conf.d/90-body-filter-leftover-chain.confのサーバーを加えました(#786)。 -
新しいテストのケースとして、
test/t/cases/ssi_body_filter.rbと、ポート18146のtest/conf/conf.d/91-ssi-body-filter.confにあるサーバーを加えました。
アップグレード
Section titled “アップグレード”- ディレクティブの追加、名前の変更、削除はありません。2.7.5と同じ方法でこのリリースのモジュールをビルドし、バイナリか動的モジュールを置き換えてください。
アップグレードの前に、次の点を確かめてください。各行は、項目の「必要な対応」です。
to_sが無いか、例外を出すか、String以外を返す値を使うmruby_setとmruby_set_codeのコードと、Nginx::Varの呼び出し:String、nil、to_sがStringを返す値のどれかを返すか渡してください。to_sがString以外を返す引数を渡す、Nginx.rputs、Nginx.echo、Nginx.redirect、Nginx::Filter#body=、Nginx::Filter#outputの呼び出し:String、nil、to_sがStringを返す値を渡してください。- 前のハンドラが
Nginx.rputsで書いた後に、2回以上の書き込みで送るproxyの応答で、mrubyのヘッダフィルタの有無にかかわらず、空のボディに対する2回目の実行を前提にしていたmruby_output_body_filterとmruby_output_body_filter_codeのコード:その処理を1回目の実行で行ってください。このような応答では、1回目の実行が唯一の実行になります。