Final LINQ Extensions

C# LINQの基礎について解説しています。発表自体はかなり前ですが、現在（.NET 5）においても全く問題ありません。

------

Center CLR Part.2 （DoorKeeperは退会したため、募集エントリは残っていません）

Transcript

1. Final LINQ Extensions Center CLR Part.2 – 2015.02.07 Kouji Matsui @kekyo2
2. 自己紹介  けきょ (@kekyo2 Kouji Matsui)  LINQ, Async, .NETとか  Center CLRオーガナイザーです  会社やってます  アーキとかフレームワーク設計とか
3. Final LINQ Extensions  そろそろ、LINQも当たり前の空気になってきた今日この頃。  まだLINQが使えていないという方々に、クモの糸を垂らしてみます。  普通の入門的な内容なら、いくらでも資料があるので、同じような 内容にならないように、導入を工夫してみました。  LINQ to Objectが対象です（PLINQは少しだけ触れます）。  ここを抑えておけば、他のLINQもママ行けるでしょう。
4. LINQ to Objectとは  全てのLINQの基本。  配列やコレクションに対して、統一的な手法で集合演算を実行出来 る「演算子」と構文のセット。
5. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善 789 456 123
6. ループと分岐処理からの脱却  指定された個数の乱数を含む配列を生成 Basicなforループ
7. ループと分岐処理からの脱却  指定された個数の乱数を含む配列を生成 （LINQ） LINQクエリ（メソッド構文） 4つのパートから成っている
8. ループと分岐処理からの脱却  LINQでは、処理内容を「演算子」と呼ばれるメソッド群を組み合わ せて表現します。 無限数列を生成 乱数を生成 0 0 0 … Rand() Rand() Rand() … [r0] [r1] [r2] 乱数の無限数列 それらを配列化 count個だけ 「0」の無限数列 count個だけ … [r(count-1)] 配列
9.  指定された個数の、偶数のみの乱数列 ループと分岐処理からの脱却 乱数の生成数 ≠ 結果の個数となるので、 forが使えないのでwhileに変更。 ステート変数としてindexが必要。 偶数の場合のみ、indexがインクリメント されなければならない
10. ループと分岐処理からの脱却  指定された個数の、偶数のみの乱数列 （LINQ） 絞り込み条件として、 式を記述 他の演算子に変化はない 0 0 0 … Rand() Rand() Rand() … [r0] … [r1] [r2] [r(count-1)] (value % 2) == 0
11.  指定された個数の、 偶数かつ重複のない 乱数列 ループと分岐処理からの脱却 値が存在しない場合だけ追加する 今までの数列に値が存在 したかどうかの確認
12. ループと分岐処理からの脱却  指定された個数の、偶数かつ重複のない乱数列（LINQ） 重複する値を除去 他の演算子に変化はない 0 0 0 … Rand() Rand() Rand() … [r0] … [r1] [r2] [r(count-1)] Distinct (value % 2) == 0
13. ループと分岐処理からの脱却  LINQは、「数列」に対して、様々な「演算子」を適用して処理を 実現します。 0 0 0 … Rand() Rand() Rand() … [r0] [r1] [r2] Distinct (value % 2) == 0  分岐条件をプログラマブルに実行 するのではなく、データの加工条 件を「宣言的」に記述します。 無限数列を Infinite() 変換し Select() 絞り込みを行い Where() 重複を除去し Distinct() 指定された個数だけ取り出し Take() 配列に変換する ToArray() … [r(count-1)]
14. ループと分岐処理からの脱却  言うまでもなく、データ群を操作するならLINQによる集合演算がシ ンプル・低い難易度・バグも生み難いです。  「どうやって実装するか」ではなく、「どのような結果が必要か」 と考える事がカギです（この辺りは、SQLによるクエリの設計と同じ です） 。
15. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善 Persons Person Address Address Person Address
16. 構造的な値への適用  LINQが適用できるのは、「単純な数列」だけではありません。  以下のようなクラスとその配列を考えます。 配列に変換 名前が一致する Personを抽出 Personクラスの配列から、名前が一致する Personだけを抽出し、配列として返す
17. 構造的な値への適用  絞り込み条件には、任意の式を指定出来ます。 年齢の条件を追加 Personクラスの配列から、名前が一致し、かつ指定年齢以上 となるPersonだけを抽出し、配列として返す AND条件だけでなく、もっと複雑な複合条件を 指定することも出来ます。 C#で記述可能な式なら何でもOK。
18. 構造的な値への適用  ネストした構造に対しても、同じように記述出来ます。 指定された住所文字列を含む Personの抽出 Contains演算子: 配列内に一致する 要素（文字列）があるかどうか Person Person Person … Address Address Address 住所群に住所文字列が含まれているかどうか （ここが独立したLINQ式。サブクエリ風味）
19. 構造的な値への適用  おっと、ちょっと違いますね。  「AddressElements配列内に、指定された文字列と同一の文字列があるか」ではなく  「AddressElements配列内に、指定された文字列を含むものがあるか」ですね。 配列群に住所文字列が 含まれているかどうか Person Person Person … Address Address Address Any演算子: どれかが満たされるかどうか .Contains(address) .Contains(address) .Contains(address) 一つ一つは、string.Contains()
20. 構造的な値への適用  構造の奥底にある値を、平坦化出来ます 名前が一致する全住所文字列を抽出 そのままでは二重のシーケンス となる所を、一重のシーケンス に変換する Person Person Person … Address Address Address Address Address Address Address Address Address Address Address Address SelectMany()
21. 構造的な値への適用  質問：ここまでの例をループや分岐条件でサクッと書けますか？  特に最後に挙げたSelectManyと同等の処理を、ルー プと分岐条件で書くと、単純な結果に対して非常に 複雑な処理が必要になります。 List<T>を封じたら、多分面倒この上ないわね。 自分で考えてみて。
22. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善
23. 初歩的な演算子  とりあえず、以下の使い方を覚えましょう。 機能グループ 演算子 射影（変換） Select SelectMany フィルター Where Skip Take Distinct ソート OrderBy / OrderByDescending ThenBy / ThenByDescending 単項（即値） Any / All Max / Min Sum Count 固定化 ToList / ToArray
24. 初歩的な演算子（射影）  とても多彩な射影（変換）  Select演算子は、入力となる要素を、別の何かに変換します。物体に対する影 のように、形を変える様から「射影」と呼びます。  例えば、intの値群を文字列群に変換するには、以下のようにSelectを使いま す。 このラムダ式で、value (intの値)を文字列に変換 する 全ての要素に対して ラムダ式を実行 要素が代入される 引数
25. 初歩的な演算子（射影）  Selectには、仮引数を2つ取るオーバーロードがあります。これを「イ ンデックス付き射影」と呼びます。 2つ目の引数が、インデックスを表す。 要素の先頭を0とし、1…nのようにインクリメントされる。 要素の先頭からの位置を把握したい場合に使えます。
26. 初歩的な演算子（射影）  射影（変換）  SelectMany演算子は、特殊な射影変換です。射影対象の要素が「アンルー プ」の対象となります。その結果、列挙が二重となる要素を「一重に展開」 します。 int[] int[] アンループされて、ただの配列に 二重の配列
27. 初歩的な演算子（射影）  LINQには「メソッド構文」と「クエリ構文」という書き方があります。  メソッド構文は、今まで例に挙げてきたような「Select」や「Where」 などのメソッドを使って直接記述する構文です。  クエリ構文は、LINQ入門で良く扱われる「SQL」に似た単語で書ける 構文です。以下に例を示します。 何となく、SQLっぽい
28. 初歩的な演算子（射影） 構文 特徴 メソッド構文 全ての演算子を使用することが可能。 ブロック化されたラムダ式を使用することで、複雑な処理を射影やフィルターで実装 可能。 完全な記述が可能な反面、煩雑になりやすい。 クエリ構文 SQLに似た、フレンドリーな構文を使用可能。 式は暗黙にラムダ式として取り扱われるので、仮引数の宣言が不要で、式の記述がシ ンプルになります。 ブロック化されたラムダ式を使う事は出来ないので、純粋に式として記述する必要が あります。 サポートされる演算子は一部のみ（Select, SelectMany, Where, OrderBy, ThenBy, Join, GroupBy）。また、コンパイラによって固定的に置き換えられる「構文糖」です。 SelectManyのネストした要素の引き渡しを暗黙裡に行えるため、SelectManyについて 非常に簡潔に記述できます。 let（範囲変数）を使用できる。メソッド構文ではいちいち匿名クラスに再代入が必要 だが、letを使うと簡単に値を持ってまわることが出来ます。  メソッド構文とクエリ構文の比較 個人的には、どちらが優れている とは言えないと思います
29. 初歩的な演算子（射影）  クエリ構文によるSelectManyの例を示します。 fromを多重に宣言することで、 SelectManyとして扱われる もちろん、何多重になっても問題ありません。メソッド構文で同じ事を書こうと すると、SelectManyをネストさせる事になり、ちょっとキツイです。 「たっぷり多重」の例: http://www.kekyo.net/2014/12/08/4441
30. 初歩的な演算子（射影）  SelectManyの外側にある要素にも、簡単にアクセス可能 メソッド構文でSelectManyを使う場合、この式を解決す るには、事前に別の要素に射影が必要で、かなり面倒 （クエリ構文なら、自然に書けて、あとはコンパイラが 勝手にやってくれる）
31. 初歩的な演算子（射影）  範囲変数(let)を使うと、一時変数のように値の記憶に使えます。スコープ は一反復内に限られ、readonly扱いなので、副作用の心配はありません。  範囲変数も、射影の壁を乗り越える便利な道具です。 この式のコストが高い場合、結果を 保持して使いまわしたい 射影の壁 範囲変数も越えられる
32. 初歩的な演算子（フィルター）  Whereはフィルター条件に従って、要素を制限します。 フィルター条件をラムダ式で 与える
33. 初歩的な演算子（フィルター）  Skipは指定された要素数だけ、飛ばします。  Takeは指定された要素数だけ、取得します。  この二つを組み合わせると、任意の位置から任意の個数の要素を抜 き出すことも出来ます。 Skip(start) n0 n1 n2 n3 n4 n5 n6 n7 n8 n2 n3 n4 n5 n6 n7 n8 n2 n3 n4 n5 n6 Take(count)
34. 初歩的な演算子（フィルター）  Distinctは重複する要素値を削減します。  考え方はSQLのDISTINCTと同じですが、「同一の値」の担保はEqualsメ ソッドか、IEquatable<T>.Equalsか、IEqualityComparer<T>で行われます。  Intやstringなどの基本的な型は、Equalsが正しい値を返すので、何も 考えなくてもDistinctだけで重複を除外出来ます。  順序は安定です（LINQ to Object以外は実装依存）。 1 5 2 1 4 7 6 7 3 1 5 2 4 7 6 3 Distinct
35. 初歩的な演算子（ソート）  OrderByで要素をソートできます。  ソート対象のキーを指定することも出来ます。  キーはIComparable<T>やIComparer<T>を使用して、大小比較を実行し ます。これらのインターフェイスも、基本的な型はサポートしてい るので、キーとして自然に使用出来ます。 キーの指定 ここでは要素の値(int)そのものをキーとしている
36. 初歩的な演算子（ソート）  任意の構造を持つ配列でも、対象のキーを指定出来ます。 キーの指定 Person内のフィールドをキーとする
37. 初歩的な演算子（ソート）  逆順ソートも出来ます。 OrderByDescending演算子を使うと、 逆順でソートされる
38. 初歩的な演算子（ソート）  複数のキーを使って、複合ソートも出来ます。 ThenBy演算子を使うと、2番目以降のソートキーを追加できる。 OrderByDescendingやThenByDescendingと組み合わせる事も可能。 （ThenByやThenByDescendingはOrderByの後にのみ記述可能）
39. 初歩的な演算子（単項）  Anyは、要素が1つ以上存在するかどうかを確認します。  Allは、全ての要素が条件に合致するかどうかを確認します。  Countは、要素数をカウントします。  存在確認にCountを使わない事。Anyで判断します。 Countを使うと総数を数える可能性があるので、 存在確認のためだけにはオーバーヘッドが大きい Anyを使えば、要素が見つかった時点で 処理を終えるので効率が良い
40. 初歩的な演算子（単項・即値）  Max/Minは、最大・最小の要素を返します。IComparable<T>か、 IComparer<T>が必要です。  Max/Minには、要素が必要です（要素数0の配列等に適用すると例外 が発生）  Sumは、要素の合計を算出します。
41. 初歩的な演算子（固定化）  通常LINQクエリは、式が実際に実行されるまで処理が保留されます （式の内容だけが記憶されている）。この事を「遅延評価」と呼び ます。  ToArray・ToListは、それぞれ配列とリストに変換します。しかし、配 列やリストに結果を入れるためには、要素群が「確定」しなければ なりません。したがって、これらの演算子はその場で実行されます。 この時点ではまだフィルターは 実行されていない （filteredは式そのものを示す） 配列に変換する過程で、初めて filteredが実行される AnyやCountなども、 その場で実行されます
42. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善
43. 実践的なforeachの置き換え  一重ループの例 ①for・foreach・whileなどのループ構文に注目し、 何を列挙しているのかを確認する。 「personsを列挙している」 ②最終的に、何をするのかに注目する。 「listにpersonを追加（結果を保存）」 より的確に→「personのリストを生成」 より的確に→「personの配列を生成」 「何となく、一つに出来そうだ」
44. 実践的なforeachの置き換え  一重ループの例 ①に対応するもの（列挙対象） ②に対応するもの（結果の保存）
45. 実践的なforeachの置き換え  LINQにおける、Producer-Consumerとは ①Producer（データ群の提供者） ②Consumer（データ群の消費者）
46. 実践的なforeachの置き換え  LINQにおける、Producer-Consumerとは ①Producer（データ群の提供者） ②Consumer（データ群の消費者） 最初に、「Consumer」に注目し、ここのコード量を減らしておく。 その後、Consumer以外のコードを、LINQクエリ内に持っていけるようにリファクタする。
47. 実践的なforeachの置き換え  二重ループの例 ①Producer（データ群の提供者） ②Consumer（データ群の消費者）
48. 実践的なforeachの置き換え  二重ループの例 ①Producer（データ群の提供者） ②Consumer（データ群の消費者）
49. 実践的なforeachの置き換え  データが流れていく様を想像する ①Producer（データ群の提供者） ②Consumer（データ群の消費者）
50. 実践的なforeachの置き換え  ステップバイステップ (1/7) 配列っぽい何かを返すつもり （何を返すかは、今から考えるよ）
51. 実践的なforeachの置き換え  ステップバイステップ (2/7) 何から？ persons から！
52. 実践的なforeachの置き換え  ステップバイステップ (3/7) そうそう、personsを列挙するんだった
53. 実践的なforeachの置き換え  ステップバイステップ (4/7) personの中身のAddressの中身が見たいんだっけ
54. 実践的なforeachの置き換え  ステップバイステップ (5/7) 列挙の条件は… ward文字列を含む、と
55. 実践的なforeachの置き換え  ステップバイステップ (6/7) 何が欲しいんだっけ… そうそう、条件を満たした時のaddressだった
56. 実践的なforeachの置き換え  ステップバイステップ (7/7) で、これらを配列にしたい、と。 完成!!
57. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善
58. 列挙子とは  ずっと配列で例を示してきました が、LINQの演算子は「列挙子」で あれば、何でも対応できます。  列挙子とは、「IEnumerable<T>イン ターフェイス」の事です。  このインターフェイスを実装して いるクラスに対して、LINQ演算子 を適用することが出来ます。  配列やList<T>クラスも、 IEnumerable<T>インターフェイスを 実装しているので、どちらも同じ 演算子を適用できるのです。
59. 列挙子とは  列挙子を受け取るように変更すれば、配列やList<T>やその他のコレク ションなどを、柔軟に受け取る事が出来るようになります。 引数に配列ではなく、列挙子を 受け取るようにする LINQクエリはそもそも列挙子に対して操作 するので、配列の時と全く変わらない
60. 列挙子とは  列挙子を受け取るように変更すれば、配列やList<T>やその他のコレク ションなどを、柔軟に受け取る事が出来るようになります。 配列とList<T>、どちらも 受け取る事が出来る
61. 列挙子とは  実は、LINQクエリの結果は「列挙子」です。 LINQクエリ式は列挙子 （但し即値演算子を除く） 列挙子のConsumer == IEnumerable<string>
62. 列挙子とは  列挙子同士を演算子で連結しているのです Personを列挙するクエリ stringを列挙するクエリ
63. 列挙子とは  動的LINQ（動的に条件が変わるLINQクエリの構築）は面倒、という話 がありますが、条件を限定すれば簡単に実現出来ます。 LINQクエリの型がどちらも IEnumerable<T>である事を利用し て、フラグで検索条件を変更する 完全に動的にLINQクエリを構築するのは、確かに大変です。ですが、殆どの場合はあらか じめ変化させたいクエリの構造が分かっているはずなので、この手法で十分です。
64. 列挙子とは  列挙子同士は、バケツリレーのように要素を伝達します。  だから、必要のない限りは余計なメモリを消費しません。 IEnumerable<T> IEnumerable<T> IEnumerable<U> Where() Select() OrderBy() OrderByの内部実装は、暗黙にデータをバッ ファリングするため、メモリを消費します。
65. 列挙子とは  間にToListやToArrayを挟めば、デバッグ向けに演算子間のデータ群を 確認できます。 リストや配列も列挙子になるので、 そのまま再代入可能 デバッグ時には固定化したリストを 見る事が出来る
66. 列挙子とは  何故そのような話をするのかというと… LINQクエリは、デバッガで直接結果 群を参照できません 結果ビューを展開すると見える場合もあります。し かし、これはデバッガ上でLINQクエリを実行した （列挙した）事になります。 環境によっては、結果ビューの展開が出来ない場合があります。そのような場合でも固定 化すれば問題なく参照出来るようになります。 注意：巨大な結果が得られる場合は、固定化すると当然メモリを消費します。 従って、デバッグ時にのみ固定化しましょう。
67. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善 λ
68. 演算子を作る  冒頭で当たり前のように「Infinity」という演算子を使いましたが、実 はこれはLINQ to Object標準ではありません。  LINQでは、自分で演算子を作る拡張性もあります。 列挙子（IEnumerable<T>）を返す yield returnで要素を一つ送出する 無限回繰り返す
69. 演算子を作る  yield returnは、普通のreturnとは違います。  次段の演算が一つ要素を要求する度に、一旦メソッドから抜けるように動 作し、次の要求で再び処理を再開します。 Infinity<int>(0) 0 Select() 一個ずつ要求 ループ一回 だけ実行
70. 演算子を作る  リンクリストを辿ってみる  列挙可能ではないものを、列挙出来るようにする方法  列挙可能にすることで、データをLINQの世界に引きずり込む リンクの先頭 次のリンクを指定 させるラムダ式 列挙可能 ラムダ式を実行して、 次の要素を得る 拡張メソッド
71. 演算子を作る  例：WPFのビジュアルツリーを親方向に探索するような列挙子 DependencyObjectの親を 取得、なければnull Window [α] [β] [γ] [δ] [ε] [ζ] [η] TextBlockA TextBlockB 今ココ TextBlockA [ζ] [β] Window GetVisualParents(textBlockA)
72. アジェンダ  ループと分岐処理からの脱却  構造的な値への適用  初歩的な演算子  実践的なforeachの置き換え  列挙子とは  演算子を作る  パフォーマンスの改善 その昔、クリスタルの魔力をわが手中に せんとする陰謀が、 「これが最後」というタイトルと共に、 幾度となく繰り返された伝説があった…
73. LINQマスターヤマト 時 間 た り ね ー ぜ っ て ー た り ね ー ！ ！ ！
74. 次回予告  クエリ構文との連携  演算子の適用回数を減らすこと（クエリ構文のselectは自動的に削減 される）  短縮演算子（WhereしてCountとか、AnyとかAllとか）  複数の連続したWhere条件の合成  Whereの適用方法の見直し（要素数の演算量の少ない絞り込み）  並列化（AsParallelとTPL・Producer-Consumerモデルによる制限）  制御構文への回帰とタイミング  LINQ→制御構文は簡単だが、逆は難しい  式木の使われ方 残予定だったけど、 続編にするので、 もっとネタ追加
75. お疲れ様でした！  スライドはブログに掲載します。 http://www.kekyo.net/