Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Swiftで始める静的解析

matsuji
September 21, 2020

 Swiftで始める静的解析

matsuji

September 21, 2020
Tweet

More Decks by matsuji

Other Decks in Technology

Transcript

  1. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

    個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから!
  2. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

    個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします!
  3. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

    個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします!
  4. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  5. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ソースコード
  6. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 ソースコード
  7. ソースコード import UIKit class ViewController: UIViewController { var num: Int?

    override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ViewController クラス import 文
  8. ViewController クラス ソースコード import UIKit class ViewController: UIViewController { var

    num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 num プロパティ
  9. num プロパティ ViewController クラス ソースコード import 文 viewDidLoad() import UIKit

    class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  10. num プロパティ ViewController クラス ソースコード import 文 import UIKit class

    ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } viewDidLoad() viewDidLoad()
  11. num プロパティ ViewController クラス ソースコード import 文 import UIKit class

    ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } if 文 viewDidLoad() viewDidLoad()
  12. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  13. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } つまり
  14. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  15. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  16. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
  17. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して
  18. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して これだけのノードが!
  19. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木を生成
  20. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木のルートノード
  21. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) let text = rootNode.statements .first! .item.as(VariableDeclSyntax.self)! .bindings .first! .pattern.as(IdentifierPatternSyntax.self)! .identifier.text print(text) // => num ルートノードから正しく辿れば 末端のノードを取得可能 現実的ではない SyntaxVisitor
  22. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }
  23. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } SyntaxVisitorを継承
  24. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } IdentifierPatternSyntax に 到達した時に呼ばれる
  25. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }
  26. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source)
  27. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) let visitor = Visitor() visitor.walk(rootNode) 構文木を走査する
  28. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }
  29. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }
  30. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } これらがどのような 構文木になっているか調べる
  31. 構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!

    SyntaxParser.parse(source: source) dump(root) ▿ SwiftSyntax.SourceFileSyntax ▿ statements: SwiftSyntax.CodeBlockItemListSyntax ▿ SwiftSyntax.CodeBlockItemSyntax ▿ item: SwiftSyntax.ImportDeclSyntax - attributes: nil - modifiers: nil ▿ importTok: SwiftSyntax.TokenSyntax
  32. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } CodeBlockSyntax
  33. class Visitor: SyntaxVisitor { override func visit(_ node: CodeBlockSyntax) ->

    SyntaxVisitorContinueKind { return super.visit(node) } }
  34. { let count = str.count } { let count =

    str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化
  35. { let count = str.count } { let count =

    str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化 1 トークンの並び を比較する
  36. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
  37. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } トークンを保持する 構造体
  38. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
  39. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } ブロックからコードを 取り出して保持
  40. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
  41. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } クローンを表す構造体
  42. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
  43. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして
  44. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } 1 つのトークン列に対して 複数持つものだけ抽出 トークン列で グループ分けして
  45. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして 1 つのトークン列に対して 複数持つものだけ抽出
  46. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
  47. { let count = str.count print(count) } 変数の正規化 { let

    _$0 = _$1.count print(_$0) } { let length = text.count print(length) } 変数の正規化 { let _$0 = _$1.count print(_$0) } トークン列の比較で クローンとして検出できない... トークン列の比較で クローンとして検出できる!
  48. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)
  49. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
  50. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
  51. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
  52. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
  53. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない
  54. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない
  55. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)
  56. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierPatternSyntax が 親なら正規化する
  57. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が 親なら正規化する
  58. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が親でも さらにその親が FunctionCallExprSyntax だと正規化しない
  59. class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func

    visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
  60. class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func

    visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let tokens: [String] = normalize(node) let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
  61. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

    token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
  62. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

    token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
  63. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

    token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
  64. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

    token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }