Share
Embed
Swiftで始める静的解析
matsuji
September 21, 2020
Transcript
120 slides
-
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! -
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします! -
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします! -
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ソースコード -
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 ソースコード -
ソースコード import UIKit class ViewController: UIViewController { var num: Int?
override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ViewController クラス import 文 -
ViewController クラス ソースコード import UIKit class ViewController: UIViewController { var
num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 num プロパティ -
num プロパティ ViewController クラス ソースコード import 文 viewDidLoad() import UIKit
class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
num プロパティ ViewController クラス ソースコード import 文 import UIKit class
ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } viewDidLoad() viewDidLoad() -
num プロパティ ViewController クラス ソースコード import 文 import UIKit class
ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } if 文 viewDidLoad() viewDidLoad() -
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } つまり -
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } -
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して -
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して これだけのノードが! -
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木を生成 -
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木のルートノード -
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) let text = rootNode.statements .first! .item.as(VariableDeclSyntax.self)! .bindings .first! .pattern.as(IdentifierPatternSyntax.self)! .identifier.text print(text) // => num ルートノードから正しく辿れば 末端のノードを取得可能 現実的ではない SyntaxVisitor -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z -
var num: Int? VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax
TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") -
VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax
TokenSyntax("Int") TokenSyntax("?") var num: Int? 識別子を表すノード -
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } -
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } SyntaxVisitorを継承 -
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } IdentifierPatternSyntax に 到達した時に呼ばれる -
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } -
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) -
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) let visitor = Visitor() visitor.walk(rootNode) 構文木を走査する -
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } -
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } -
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } これらがどのような 構文木になっているか調べる -
構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!
SyntaxParser.parse(source: source) dump(root) -
構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!
SyntaxParser.parse(source: source) dump(root) ▿ SwiftSyntax.SourceFileSyntax ▿ statements: SwiftSyntax.CodeBlockItemListSyntax ▿ SwiftSyntax.CodeBlockItemSyntax ▿ item: SwiftSyntax.ImportDeclSyntax - attributes: nil - modifiers: nil ▿ importTok: SwiftSyntax.TokenSyntax -
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } CodeBlockSyntax -
class Visitor: SyntaxVisitor { override func visit(_ node: CodeBlockSyntax) ->
SyntaxVisitorContinueKind { return super.visit(node) } } -
{ let count = str.count } { let count =
str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化 -
{ let count = str.count } { let count =
str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化 1 トークンの並び を比較する -
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } -
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } トークンを保持する 構造体 -
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } -
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } ブロックからコードを 取り出して保持 -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } クローンを表す構造体 -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } 1 つのトークン列に対して 複数持つものだけ抽出 トークン列で グループ分けして -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして 1 つのトークン列に対して 複数持つものだけ抽出 -
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } -
{ let count = str.count print(count) } 変数の正規化 { let
_$0 = _$1.count print(_$0) } { let length = text.count print(length) } 変数の正規化 { let _$0 = _$1.count print(_$0) } トークン列の比較で クローンとして検出できない... トークン列の比較で クローンとして検出できる! -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierPatternSyntax が 親なら正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が 親なら正規化する -
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が親でも さらにその親が FunctionCallExprSyntax だと正規化しない -
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func
visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } -
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func
visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let tokens: [String] = normalize(node) let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } -
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } } -
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } } -
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } } -
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }