Upgrade to Pro — share decks privately, control downloads, hide ads and more …

tapirのようなものをScala3 x JDBCで作りたい/NextbeatTechBar-...

tapirのようなものをScala3 x JDBCで作りたい/NextbeatTechBar-20230421-2

2023年4月21日に開催された「Nextbeat Tech Bar:Scala今昔物語」にて発表した資料です。

nextbeat-engineer

April 24, 2023
Tweet

More Decks by nextbeat-engineer

Other Decks in Technology

Transcript

  1. 型制御によってコンパイラで間違いを検出できる モデルを使ってTable定義を作成するようにする case class User( id: Long, name: String, age:

    Option[Int], updatedAt: LocalDateTime, createdAt: LocalDateTime ) このモデルから作成するテーブルを作成する時には以下の制限がつけられるようにする 1. カラムの数はモデルのプロパティの数と同じになる 2. プロパティの型とカラムのデータタイプは、指定したものと同じになる (Long => BIGINTは◦ Long => VARCHARはXという感じ)
  2. カラム定義 カラムには型パラメーターを持たせる データタイプや属性はこの型パラメーターと同じにものを受け取るようにしておく trait Column[T]: /** Column Field Name */

    def label: String /** Column type */ def dataType: DataType[T] /** Extra attribute of column */ def attributes: Seq[Attribute[T]] /** Column comment */ def comment: Option[String]
  3. Dynamic ScalaのDynamicは、実行時に存在しないメソッドやプロパティにアクセスするための機能で す。 foo.method("blah") ~~> foo.applyDynamic("method")("blah") foo.method(x = "blah") ~~>

    foo.applyDynamicNamed("method")(("x", "blah")) foo.method(x = 1, 2) ~~> foo.applyDynamicNamed("method")(("x", 1), ("", 2)) foo.field ~~> foo.selectDynamic("field") foo.varia = 10 ~~> foo.updateDynamic("varia")(10) foo.arr(10) = 13 ~~> foo.selectDynamic("arr").update(10, 13) foo.arr(10) ~~> foo.applyDynamic("arr")(10)
  4. import scala.language.dynamics class MyDynamic extends Dynamic: def selectDynamic(name: String): String

    = s"Hello, $name!" val myDynamic = new MyDynamic println(myDynamic.world) // "Hello, world!" この例では、MyDynamicクラスがDynamicトレイトをミックスインしています。 selectDynamicメソッドを実装することで、クラスに動的なメソッドを追加することができま す。 selectDynamicメソッドは、String型の引数を受け取り、String型の結果を返します。
  5. テーブル テーブルはselectDynamicでフィールド名でカラム情報にアクセスできるようにしておきます private[ldbc] trait Table[P <: Product] extends Dynamic: ...

    def selectDynamic[Tag <: Singleton](tag: Tag)(using mirror: Mirror.ProductOf[P], index: ValueOf[Tuples.IndexOf[mirror.MirroredElemLabels, Tag]] ): Column[Tuple.Elem[mirror.MirroredElemTypes, Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]]
  6. フィールドへのアクセスはSingletonを使用します。 Singleton型を使用することで、特定の値を持つ唯一の型を表すことができるようになる def single[Tag <: Singleton](x: Tag): Tag = x

    val x = single("hello world") // val x: String = hello world val x = single[String]("hello world") // エラー val x = single["hello world"]("hello world") // ok val x = single[Singleton & String]("hello world") // ok
  7. MirroredElemLabelsとTagが一致するIndexを生成し、ValueOfで値として扱えるようにする override def selectDynamic[Tag <: Singleton](...)( ... index: ValueOf[Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]

    ): ... import scala.compiletime.ops.int.S object Tuples: type IndexOf[T <: Tuple, E] <: Int = T match case E *: _ => 0 case _ *: es => S[IndexOf[es, E]]
  8. Tupleであるcolumnsから指定したIndexの値を取得する。 productElementの戻り値はAnyなため、Tuple.Elemを使用してTupleのIndexに対応した型に 変更してあげる Tuple.ElemはタプルXの位置Nにある要素の型を取得する型レベル関数 override def selectDynamic[Tag <: Singleton](tag: Tag)(using

    mirror: Mirror.ProductOf[P], index: ValueOf[Tuples.IndexOf[mirror.MirroredElemLabels, Tag]] ): Column[Tuple.Elem[mirror.MirroredElemTypes, Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]] = columns .productElement(index.value) .asInstanceOf[Column[Tuple.Elem[mirror.MirroredElemTypes, Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]]]
  9. インスタンス生成 val table: Table[User] = Table[User]("user")( column("id", BIGINT(64), AUTO_INCREMENT, PRIMARY_KEY),

    column("name", VARCHAR(255)), column("age", INT(255).DEFAULT_NULL), column("updated_at", TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP()), column("created_at", TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP(true)) )
  10. SchemaSpy自体は配布されているjarやDocker Imageを使用してコマンドベースでの処理を 行い、 内部でjdbcを使用してMeta情報など実際にDB接続を行ない取得を行なっている。 SchemaSpyのカラムを情報を取得する処理 private void initColumns(Table table) throws

    SQLException { synchronized (Table.class) { try (ResultSet rs = sqlService.getDatabaseMetaData().getColumns(table.getCatalog(), table.getSchema(), table.getName(), “%”)) { while (rs.next()) addColumn(table, rs); } catch (SQLException exc) { if (!table.isLogical()) { throw new ColumnInitializationFailure(table, exc); } } } }
  11. こんな感じのテーブル定義を使用してドキュメント生成してみる val roleTable = Table[Role](“role”)( column(“id”, BIGINT(64), AUTO_INCREMENT, PRIMARY_KEY), column(“name”,

    VARCHAR(255)), column(“status”, BIGINT(64)) ) val userTable = Table[User](“user”)( column(“id”, BIGINT(64), “ ユーザー識別子“, AUTO_INCREMENT, PRIMARY_KEY), column(“name”, VARCHAR(255)), column(“age”, INT(255).DEFAULT_NULL), column(“role_id”, BIGINT(64)), column(“updated_at”, TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP()), column(“created_at”, TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP(true)) ) .keySet(v => CONSTRAINT(“fk_id”, FOREIGN_KEY(v.roleId, REFERENCE(roleTable)(roleTable.id))) )
  12. データベースと生成先を指定する val db = new Database: override val databaseType: Database.Type

    = Database.Type.MySQL override val name: String = “example” override val schema: String = “example” override val tables = Set(roleTable, userTable) ... val file = java.io.File(“./document”) SchemaSpyGenerator(db).generateTo(file)
  13. ResultSet -> モデルだけではなく指定したカラムだけ取得とかも行いたいので、テーブルの カラム全体ではなくカラム単体ごとにResultSetからデータを取得する処理を作成してあげ る。 フィールド名でのアクセス時にResultSetからカラム名を指定してデータ取得を行う ResultSetReaderというものを暗黙的に渡してあげる 戻り値はEffect SystemでラップされたResultSetを使用するKleisli def

    applyDynamic[Tag <: Singleton]( tag: Tag )()(using mirror: Mirror.ProductOf[P], index: ValueOf[Tuples.IndexOf[mirror.MirroredElemLabels, Tag]], reader: ResultSetReader[F, Tuple.Elem[mirror.MirroredElemTypes, Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]] ): Kleisli[F, ResultSet[F], Tuple.Elem[mirror.MirroredElemTypes, Tuples.IndexOf[mirror.MirroredElemLabels, Tag]]] = Kleisli { resultSet => val column = table.selectDynamic[Tag](tag) reader.read(resultSet, column.label) }
  14. ResultSetReaderはこんなやつ。 ResultSetからカラム名を指定して取得を行う処理を記載しておく、このとき取得する型はパ ラメーターによって決められるようにしておく。 trait ResultSetReader[F[_], T]: def read(resultSet: ResultSet[F], columnLabel:

    String): F[T] object ResultSetReader: def apply[F[_], T](func: ResultSet[F] => String => F[T]): ResultSetReader[F, T] = new ResultSetReader[F, T]: override def read(resultSet: ResultSet[F], columnLabel: String): F[T] = func(resultSet)(columnLabel)
  15. あとはScala標準の型とかは予め定義しておき暗黙的に渡せるようにしておく。 定義されていない型が必要になったら、同じように定義してあげれば良い。 given [F[_]]: ResultSetReader[F, String] = ResultSetReader(_.getString) given [F[_]]:

    ResultSetReader[F, Boolean] = ResultSetReader(_.getBoolean) ... これでカラム単体でResultSetから値を取得できるKleisliを構築できるようになった given Kleisli[IO, ResultSet[IO], Long] = table.id()
  16. あとはResultSet -> Userへの変換を行うKleisliを定義してあげる given Kleisli[IO, ResultSet[IO], User] = for id

    <- table.id() name <- table.name() age <- table.age() status <- table.status() updatedAt <- table.updatedAt() createdAt <- table.createdAt() yield User(id, name, age, status, updatedAt, createdAt)
  17. transaction => DataSource -> Connection query => Connection -> Statement

    -> ResultSet val user: IO[User] = sql"SELECT * FROM user".query.transaction.run(dataSource)
  18. Slick SlickはモデルからTable定義を生成する class UserTable(tag: Tag) extends Table[User](tag, "user"): def id

    = column[Long]("id", O.AutoInc, O.Primary) def name = column[String]("name") def age = column[Option[Long]]("age") def rorleId = column[Long]("role_id") def updatedAt = column[Long]("updated_at") def createdAt = column[Long]("created_at") def * = (id, name, age, rorleId, updatedAt, createdAt).mapTo[User]
  19. Slickでは、RepとTypedType[T]というものが存在しています。 まず、RepはSlickがデータベーステーブルの列を表現するために使用する型です。Rep型は値 を保持するためのものではなく、データベーステーブルの列に対応するSQL文を生成するた めに使用されます。 val id: Rep[Int] = column[Int]("id") val

    name: Rep[String] = column[String]("name") これらのコードは、idとnameという2つの列を表し、それぞれの型はRep[Int]とRep[String] です。これらのRep型は、後に使用するクエリに対応するSQL文を生成するために使用されま す。
  20. 次に、TypedType[T]は、Slickがカラムの型を表現するために使用する型です。Slickは、基本 的な型(Int、String、Booleanなど)に加えて、自動生成されたユーザー定義の型や、さまざ まなデータベースシステムでサポートされる型をサポートしています。TypedType[T]は、 Slickがデータベースからデータを読み取るときに使用する型を指定するために使用されま す。 val id: Rep[Int] = column[Int]("id")(summon[TypedType[Int]])

    val name: Rep[String] = column[String]("name")(summon[TypedType[String]]) このコードでは、summon[TypedType[Int]]とsummon[TypedType[String]]を使用して、そ れぞれの列の型を指定しています。これにより、Slickはデータベースからデータを読み取る ときに、正しい型を使用することができます。
  21. 次にカラムのTupleからRepのTupleを生成する 単純に詰め替えを行う val repColumns: Tuple.Map[mirror.MirroredElemTypes, RepColumnType] = Tuple .fromArray( columns.productIterator

    .map(v => { val column = v.asInstanceOf[TypedColumn[?]] new TypedColumn[Extract[column.type]] with Rep[Extract[column.type]]: ... override def encodeRef(path: Node): Rep[Extract[column.type]] = Rep.forNode(path)(using column.typedType) override def toNode = Select( (tag match case r: RefTag => r.path case _ => tableNode ), FieldSymbol(label)(Seq.empty, typedType) ) :@ typedType }) .toArray ) .asInstanceOf[Tuple.Map[mirror.MirroredElemTypes, RepColumnType]]
  22. 生成されたShapedValueとMirror、Tupleを使用してモデル <-> タプルの変換を定義してあげ る。 val shapedValue = new ShapedValue[Tuple.Map[mirror.MirroredElemTypes, RepColumnType],

    mirror.MirroredElemTypes]( repColumns, tupleShape ) shapedValue <> ( v => mirror.fromTuple(v.asInstanceOf[mirror.MirroredElemTypes]), Tuple.fromProductTyped )
  23. 自作したテーブル用のTableQueryを作成 class TableQuery[T <: Table[?]](table: T) extends Query[T, TableQuery.Extract[T], Seq]:

    override lazy val shaped: ShapedValue[T, TableQuery.Extract[T]] = ShapedValue(table, RepShape[FlatShapeLevel, T, TableQuery.Extract[T]]) override lazy val toNode = shaped.toNode object TableQuery: type Extract[T] = T match case Table[t] => t def apply[T <: Table[?]](table: T): TableQuery[T] = new TableQuery[T](table)
  24. Slickで実行する準備ができたので、テーブル定義を自作したものに置き換える val table: Table[User] = Table[User]("user")( column("id", BIGINT(64), AUTO_INCREMENT, PRIMARY_KEY),

    column("name", VARCHAR(255)), column("age", INT(255).DEFAULT_NULL), column("updated_at", TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP()), column("created_at", TIMESTAMP.DEFAULT_CURRENT_TIMESTAMP(true)) ) val tableQuery = TableQuery(table) val db = Database.forDataSource(...) db.run(tableQuery.filter(_.name === "takapi").result)