Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AppFunctionsの内部実装を紐解く

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
hiro
November 13, 2026

 AppFunctionsの内部実装を紐解く

Kotlin Fest 2026登壇資料です。

hiro

November 13, 2026

Transcript

75 slides
  1. 自己紹介 (hiroaki404) Android エンジニア/Kotlin歴は6〜8年 Kotlin Fest 2025 で 「KoogではじめるAIエージェント開発」 gentrans:

    Koogを使ったCLI翻訳ツール を公開中 Nosho Hiroaki X: @hiroaki08181359 系 IDE のプラグイン Markdown の翻訳/Local LLM対応 IntelliJ github.com/hiroaki404/gentrans 2
  2. AppFunctions とは でAIエージェントがいろいろな アプリの関数を見つけて実行する仕組み MCP や function calling のようなもの Gemini

    などが、みなさんのアプリを ツールとして使える 2026年10月の Android Dev Summit で Android MCP として正式発表 Android AIエージェント ƒ関数を呼ぶ メモアプリ developer.android.com/ai/appfunctions / The Android Show: I/O Edition 2026 / Android Dev Summit 2026 マップアプリ カレンダーアプリ 3
  3. 今日のセッション AppFunctions と の内部の仕組みを、ソースコードで追う androidx AOSP Koog で AppFunctionsを使うエージェントアプリを自作してみる JetBrains

    の AI エージェントフレームワーク モチベーション 適切なツールを設計できるようになる 技術的な興味 モバイル端末のAIエージェントがどのようにKotlinで実現されているかを知る 自身のアプリにAppFunctionsを組み込む方法やプラクティスは 公式のガイドをご覧ください 5
  4. と Agent Tool Agent Agent 関数を呼ぶエージェントアプリ 例: Gemini Tool AIエージェント

    ƒ関数を呼ぶ 関数を公開するアプリ 例: みなさんのアプリ メモアプリ 普段主に意識するのは Tool 側。今日は Agent 側の中身も見る マップアプリ カレンダーアプリ Tool 6
  5. Tool 側で開発者が書くコード /** * Books a flight ... * @param

    fromCity The departure city. ... * @param toCity The arrival city, ... * @param date The departure date. * @return The confirmed booking, ... */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun bookFlight( fromCity: String, toCity: String, date: LocalDate, ): FlightBooking = ... エージェントに渡す関数の説明 関数の宣言 他にManifestの設定やxmlの設定が必要です) 公式のandroid skillsを使えば、簡単にセットアップや関数を書ける ( デモ: tool/tripapp/src/main/java/.../BaseTripAppFunctionService.kt(抜粋) 7
  6. 現在の制限 Agent: EXECUTE_APP_FUNCTIONS が必要 Tool: @AppFunctionDeclaration は誰でも書ける 一般のアプリは持てない 使えるのは Gemini

    など許可されたものだけ ※ただしアプリ内エージェントのアプリ内関数はこの制限は当てはまらない これまで: Gemini から呼ばれるのは EAP(Early Access Program) の参加パートナーだけ 10月末~: Connected Apps Platform(preview)が開始。Play の審査を通して Gemini に公開 (今は米国の開発者で、申請して承認された人のみ) developer.android.com/ai/appfunctions / issuetracker b/490650368 #15 / Create and manage connected apps / Android Dev Summit 2026 8
  7. 検証方法 Tool を試す で登録の確認と実行 公式の Testing Agent から呼ぶ cmd app_function

    Agent を作る(権限の得方は 2 つ) ①root化エミュレータ/実機で権限を与え る ← 今日のデモ ② am instrument を使う (公式 Testing Agent) # 登録された関数の一覧 adb shell cmd app_function list-app-functions \ --package <パッケージ名> # 関数の実行 adb shell cmd app_function execute-app-function \ --package <パッケージ名> --function '<関数 ID>' \ --parameters '<JSON>' # priv-app 方式(今日のデモ) emulator -avd Pixel_10_Root -writable-system adb root && adb remount adb push privapp-permissions-....xml \ /system/etc/permissions/ adb push agent.apk /system/priv-app/ adb reboot 手順の詳細は私のQiita記事へ → https://qiita.com/hiro404/items/338300798ca31e7bef87 ( ) github.com/android/appfunctions Testing Agent 9
  8. バージョンについて、注意点 バージョン 注意 androidx.appfunctions 1.0.0-beta01 端末 Android 17 API 37

    ( )エミュレータ android17-release (Android 17) AOSP(システム側のソース) 今日の内容は現時点のもの。変更の可能性があります 本セッションはコードを独自に調査した、独自の見解によるものです。 公式見解ではありません。ある程度簡略化しているところもあります。 10
  9. アーキテクチャ Toolアプリ ビルド時 @AppFunctionDeclaration(KDoc)/EntryPoint KSP(appfunctions-compiler) ⽣成Kotlin Service/Inventory ⽣成XML assetsに⼊る インストール・アンロック時

    )時ルートスンイ(梱同にKPA 開発者が書く system_server 実⾏時 PackageManager intent-filter列挙/getProperty AppFunctionManagerService 有効・無効 実⾏時 AppFunctionService onExecuteFunction(main) Binder 実⾏時 @AppFunctionDeclaration関数本体 XMLをパース Binder(監視) androidx(Kotlin) apps-db 関数の定義 Binder(検索) PlatformAppFunctionReader OSのManager経由で検索・監視 AppFunctionManagerServiceImpl Binder frameworkAppFunctionManager ServiceHelper/RemoteServiceCaller whenで振り分け 開発者が書く AppFunctionManager observe/executeAppFunction AppsIndexer AppSearchManagerService JoinSpecで結合 appfunctions-db Agentアプリ framework AppSearch(APEX) Binder(4本) プロセス内 ファイル経由 筆者作成。以降の出典の版: androidx appfunctions 1.0.0-beta01 / AOSP android17-release / デモ: github.com/hiroaki404/appfunctions-koog-agent-demo 15
  10. ①〜③ 登録の流れ ビルド時 Tool ツールアプリ Agent エージェントアプリ 実⾏時 ①KSP ⑧関数本体

    XMLを⽣成 system_server OS インストール時 Toolのプロセス ②AppsIndexer ③AppSearch XMLを読む ⑥チェック 関数の⼀覧 権限・有効か ④search ⼀覧を取る・監視 ⑦bind Toolを呼ぶ ⑤execute 実⾏を依頼 でXMLを作成 AppsIndexerがXMLを読み、データベースであるAppSearchに関数を登録 KSP 16
  11. ④〜⑧ 発見と実行の流れ ビルド時 Tool ツールアプリ Agent エージェントアプリ 実⾏時 ①KSP ⑧関数本体

    XMLを⽣成 system_server OS インストール時 Toolのプロセス ②AppsIndexer ③AppSearch XMLを読む ⑥チェック 関数の⼀覧 権限・有効か ④search ⼀覧を取る・監視 ⑦bind Toolを呼ぶ ⑤execute 実⾏を依頼 エージェントは AppSearch から一覧を取り、変化を Flow で監視する Agent と Tool は一度も直接つながらない 17
  12. Tool 関数を公開する側 ビルド時 Tool ツールアプリ Agent エージェントアプリ 実⾏時 KSP 関数本体

    XMLを⽣成 system_server OS インストール時 Toolのプロセス AppsIndexer XMLを読む AppSearch チェック 関数の⼀覧 権限・有効か search ⼀覧を取る・監視 bind Toolを呼ぶ execute 実⾏を依頼 18
  13. デモのツールアプリの関数 冒頭のデモで動いていた旅行アプリとメッセージアプリ 公開している関数は5つ アプリ 関数 tripapp getTravelInfo tripapp saveItinerary tripapp

    searchItineraries tripapp bookFlight message sendMessage やること おすすめスポットを返す 旅程を保存 過去の旅行を含む旅程を検索 航空券を予約 連絡先にメッセージを送る ( ) github.com/hiroaki404/appfunctions-koog-agent-demo tool/ 引数 → 戻り値 String, Int → List<Spot> Itinerary → String String? → List<Itinerary> String, String, LocalDate → FlightBooking String, String → String 19
  14. 開発者がやること :appfunctions の依存と KSP を追加 2. @AppFunctionServiceEntryPoint を付けた abstract Service

    に @AppFunctionDeclaration を書く(KDoc も可能) 3. res/xml/app_metadata.xml :アプリ全体の説明を書く 4. AndroidManifest.xml :生成される Service と XML を宣言 1. build.gradle.kts 20
  15. ① Gradle:依存を追加する plugins { id("com.google.devtools.ksp") version "2.3.10" } dependencies {

    appfunctions と KSP の依存を追加する implementation("androidx.appfunctions:appfunctions:1.0.0-beta01") ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-beta01") } デモ: tool/tripapp/build.gradle.kts / tool/gradle/libs.versions.toml 21
  16. ② 関数を書く:EntryPoint と @AppFunctionDeclaration @AppFunctionServiceEntryPoint( serviceName = "TripAppFunctionService", appFunctionXmlFileName =

    "trip_functions", ) abstract class BaseTripAppFunctionService : AppFunctionService() { /** * Books a flight ... * @param fromCity The departure city. ... * @param toCity The arrival city, ... * @param date The departure date. * @return The confirmed booking, ... */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun bookFlight( fromCity: String, toCity: String, date: LocalDate, ): FlightBooking = ... 生成される具象クラス名を指定 生成される XML のファイル名を指定 LLM への関数の説明 KDoc を関数の説明に使う 関数は複数置ける @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun saveItinerary(itinerary: Itinerary): String = ... } デモ: tool/tripapp/src/main/java/.../BaseTripAppFunctionService.kt 22
  17. ③ app_metadata.xml:アプリ全体の説明 アプリ全体の説明(関数ごとではない) 公式ガイドでは最初の入口 res/xml/ に開発者が用意する <!-- res/xml/app_metadata.xml --> <AppFunctionAppMetadata

    xmlns:appfn= "http://schemas.android.com/apk/androidx.appfunctions" appfn:instructions="Travel app ... アプリ全体の説明 for the user's trips: searching saved itineraries, ... and booking flights. Operational Patterns: - To plan a new trip, call getTravelInfo ..., then pass the chosen spots ... to saveItinerary. - Flight numbers ... come from the bookFlight result. Constraints: - Dates written as text ... use yyyy-MM-dd ..." appfn:displayDescription= "@string/app_function_app_display_description" /> デモ: tool/tripapp/src/main/res/xml/app_metadata.xml(抜粋・改行調整) 23
  18. ④ Manifest:生成物を名指しする <property> で app_metadata.xml <!-- AndroidManifest.xml(<application> 直下) --> を指す

    serviceName / appFunctionXmlFileName 先ほどの指定と一致させる <property android:name="android.app.appfunctions.app_metadata" android:resource= を BIND_APP_FUNCTION_SERVICE できるのはシステムだけ (システムが検索するときの 条件となり、必須) app_metadata.xml "@xml/app_metadata" /> <service 具象 Service の名前 android:name=".TripAppFunctionService" で、bind android:permission= システムだけが bind できる "android.permission.BIND_APP_FUNCTION_SERVICE" android:exported="true"> <property android:name="android.app.appfunctions.v2" android:value="trip_functions.xml" /> <property android:name="android.app.appfunctions.schema" android:value="app_functions_schema.xsd" /> <intent-filter> <action android:name= "android.app.appfunctions.AppFunctionService" /> </intent-filter> デモ: tool/tripapp/src/main/AndroidManifest.xml </service> 24
  19. KSP のファイル生成 ( KSP Kotlin Symbol Processing ⽣成物も⼊⼒にして次のラウンド kspDebugKotlin(KSP) ソース

    .kt ):コードを解釈して、ファイルを生成する KSPprocessor シンボル 必要な型を解決 KSPがソースを解析 KDocを読む・ファイルを書く ラウンドが尽きたら本コンパイル ソース+⽣成ファイル FIR IR ⽣成ファイル .kt / .xml など compileDebugKotlin(本コンパイル) バイトコード がソースを解析してシンボルとして解釈し、型・フィールド・メソッド・KDoc 等を読める。 既存コードは書き換えず、ファイル生成のみ KSP 25
  20. KSP のエントリ: AppFunctionCompiler に登録された Provider が生成する AppFunctionCompilerがエントリ 必要な型が揃ったラウンドで、 子 processor(9つ)を順に処理する

    META-INF/services // AppFunctionCompiler.kt class AppFunctionCompiler( private val processors: List<SymbolProcessor>, private val logger: KSPLogger, ) : SymbolProcessor { override fun process(resolver: Resolver) : List<KSAnnotated> { val deferred = shouldDeferAllProcessing(resolver) if (deferred.isNotEmpty()) { deferred } else { buildList { for (processor in processors) { ServiceEntryPoint Inventory 子 processor を順に呼ぶ Serializable addAll(processor.process(resolver)) } } } ... ( androidx: appfunctions-compiler/.../AppFunctionCompiler.kt L44-64 try/catch 省略) 26
  21. AppFunctionServiceEntryPointProcessor @AppFunctionServiceEntryPoint の付いたクラスを集める 関数の KDoc も docString で取る 具象 Service

    と XML を生成する は createNewFile の拡張子を xml にして書く XML // AppFunctionServiceEntryPointProcessor.kt override fun process(resolver: Resolver) : List<KSAnnotated> { ... val serviceEntryPoints = appFunctionSymbolResolver .resolveAnnotatedAppFunctionServiceEntryPoints() for (serviceEntryPoint in serviceEntryPoints) { generateAppFunctionService(serviceEntryPoint) generateXml(serviceEntryPoint, ...) } return emptyList() } ファイル生成 // AppFunctionSymbolResolver.kt(集める側) resolver.getSymbolsWithAnnotation(...) ... appFunctionDeclarations.map { AnnotatedAppFunction(it, it.docString) } androidx: processors/AppFunctionServiceEntryPointProcessor.kt L101-122 / core/AppFunctionSymbolResolver.kt L37-63 (抜粋。try/catch と引数を省略) // KDoc 27
  22. 生成物 具象 Service build/generated/ksp/debug/ Inventory ├── kotlin/dev/hiroaki404/.../tripapp/ Factory │ ├──

    TripAppFunctionService.kt │ ├── $BaseTripAppFunctionService_ │ │ │ └── $SpotFactory.kt ... ×4 XML AppFunctionInventory.kt ├── kotlin/appfunctions_aggregated_deps/ ← 具象 Service ← Inventory ← Factory (集約用の目次 ×5) └── resources/assets/ └── trip_functions.xml ← XML 関数の説明 28
  23. 生成物① 具象 Service 目的 システムからの呼び出しを受け、開発者 が定義した関数に導き処理を実行する 内容 onExecuteFunction が Request

    と メタデータを受け取る Request の ID から when で分岐し、 開発者が定義した bookFlight を呼ぶ ID は具象クラス内の const 引数は Map から型キャスト デモ: 生成されたコード(抜粋) public class TripAppFunctionService : BaseTripAppFunctionService() { override fun onExecuteFunction( request, metadata, ...) = AppFunctionExecutionDispatcher .dispatchExecuteAppFunction( scope, request, metadata, ... ) { parameters -> when (request.functionIdentifier) { FUNCTION_ID_BOOK_FLIGHT -> this.bookFlight( parameters["fromCity"] as String, parameters["toCity"] as String, parameters["date"] as LocalDate) ... } } companion object { const val FUNCTION_ID_BOOK_FLIGHT = "...BaseTripAppFunctionService#bookFlight" } } Request を受け取る ID で分岐 型キャスト 関数 ID 29
  24. 生成物② Inventory:関数のメタデータ 目的 が受け取ったRequestを、 定義した引数の型に変換し、 戻り値を返す形に変換する ための情報を持つ 内容 関数のメタデータや型の情報をもつ 関数IDとメタデータのMap

    定義した関数の型やKDoc等から 作成される Service // $BaseTripAppFunctionService // _AppFunctionInventory.kt(生成コード) override val functionIdToMetadataMap = mapOf( "...BaseTripAppFunctionService#bookFlight" to ...BookFlightMetadataObject ID → メタデータ .APP_FUNCTION_METADATA, ... ) private object ...BookFlightMetadataObject { private val FROMCITY_PARAMETER_METADATA = AppFunctionParameterMetadata( name = "fromCity", isRequired = true, dataType = ...FROMCITY_PRIMITIVE_DATA_TYPE, description = "The departure ...", KDoc から ) ... val APP_FUNCTION_METADATA = ... } デモ: build/generated/ksp/debug/kotlin/.../$BaseTripAppFunctionService_AppFunctionInventory.kt(抜粋、535行) 30
  25. 生成物③ XML:システムの関数リストに登録するデータ 目的 システムが読んで AppSearch に関数を 登録する 内容 中身は Inventory

    とほぼ同じメタデータ KDocからdescriptionが作られる (関数の説明は XML だけ) ServiceEntryPoint processor が Java 標準の XML API(DOM) で 組み立て APK の assets/ に入る デモ: build/generated/ksp/debug/resources/assets/trip_functions.xml(抜粋、約18KB) <!-- trip_functions.xml --> <appfunctions> <appfunction> <id> ...BaseTripAppFunctionService#bookFlight </id> <enabledByDefault>true</enabledByDefault> <description> Books a flight ... </description> <parameters> <dataTypeMetadata> <isNullable>false</isNullable> <type>8</type> </dataTypeMetadata> <isRequired>true</isRequired> <name>fromCity</name> <description> The departure city. ... </description> </parameters> ... KDoc から 31
  26. KDoc から LLM 向けの説明のコードができるまで Inventory KDoc /** ... */ KSP

    docString ⽂字列を取り出すだけ androidx DocstringUtils タグを⾃前で分解 KotlinPoetで.ktに書く アプリが実⾏時に読む 引数・戻り値の説明は2か所に XML DOMで.xmlに書く OSがインストール時に読む KSP が渡すのはただの文字列。 @param の解釈は androidx が正規表現で実施 androidx: appfunctions-compiler/.../core/DocstringUtils.kt L22-27 32
  27. コード生成: KotlinPoet でコードを組み立てる :Kotlin のソースを 文字列連結ではなく Builder で 組み立てるライブラリ(Square 製)

    具象 Service 、Inventoryは KotlinPoet で 生成 役割分担:シンボルや KDoc を読み、 書き出し先を用意するのは KSP。 中身を組み立てるのは、KotlinPoet や Java の XML ライブラリ KotlinPoet beginControlFlow( "when (%L.%L)", "request", "functionIdentifier") 具象 Service の when for (appFunction in serviceEntryPoint.appFunctions) { beginControlFlow("%L ->", getFunctionIdConstantPropertyName( appFunction)) add("this.%N(\n", function.simpleName.asString()) for (param in function.parameters) addStatement("%L[%S] as %T,", "parameters", paramName, param.type.toTypeName()) ... endControlFlow() 型キャスト } (抜粋) androidx: processors/AppFunctionServiceEntryPointProcessor.kt L284-355 33
  28. まとめ:生成物を「誰がいつ、どう使うか」 Toolアプリ ビルド時 具象Service インストール時 whenで関数へ 関数の呼び出し⼝ 関数IDで振り分けて呼ぶ 関数の仕様(Kotlin) 仕様の型どおりに変換

    Inventory KSP 実⾏時 引数を元の型に戻す Factory データクラスを詰め替え データクラス⽤ AppFunctionData⇄データクラス bind XML 関数の仕様(XML) system_server AppsIndexer XMLをAppSearchに登録 エージェントが関数を探す元に AppFunction ManagerService 34
  29. システムへの登録 XML が AppSearch に載る(関数リストに登録される)まで ビルド時 Tool ツールアプリ Agent エージェントアプリ

    実⾏時 KSP 関数本体 XMLを⽣成 system_server OS インストール時 Toolのプロセス AppsIndexer XMLを読む AppSearch チェック 関数の⼀覧 権限・有効か search ⼀覧を取る・監視 bind Toolを呼ぶ execute 実⾏を依頼 35
  30. アプリがインストールされて登録されるまで system_server ToolのAPK Manifest assets/*.xml PackageManager ①インストール Manifestを覚えるだけ ②ACTION_PACKAGE_ADDED ③XMLのパスを問い合わせ

    AppsIndexer 起動時に受信を登録 ⑤put ④AssetManagerでXMLを読む AppSearch(データベース) appfunctions-db apps-db 有効・無効 ⑥同期 関数の定義 AppFunctionManagerService 変化を通知 apps-dbの変化を監視 system_server の AppsIndexerが、AppSearchに登録する 36
  31. AppSearch とは は、ローカルに保存されている構造 化データを管理するための高パフォーマンスの デバイス上の検索ソリューションです。 AppSearch 端末内の全文検索エンジン + ドキュメントストア //

    公式ガイドのサンプル(短縮) @Document data class Note( @Document.Namespace val namespace: String, @Document.Id val id: String, @Document.StringProperty( indexingType = INDEXING_TYPE_PREFIXES ) val text: String, ) session.setSchema( SetSchemaRequest.Builder() .addDocumentClasses(Note::class.java) .build()) session.put( PutDocumentsRequest.Builder() .addDocuments(note).build()) session.search("fruit", searchSpec) ( 。引用は日本語版の冒頭) developer.android.com/develop/ui/views/search/appsearch 2026-10-11 37
  32. AppSearch のキーワード キーワード 公式ガイドの説明 Database スキーマに沿ったドキュメントの集まり。作ったアプリ(システム)だけが開ける Session DB を開いたときに返る操作の入口 Document

    データの単位。Namespace と ID で一意に決まる Schema データの構造 Namespace 異なるソースデータの分離に使用される ※ AppFunctions では、1 つの関数が 1 つの Document に相当する Put createSearchSession DBを開き、スキーマを設定 Documentを⼊れる ( Search クエリで探す ) developer.android.com/develop/ui/views/search/appsearch Database and session / Schema and schema types / Documents 38
  33. Storage と Session の種類 ストレージ インデックスの置き場所 他のアプリと共有 LocalStorage アプリのデータディレクトリ できない

    PlatformStorage system_server(Android 12 以降) できる PlayServicesStorage Google Play 開発者サービス できる Session つなぐ先 AppSearchSession 名前を指定して開く1 つの DB GlobalSearchSession アクセス権のあるすべての DBを横断して検索 AppFunctions の DB は PlatformStorage ( 、 developer.android.com/develop/ui/views/search/appsearch Platform Storage, Local Storage or Play Services Storage 2026-10-07 ・ ・ AppSearchSession.java GlobalSearchSession.java PlatformStorage.java の Javadoc ) / androidx appsearch: 39
  34. がAppSearchへ書き込む AppsIndexer モジュールには、 データの分類でインデクサが分かれる AppsIndexerがAppFunctionsの AppSearchのDB(apps-db)を操作 AppSearch が を定義し、 AppsIndexer

    Schema Document put を packages/modules/AppSearch/service/.../appsearch/ ├── contactsindexer/ 連絡先 ├── appsindexer/ アプリ一覧 + AppFunctions └── indexer/ 共通の定期メンテナンス The package contains the implementation of the AppsIndexer used to index metadata about apps and app functions exposed by apps into AppSearch. AOSP AppSearch: appsindexer/package-info.java 40
  35. のアプリインストール監視 AppsIndexer 端末起動時に system_server が AppSearch モジュールを起動し、 AppsIndexer が監視を始める 動くきっかけは

    3 つ パッケージの変化(追加・更新・削除) ロック解除(初回) / 30 日ごと からパッケージ変化の 通知を受けて、全パッケージを見直す PackageManager // AppsIndexerManagerService.java private void registerReceivers() { IntentFilter appChangedFilter = new IntentFilter(); appChangedFilter.addAction( Intent.ACTION_PACKAGE_CHANGED); appChangedFilter.addAction( Intent.ACTION_PACKAGE_ADDED); インストール appChangedFilter.addAction( Intent.ACTION_PACKAGE_REPLACED); appChangedFilter.addAction( Intent.ACTION_PACKAGE_FULLY_REMOVED); appChangedFilter.addDataScheme("package"); mContext.registerReceiverForAllUsers( new AppsProviderChangedReceiver(), appChangedFilter, ...); 受信を登録 AOSP AppSearch: AppSearchModule.java L146-150 / appsindexer/AppsIndexerManagerService.java L132-149, L227-236 / AppsIndexerConfig.java L33 41
  36. がAPKのXMLファイルを取得 AppsIndexer で AppFunctionService を 持つアプリを列挙 ( BIND_APP_FUNCTION_SERVICE が無い Service

    は除く) 2. Service の <property> から XML のパスを得る 得たパスで XML を開き、 parseIntoMapForGivenSchemas で読む 1. intent-filter // AppsUtil.java Intent appFunctionServiceIntent = new Intent(APP_FUNCTION_SERVICE_INTERFACE); List<ResolveInfo> services = packageManager .queryIntentServices(appFunctionServiceIntent, 0); ... // AppFunctionResolveInfo.java v2XmlProperty = packageManager.getProperty( APP_FUNCTION_V2_XML_PROPERTY_NAME, componentName); ... if (v2XmlProperty != null) { return v2XmlProperty; } ... return packageManager.getProperty( APP_FUNCTION_V1_XML_PROPERTY_NAME, componentName); ... // AppFunctionsIndexerUtil.java if (appFunctionXmlInfo.useSchemaForParsing()) { appFunctionXmlInfo.runWithXmlParser(packageManager, xmlParser -> packageAppFunctions.putAll( parser.parseIntoMapForGivenSchemas(...))); } (抜粋) AOSP AppSearch: AppsUtil.java L161-191 / AppFunctionResolveInfo.java L137-155 / AppFunctionsIndexerUtil.java L246-266 42
  37. APK を開いて XML を読む アプリの APK から AssetManager を作って開く Tool

    で AssetManager APK で開く の assets/ をパス が生成した trip_functions.xml がここで読まれる AppFunctions関数単位(xmlの <appfunction> タグ単位)で、 AppSearch ドキュメント 1 件 // AppFunctionResolveInfo.java(runWithXmlParser) Resources resources = packageManager.getResourcesForApplication( mPackageName); ... XmlPullParser parser = KSP AOSP AppSearch: appsindexer/AppFunctionResolveInfo.java L456-477 (抜粋) XmlPullParserFactory.newInstance() .newPullParser(); try (InputStreamReader isr = new InputStreamReader( resources.getAssets() AssetManager .open(mXmlFile.getXmlFilePath()))) { parser.setInput(isr); action.accept(parser); } 43
  38. AppSearch の2つのDB DB apps-db appfunctions-db 中身 関数の定義(静的) データを書き込む主体 可視性 Tool

    アプリが見える AppsIndexer アプリなら誰でも Tool アプリ自身と、 有効・無効(実行時) AppFunctionManagerService EXECUTE_APP_FUNCTIONS などの権限を持つアプリだけ どちらも持ち主は android (system_server)。アプリは直接書かない ※Tool アプリが見えるかは、エージェントの Manifest の <queries> / QUERY_ALL_PACKAGES で決まる(デモは後者) AOSP AppSearch: AppSearchHelper.java L96, L284 / AOSP frameworks/base: AppFunctionRuntimeMetadata.java L49, MetadataSyncAdapter.java L305-320 44
  39. Agent の検索 関数の一覧をどう取るか ビルド時 Tool ツールアプリ Agent エージェントアプリ 実⾏時 KSP

    関数本体 XMLを⽣成 system_server OS インストール時 Toolのプロセス AppsIndexer XMLを読む AppSearch チェック 関数の⼀覧 権限・有効か search ⼀覧を取る・監視 bind Toolを呼ぶ execute 実⾏を依頼 45
  40. の監視と検索 AppFunctionManager は の Agent androidx AppFunctionManager がエントリとなる 監視: observeAppFunctions()

    変化だけを Flow で知らせる 検索: searchAppFunctions() 関数の一覧を取る エージェントアプリで組み合わせる // AppFunctionDiscovery.kt(デモアプリ) fun AppFunctionManager.discoverAppFunctions() : Flow<List<AppFunctionMetadata>> = observeAppFunctions() 変化だけを Flow で通知 .filterIsInstance< AppFunctionsChangeEvent.MetadataChanged>() .map { } .onStart { emit(Unit) } // 初回 .map { 一覧を取り直す searchAppFunctions(AppFunctionSearchSpec()) } デモ: AppFunctionDiscovery.kt(改行調整) / androidx: AppFunctionManager.kt L205-207, L237-241 46
  41. AppSearch に行き着くまで 監視も検索も中継クラスを経由して、 OS の AppFunctionManager を呼ぶ とは別のOSの androidx android.app.appfunctions

    その先は行き先が 2 つ のもの 監視 → AppFunctionManagerService 検索 → AppSearch Agentのプロセス androidx AppFunctionManager 委譲 androidx PlatformAppFunctionReader framework android.app.appfunctions.AppFunctionManager 監視 system_server 通知 監視 AppFunctionManagerService 変化を知らせる androidx: AppFunctionManager.kt L635-643 / AOSP frameworks/base: AppFunctionManager.java L621-657, L702-750 検索 AppSearch apps-db(関数の定義) 47
  42. の実装 observeAppFunctions の中で、 の に を登録 コールバックをイベントに変えて callbackFlow OS AppFunctionManager

    AppFunctionObserver trySend メタデータが変わる(パッケージ単位)→ MetadataChanged 状態が変わる(関数単位)→ StatesChanged androidx: PlatformAppFunctionReader.kt L166-191 (抜粋・改行調整) // PlatformAppFunctionReader.kt callbackFlow { val appFunctionObserver = object : AppFunctionObserver { override fun onAppFunctionMetadataChanged( changedPackageNames: Set<String> ) { trySend(AppFunctionsChangeEvent .MetadataChanged(changedPackageNames)) } override fun onAppFunctionStatesChanged(...) { trySend(AppFunctionsChangeEvent .StatesChanged(...)) } } val observation: AppFunctionObservation = appFunctionManager.observeAppFunctions( Runnable::run, appFunctionObserver) awaitClose { observation.cancel() } }.buffer(Channel.UNLIMITED) callbackFlow イベント送信 48
  43. の実装 searchAppFunctions 条件を OS の型に詰め替えて渡す 関数名 package / / schemaName

    / schemaCategory / schemaVersion / scope デモは指定なし → 見える関数を全部取る 関数の説明文を キーワードで絞り込むことはしない 意味で関数を選ぶのは LLM の役目 suspendCancellableCoroutine: コールバックを suspend に OS は GlobalSearchSession で AppSearch を検索 // PlatformAppFunctionReader.kt val platformSpec = searchFunctionSpec.toPlatformSearchSpec() return suspendCancellableCoroutine { cont -> appFunctionManager.searchAppFunctions( platformSpec, Runnable::run, ...) } // AppFunctionManagerHelper.java(OS) appSearchManager.createGlobalSearchSession( executor, sessionResult -> { GlobalSearchSession session = sessionResult.getResultValue(); ... SearchResults results = session.search( searchSpec .getStaticMetadataAppSearchQuery(), staticMetadataSearchSpec); }); androidx: PlatformAppFunctionReader.kt L62-103 / AOSP frameworks/base: AppFunctionManagerHelper.java L172-216 (どちらも抜粋) 49
  44. 関数登録〜監視・検索まとめ system_server インストール AppsIndexer put AppSearch 変化を通知 AppFunctionManagerService AgentにBinderで通知 Binder

    Agentのプロセス ⼀覧を取り直す searchAppFunctions MetadataChanged observeAppFunctions エージェントは監視し続けている。だから後から入れたアプリも見つかる 50
  45. Agent の関数実行 別プロセスの関数をどう動かすか ビルド時 Tool ツールアプリ Agent エージェントアプリ 実⾏時 KSP

    関数本体 XMLを⽣成 system_server OS インストール時 Toolのプロセス AppsIndexer XMLを読む AppSearch チェック 関数の⼀覧 権限・有効か search ⼀覧を取る・監視 bind Toolを呼ぶ execute 実⾏を依頼 51
  46. 入口は executeAppFunction の AppFunctionManager が エントリとなり、 executeAppFunction() で実行 OS の

    AppFunctionManager を経由 呼ぶ前に androidx は AppSearch を もう一度検索 androidx 戻り値の型変換に 使うメタデータを得るため そのあと system_server が Tool の Service を bind して呼ぶ Agentのプロセス ①メタデータを引く androidx AppFunctionManager ②実⾏ androidx PlatformAppFunctionReader androidx PlatformAppFunctionManagerApi framework android.app.appfunctions.AppFunctionManager system_server AppSearch ①検索 apps-db(関数の定義) ②実⾏ AppFunctionManagerServiceImpl Toolのプロセス ③bindして呼ぶ AppFunctionService 関数本体を呼ぶ androidx: AppFunctionManager.kt L127-153 / PlatformAppFunctionManagerApi.kt L199-251 / PlatformAppFunctionReader.kt L105-117 52
  47. system_server の実行前チェック が宣言したパッケージ名の UID と実際の UID の一致 2. ユーザー権限チェック(複数ユーザー、仕事用プロファイル向け) 3.

    実行権限 4. その関数が有効か( apps-db + appfunctions-db を JoinSpec で結合) 5. Tool の Service を探す(apps-db から) 1. Agent BIND_APP_FUNCTION_SERVICE が付いた Service だけ(Manifestに書いたもの) AOSP frameworks/base: AppFunctionManagerServiceImpl.java L386-560, L652-760 53
  48. 実行権限チェック 判定 Agent を持つ 無条件で OK EXECUTE_APP_FUNCTIONS を持つ 自分の関数なら OK。ほかは

    allowlist に Tool が載っていれば OK 権限なし 自分の関数だけ OK(ML Kit のアプリ内エージェントを想定) EXECUTE_APP_FUNCTIONS_SYSTEM (署名)ごとに、呼んでよい Tool の一覧 一覧はシステムの外の提供元に問い合わせる Tool 側も @AppFunctionAccessLevel で呼べる相手を絞れる(SELF / SYSTEM / ANDROID_TRUSTED。未指定は ANDROID_TRUSTED) allowlist: Agent EXECUTE_APP_FUNCTIONS だけでなくallowlistに載っていることも必要 AOSP frameworks/base: CallerValidatorImpl.java L98-170 / allowlist/SystemAppFunctionAllowlistReader.java L126-186 54
  49. サービスのバインド 呼び出しごとにbindServiceする BIND_FOREGROUND_SERVICE で Foreground Service並の優先度 ただし、※Agent が権限を持つときのみ // RemoteServiceCallerImpl.java

    public boolean bindAndRun() { boolean bindServiceResult = mContext.bindServiceAsUser( mIntent, this, mFlags, mUserHandle); if (bindServiceResult) { ... mDirectServiceVulture = () -> { ... mCancellationSignal.cancel(); }; mCallerBinder.linkToDeath( mDirectServiceVulture, /* flags= */ 0); } ... } 呼び出しごとに bind public void onCompleted() { safeUnbind(); } 終わったら unbind (抜粋) / AppFunctionManagerServiceImpl.java L618-624 AOSP frameworks/base: RemoteServiceCallerImpl.java L117-185 55
  50. アプリのプロセス〜関数が実行 Tool フレームワークの AppFunctionService が呼び出し元 (system_server か)をチェック 2. メインスレッドに切り替える 3.

    androidx の AppFunctionService が メインスレッドの外で メタデータを引き、戻す 4. KSP が生成した具象 Service が when で振り分けて、メインスレッドで 関数本体を呼ぶ 1. Toolのプロセス:Binderスレッド framework AppFunctionService(IAppFunctionService.Stub) メインスレッド getMainExecutor androidx AppFunctionService メタデータを引く ⽣成Service onExecuteFunction AOSP frameworks/base: AppFunctionService.java L118-170 / androidx: AppFunctionService.kt L84-148 / when(functionIdentifier) 開発者の関数 デモ: 生成された Service 56
  51. 全体の流れ(再掲) ビルド時 Tool ツールアプリ Agent エージェントアプリ Agent 実⾏時 ①KSP ⑧関数本体

    XMLを⽣成 system_server OS インストール時 Toolのプロセス ②AppsIndexer ③AppSearch XMLを読む ⑥チェック 関数の⼀覧 権限・有効か ④search ⼀覧を取る・監視 ⑦bind Toolを呼ぶ ⑤execute 実⾏を依頼 と Tool は一度も直接つながらない。間に入るのはいつもシステム 57
  52. 作ったもの tool: ツールアプリ 2 つ tripapp: getTravelInfo / saveItinerary /

    searchItineraries / bookFlight message: sendMessage agent: Koog を使ったエージェントアプリ 入力欄と応答、ツール呼び出しの表示 使えるツールの数と一覧を表示できる LLM は gemini-3.5-flash-lite agent は root 化エミュレータの priv-app に置いて実行権限を得る ( ) github.com/hiroaki404/appfunctions-koog-agent-demo Koog 1.2.0 appfunctions-koog-agent-demo/ ├── tool/ │ ├── tripapp/ 旅行アプリ │ └── message/ メッセージアプリ └── agent/ エージェントアプリ hiroaki404/appfunctions-koog-agent-demo 59
  53. 通常、Koog のツールはビルド時に決まる ツールはクラスとして書く 引数の型もビルド時に決まる でも AppFunctions は実行時にしか 分からない 後から入るアプリもある //

    ふつうの書き方: bookFlight だけを呼べる固定ツール object BookFlightTool : SimpleTool<BookFlightTool.Args>() { @Serializable data class Args(val from: String, val to: String, val date: LocalDate) ... } val toolRegistry = ToolRegistry { tool(BookFlightTool) } 説明用の例(デモ初期の固定ツール AddTool.kt と同じ考え方。コミット 6fe2519) 60
  54. メタデータからツールを作る で得た search AppFunctionMetadata から 関数 1 つ = ツール

    1 つ Koog のToolの説明 ToolDescriptor を 実行時に組み立てる Tool の execute で executeAppFunction を呼ぶ 引数は JSONObject のまま受け取る Koog の McpTool と同じ形 デモ: agent/.../AppFunctionTool.kt / AgentRunner.kt(抜粋) 関数それぞれに 1 つずつ Tool を作る // AgentRunner.kt val tools = appFunctions.mapNotNull { metadata -> val descriptor = metadata.toToolDescriptor() AppFunctionTool(manager, metadata, descriptor) } ToolDescriptor を組み立て class AppFunctionTool( private val manager: AppFunctionManager, private val metadata: AppFunctionMetadata, descriptor: ToolDescriptor, ) : Tool<JSONObject, String>(..., descriptor) { override suspend fun execute( args: JSONObject, ): String { val parameters = ... // args を詰め替え val response = manager.executeAppFunction( ExecuteAppFunctionRequest( metadata.packageName, metadata.id, parameters)) return ... // response を JSON に } } 引数は JSON のまま executeAppFunction を実行 61
  55. の型データとAppFunctionsの型データの変換 Koog // p61 の toToolDescriptor() の中: 引数ごとに型を変換 fun AppFunctionMetadata.toToolDescriptor()

    = ToolDescriptor(name = ..., description = ..., requiredParameters = parameters.filter { ... }.map { ToolParameterDescriptor(it.name, ..., it.dataType.toToolParameterType(...)) }, ...) fun AppFunctionDataTypeMetadata.toToolParameterType( components: AppFunctionComponentsMetadata, ... ): ToolParameterType = when (this) { is AppFunctionStringTypeMetadata -> enumValues?.let { ToolParameterType.Enum(...) } ?: ToolParameterType.String is AppFunctionLongTypeMetadata -> ToolParameterType.Integer is AppFunctionReferenceTypeMetadata -> components.dataTypes[referenceDataType]!! .toToolParameterType(components, ...) ... } Koog の型に変換 参照先をたどる デモ: agent/.../AppFunctionSchemaConverter.kt(抜粋) ①ツールを作るとき AppFunctionMetadata AppFunctionsの型 ToolDescriptor Koogの型 ②ツールを実⾏するとき 引数(JSON) LLMが返す AppFunctionData executeAppFunctionへ 62
  56. 設計を読み解いてわかったこと わかったこと エージェントはただの権限を持っているアプリで、関数リストや実行はシステムが担う ツールアプリとエージェントアプリは、システムを介して間接的にやり取りする Androidの資産と、KSPやFlow、KotlinPoetなどKotlinの資産を活用して実現されている 開発者が書いたものがどう使われるか 開発者が書くもの いつ使われるか どう届くか 何に効くか

    実行時 エージェントが どのアプリを、 app_metadata.xml (読むかはエージェント次第) PackageManager で直接読む どう使うか インストール時に登録され、 KSP → XML → AppsIndexer → LLM が選ぶ関数と、 KDoc・関数の定義 検索結果で返る AppSearch → 検索結果 渡す引数 Service 実際の処理・スレッド・ 関数の実行時 システムが bind して呼ぶ (関数の実装) エラー、型の解決 androidx: AppFunctionPackageMetadata.kt L115-130, AppFunctionSearchSpec.kt L95-125 65
  57. どうやったらいい Tool を設計できるか app_metadata と KDoc がいつ使われるかを意識して書く 関数をまたぐ呼び出し順は app_metadata に、関数の説明は

    KDoc に書く 検索のためにキーワードを並べる必要はなさそう (ただし、エージェントの実装による) 型の複雑さに注意 LLM は構造化が苦手。複雑な型は特に検証する androidx: AppFunctionSearchSpec.kt L95-125 66
  58. どうやったらいい Tool を設計できるか(続き) 並行性・待機 関数はメインスレッドで動く。重い処理は withContext で別スレッドへ(I/O は Dispatchers.IO 、計算は

    Dispatchers.Default ) タイムアウトはエージェント次第。長い処理は WorkManager に任せ「始めた」と返す (ダウンロード等) アプリ起動中にも関数が実行される想定をする アプリが特定画面を開いているときだけ実行される関数もある。(@AppFunctionSignature) androidx: AppFunctionDeclaration.kt L26-30 / AOSP frameworks/base: AppFunctionService.java L128-135, ServiceConfig.java L47-50 67
  59. どうやったらいい Tool を設計できるか(続き) 安全性(関数実行の確認) ライブラリに確認の仕組みはない → 破壊的な操作は 基本的に公開せず、公開するなら、Tool側で安全性を担保する 確認ダイアログと A2UI

    の実装を試作しました が UI 情報を返し、エージェントが A2UI で描画 承認用の引数を独自の取り決めで定義し、 エージェントが確認ダイアログを出せるようにした おそらく AppFunctions に現時点でこの仕組みはないので、今後に期待 Tool デモ: hiroaki404/appfunctions-koog-agent-demo(a2ui ブランチ) 68
  60. 良い Tool の設計: そのほか ドメインレイヤーやデータレイヤーのメソッドを関数として そのまま公開しない エージェントからみればAPIのレイヤー。 入力も出力もエージェント向けに設計し、エージェントから呼ばれることを想定した処理も必要 説明は LLM

    が読む。ただし命令ではなく、何をする関数かを書く 言語は英語推奨(Google の回答) 引数はデフォルト値を書くと省略可能。ただし値は使われず null・0・false が届く エラーは原因に合う AppFunctionException のサブクラスで返す 詳しくは公式の AppFunctions quality guidelines か skill へ developer.android.com/ai/appfunctions/quality-guidelines github.com/android/skills/tree/main/device-ai/appfunctions Issue Tracker: b/551999767 (KDoc の言語) / AppFunctions Quality guidelines(2026-10-28) 69
  61. これからの AppFunctions 制限と許可 これまでは Agent も Tool も限られたアプリだけ Tool: おそらく広く利用可能になると予想される

    Agent: 他のアプリを呼ぶのは引き続き特権 自分の関数は ML Kit のアプリ内エージェントから ツールが増えたとき、どれが選ばれるか の では、キーワードをクエリとして渡せない 基本的に内容では絞り込まず一覧を一括で取ることを前提としている androidx AppFunctionManager パッケージ名や関数名で指定することは可能) ( システム側の順位付けはない。選ぶのは エージェントの実装やLLM 無数の MCP や skill がある状態 AOSP frameworks/base: AndroidManifest.xml L9492-9515 / SystemAppFunctionAllowlistReader.java L126-187 / ADS 2026 / d.android.com/distribute/aep 70
  62. まとめ 問い 答え KSP が XML を生成し、 Q1. アノテーションと KDoc

    だけで、 AppsIndexer が AppSearch に載せる。 なぜ見つけて、選べる? 選ぶのは app_metadata と KDoc を読んだ LLM AppsIndexer が PackageManager の Q2. エージェントアプリ起動後に入れたアプリを、 インストール通知を受けて登録。 なぜ見つけられる? その変化が Flow で届き、検索し直す system_server がチェックし、 Q3. 別プロセスの関数を、 Binder で仲介して Tool のプロセスで実行。 誰が許可して、どう動かす? Tool も呼べる相手を宣言できる 72
  63. 参考文献(1/2) 公式ドキュメント ( を含む) AppFunctions overview FAQ https://developer.android.com/ai/appfunctions Add AppFunctions

    to your app https://developer.android.com/ai/appfunctions/add-appfunctions AppFunctions quality guidelines https://developer.android.com/ai/appfunctions/quality-guidelines Create and manage connected apps https://developer.android.com/ai/appfunctions/create-manage-connected-apps AppSearch https://developer.android.com/develop/ui/views/search/appsearch リリースノート androidx.appfunctions https://developer.android.com/jetpack/androidx/releases/appfunctions 動画 Android Dev Summit 2026 keynote https://www.youtube.com/watch?v=8Lmv7LGgL4E Integrate your app with the Android intelligence system https://www.youtube.com/watch?v=UsqDEfyOH2E Extend your app to Gemini and Search with the Connected Apps Platform https://www.youtube.com/watch?v=-4G-4w9FKDw The Android Show: I/O Edition 2026 https://www.youtube.com/watch?v=dXCCleAddEA 73
  64. 参考文献(2/2) ソースコード・サンプル ( ) AOSP frameworks/base(Android 17) androidx appfunctions 1.0.0-beta01

    https://github.com/androidx/androidx/tree/androidx-main/appfunctions https://android.googlesource.com/platform/frameworks/base/+/refs/heads/android17-release/core/java/android/app/appfunctions/ https://android.googlesource.com/platform/frameworks/base/+/refs/heads/android17-release/services/appfunctions/ ( ) AOSP AppSearch appsindexer https://android.googlesource.com/platform/packages/modules/AppSearch/+/refs/heads/android17release/service/java/com/android/server/appsearch/appsindexer/ ( android/appfunctions Testing Agent )https://github.com/android/appfunctions Koog https://github.com/JetBrains/koog Issue Tracker (Gemini から呼ばれない) https://issuetracker.google.com/issues/539569496(マルチモジュール) https://issuetracker.google.com/issues/551999767(KDoc の言語) https://issuetracker.google.com/issues/490650368 デモリポジトリ 74

More Decks by hiro

Other Decks in Programming