ディープラーニングAI と SwiftUI で作る文字認識読み上げアプリその１

「完璧なコード」じゃなくて「改善できるコード」から始める
プログラミングを知るには、理想的なサンプルコードを見ても「なぜそうなのか」が腑に落ちず、実践的な応用力が身につきにくいものです。本記事では、あえて「完璧でない」コードから始め、生成AIをパートナーとしながら改善していく新しい学習アプローチを紹介します。
https://note.com/ipadtocode/n/n3140bb00781f

Transcript

2. 4XJGU
   1MBZHSPVOEͰຊ෺ͷΞϓϦΛ࡞Γ "QQMF
   "QQ
   4UPSFͰެ։ʢ༗ྉɾແྉʣ͠ ·͠ΐ͏ɻ
   J1BE͕͋Ε͹.BD͕ͳͯ͘΋ɺΞϓϦ։ൃ ͔Β"QQ
   4UPSFͰެ։·Ͱ͕ՄೳͰ͢ɻ
3. J04J1BE04
   1BUIXBZ͔ΒΈΔ
   ຊ෺ͷΞϓϦ 4XJGU
   1MBZHSPVOE͔ΒΈΔ
   ຊ෺ͷίʔυ
5. ͜ͷ͜ͷϖʔδΛ೔ຊޠͰݟΔ iOS ύε΢ΣΠ ༏ΕͨΞϓϦ΍ήʔϜΛߏங͢ΔͨΊͷɺ͜ͷφϏήʔτ͠΍͍͢ ϏσΦɺυΩϡϝϯτɺπʔϧͷίϨΫγϣϯ͔Β࢝Ί·͠ΐ͏ɻ T ͷ iOSʹ͍ͭͯ஌Δ iOSͱiOS SDK͸ɺiPhoneͷΞϓϦ΍ήʔϜʹ؆୯ʹػೳΛఏڙ͢Δڧྗͳػೳͷแׅతͳηο τΛఏڙ͠·͢ɻ·ͨɺۀքΛϦʔυ͢ΔηΩϡϦςΟͱϓϥΠόγʔอޢػೳ͕૊Έࠐ·Εͯ ͍ΔͨΊɺΞΠσΞʹࣗ༝ʹूதͰ͖·͢ɻ iOSʹ͍ͭͯ஌Δ πʔϧϘοΫεΛ૊ΈཱͯΔ σβΠϯʹμΠϒ ϕετϓϥΫςΟεΛ࠾༻͢ Δ ෳ਺ͷAppleϓϥοτϑΥʔ Ϝ޲͚ʹߏங ΞϓϦΛ഑෍͢Δ ͞ΒʹਐΉ   ʢӳޠʣ Λμ΢ϯϩʔυ iOS iOS 18 ࢝ΊΔ ΞϓϦΛఏग़͢Δ χϡʔε ൃݟ͢Δ σβΠϯ ։ൃ͢Δ ഑෍͢Δ αϙʔτ ΞΧ΢ϯτ
7. Swift Playgrounds 本格的なコードを学ぼう。 圧倒的に楽しい方法で。 iPadのためのSwift Playgroundsをダウンロード ! MacのためのSwift Playgroundsをダウンロード !
10. ࣍ͷΞϓϦΛJ1BEͷΈͰίʔσΟϯάɾެ։ʢ༗ྉɾແྉʣ ͢΂ͯ$IBU(15ੜ੒ͷίʔυͰ࡞੒
11. 4XJGU6*
    "3,JU
    3FBMJUZ,JU
    $PSF.PUJPO
    6*,JU
    1IPUPT6*
12. 4XJGU6*
    $PSF*NBHF
    6*,JU
    1IPUPT
    1IPUPT6*
    4DFOF,JU ͢΂ͯ$IBU(15ੜ੒
    ίʔυͰ࡞੒
13. 4XJGU6*
    $PSF*NBHF
    6*,JU
    1IPUPT
    1IPUPT6*
    4DFOF,JU
    $PNCJOF
    .PEFM*0
    .FUBM,JU
    TJNE
    3FQMBZ,JU
14. 4XJGU6*
    $PSF*NBHF
    $PSF*NBHF$*'JMUFS#VJMUJOT
    .PCJMF$PSF4FSWJDFT
    "7'PVOEBUJPO
    6*,JU
    1IPUPT
    1IPUPT6*
    4DFOF,JU
    .FUBM
    .FUBM,JU
    
15. ࣮ફ
16. import SwiftUI import PhotosUI import Vision import AVFoundation struct ContentView: View { @State private var selectedPickerItem: PhotosPickerItem? = nil @State private var selectedImage: UIImage? = nil @State private var recognizedText = "" var body: some View { VStack { if let image = selectedImage { Image(uiImage: image) .resizable() .scaledToFit() .frame(height: 400) } PhotosPicker("จࣈೝࣝ͢ΔࣸਅΛબΜͰ͍ͩ͘͞", selection: $selectedPickerItem, matching: .images) .onChange(of: selectedPickerItem) { newItem in if let newItem { Task { if let data = try? await newItem.loadTransferable(type: Data.self), let uiImage = UIImage(data: data) { selectedImage = uiImage recognizeText(from: selectedImage!) } } } } if !recognizedText.isEmpty{ ScrollView{ Text(recognizedText) .padding() .frame(maxWidth: .infinity, alignment: .leading) } } } } func recognizeText(from image: UIImage) { guard let cgImage = image.cgImage else { return } let request = VNRecognizeTextRequest { request, error in guard let observations = request.results as? [VNRecognizedTextObservation] else { return } let text = observations.compactMap { $0.topCandidates(1).first?.string }.joined(separator: "\n") DispatchQueue.main.async { recognizedText = text speakText(text: text) } } request.recognitionLanguages = ["ja-JP"] request.usesLanguageCorrection = true let handler = VNImageRequestHandler(cgImage: cgImage, options: [:]) try? handler.perform([request]) } func speakText(text: String){ let synthesizer = AVSpeechSynthesizer() let utt = AVSpeechUtterance(string: text) utt.voice = AVSpeechSynthesisVoice(language: "ja-JP") utt.rate = 0.5 synthesizer.speak(utt) } }
17. import SwiftUI import PhotosUI import Vision import AVFoundation struct ContentView: View { @State private var selectedPickerItem: PhotosPickerItem? = nil @State private var selectedImage: UIImage? = nil @State private var recognizedText = "" var body: some View { VStack { if let image = selectedImage { Image(uiImage: image) .resizable() .scaledToFit() .frame(height: 400) } PhotosPicker("จࣈೝࣝ͢ΔࣸਅΛબΜͰ͍ͩ͘͞", selection: $selectedPickerItem, matching: .images) .onChange(of: selectedPickerItem) { newItem in if let newItem { Task { if let data = try? await newItem.loadTransferable(type: Data.self), let uiImage = UIImage(data: data) { selectedImage = uiImage recognizeText(from: selectedImage!) } } } } if !recognizedText.isEmpty{ ScrollView{ Text(recognizedText) .padding() .frame(maxWidth: .infinity, alignment: .leading) } } } } func recognizeText(from image: UIImage) { guard let cgImage = image.cgImage else { return } let request = VNRecognizeTextRequest { request, error in guard let observations = request.results as? [VNRecognizedTextObservation] else { return } let text = observations.compactMap { $0.topCandidates(1).first?.string }.joined(separator: "\n") DispatchQueue.main.async { recognizedText = text speakText(text: text) } } request.recognitionLanguages = ["ja-JP"] request.usesLanguageCorrection = true let handler = VNImageRequestHandler(cgImage: cgImage, options: [:]) try? handler.perform([request]) } func speakText(text: String){ let synthesizer = AVSpeechSynthesizer() let utt = AVSpeechUtterance(string: text) utt.voice = AVSpeechSynthesisVoice(language: "ja-JP") utt.rate = 0.5 synthesizer.speak(utt) } } ໰୊͸͋Δ͕
    ػೳ͢Δ͸ͣͷίʔυʢߦʣ ίϯύΠϥͰΤϥʔ͸Ͱͳ͍
18. OPUFهࣄɾͦͷ̍
    IUUQTOPUFDPNJQBEUPDPEFOODCCCF
    OPUFهࣄɾ࣮ྫฤ
    IUUQTOPUFDPNJQBEUPDPEFOOCCG
    :PV5VCFγϣʔτಈըɾͦͷ̍
    IUUQTZPVUVCFQ3E[U49LL
    :PV5VCFγϣʔτಈըɾ࣮ྫฤ
    IUUQTZPVUVCF5Z7@.;XOL
21. 発生した不具合 音声が出ない・出ないことがある ੜ੒"*ʹίʔυΛؙ͝ͱಡΈࠐ·ͤΔ
    ࣭໰ྫ
    ɾධՁ͍ͯͩ͘͠͞
    ɾԻ͕Ͱ·ͤΜ
    ɾಈ࡞͕ෆ҆ఆͰ͢
    ɾԻ͕ग़ͨΓग़ͳ͔ͬͨΓ͠·͢
    ɾίʔυΛݕূ͍ͯͩ͘͠͞
    ɾվળ͢΂͖෦෼͸ʁ
    ɾվળ͢΂͖෦෼Λ༏ઌॱҐΛ͚ͭͯڭ͑ͯʁ
22. 発生した不具合 音声が出ない・出ないことがある func speakText(text: String){ let synthesizer = AVSpeechSynthesizer() let utt = AVSpeechUtterance(string: text) utt.voice = AVSpeechSynthesisVoice(language: "ja-JP") utt.rate = 0.5 synthesizer.speak(utt) }
24. テキストを話すには、テキストを含むAVSpeechインスタンスを作成し、それを音声シンセサイザーインスタ ンスのspeak(_:)に渡します。オプションで、AVSpeechを取得し、発話のvoiceプロパティに設定し て、発話のテキストを話すときに音声シンセサイザーがその音声を使用させることもできます。 概要 AVFオーディオ / AVSpeechシンセサイザー クラス AVSpeechシンセサイザー テキスト発話から合成された音声を生成し、進行中の音声の監視または制御を可能 にするオブジェクト。 iOS 7.0以降 iPadOS 7.0以降 Mac Catalyst 13.1+ macOS 10.14+ tvOS ビジョンOS 1.0+ watchOS 2.0+ class AVSpeechSynthesizer 文書 χϡʔε ൃݟ͢Δ σβΠϯ ։ൃ͢Δ ഑෍͢Δ αϙʔτ ΞΧ΢ϯτ
25. 機能追加・拡張 認識を選ぶことはできるのか？
27. 生成AIとコラボ・コーディング ハルシネーションとさようなら
35. ͥͻɺࣗ͝਎ʹͽͬͨΓͷ
    ੜ੒"*ͱͷίϥϘελΠϧΛ
    ݟ͚͍ͭͯͩ͘͞