ネット記事からツイートを生成する話

Transcript

1. ネット記事からツイートを生成する話 <日付/時刻> <フッター> 1
2. hanaya_white 〜 自己紹介  Shigeki Maeda (Hanaya / Wancoimo )  猫と昼寝をする会 副会長代理  viとawkを愛するロートルITエンジニア  猫が好き、でも猫に嫌われる変なやつ  娘のハムスターにかじられます  趣味でChatGPTをいじっています   対応OS: F-Basic, FLEX, OS-9, MS-DOS, PC-DOS, DOS/V Win3.1, Win95〜Win11, AIX, HP-UX, Irix, OSF/1, Linux(debian系,RH系) 対応言語: F-Basic, 6809アセンブラ, C, FORTRAN, COBOL, SQL, bash, csh, awk, perl, lua, tcl/tk, JavaScript, Java, HTML, CSS, VB, VBA, C#, powershell, python @hanaya_white 2
3. Hanaya’s Job career      1988年 株式会社エイチアイシー  圧力容器図面生成システム( FACOM CADAM/FORTRAN )  新交通システム案内板システム ( FORTRAN )  石油プラント制御システムのプログラム解析 ( FORTRAN )  CAD/CAM/CAE セールスエンジニア (IBM CADAM/CATIA/CAEDS ) 1992年 株式会社オリエントブレイン  工業用監視カメラシステム ( PLC, CAMERA,etc…) 1995年 東洋電子工業株式会社  ソフトウエア管理センター在庫管理システム (Windows95, VisualBasic, SQL)  全国エレベータ管理ネットワーク構築とメンテナンス (HP-UX) 1996年 株式会社ヴァイナス  流体シミュレーションシステム セールスエンジニア (EWS, FIELDVIEW,GRIDGEN,SCULPTOR)  シミュレーション結果画像の自動生成など  シミュレーション入力データの自動生成など 2006年 株式会社キャトルアイ・サイエンス  データ管理用データベースシステム(Linux, Java,Tomcat,PostgreSQL)  スパコンバッチ自動投入システム  遠隔ジョブ実行システム @hanaya_white 3
4. 最近の趣味  2023年2月 ChatGPTというものを知る  2023年3月 APIでChatGPTを使える事を知る  マルチキャラクターチャットボット開発 (C# )  会社の公開データを使ってQAシステムを構築して遊ぶ (REACT+Java )  LangChainでチャットボットを作ってみた (python)  音声認識と音声合成をチャットボットに組み込んでみた (python)  LINEボットを作ってみた (python)  宣伝用にツイート自動生成プログラムを作ってみた (python) @hanaya_white 4
5. ツイート自動生成プログラムの概要  ネット記事を検索する  記事のURLからHTMLをGETする  HTMLから記事本文を抽出する  記事の内容を評価する  ツイートを生成する  生成されたツイートを評価する  ツイートする @hanaya_white 5
6. HTMLから記事本文を抽出する by LLM   最近のHTMLページには大量の広告が掲載されている  ツイート生成時に、広告部分を要約してしまう場合がある  最大トークン数を簡単に超える  API利用料金が・・・・ LLMで除去する場合  ほぼ正確に本文を抽出できるが、確実ではない  そもそも、最大トークン数を超える  API利用料金が・・・ @hanaya_white 6
7. HTMLから記事本文を抽出する by プログラム  可能な限りプログラムで除去する  広告部分を判定する条件     リンクしか無いブロック要素 本文を特定する条件  articleタグ 又は H1 タグ  ページタイトル メリット  無料  アルゴリズム的に結果が予想・保証できる デメリット  作るのが面倒  想定外のHTMLに対応できない @hanaya_white 7
8. 記事の内容を評価する  欲しい内容があるか？    単純なキーワード検索  含んでいるべきキーワード 例）”猫” “cat”  含むべきでないキーワード 例) “販売” “価格” “譲渡” LLMによる判定  例）猫に関連する記事ですか？  例）猫の販売や虐待を含みますか？ 思想的な内容を含まないか？  LLMによる判定  例）政治思想的、半社会的な内容、思想誘導を含みますか？ @hanaya_white 8
9. ツイートを生成する  ツイート生成用のプロンプトをネットから拾って流用  最初は、ほぼ必ず文字数オーバーになる  生成と評価をループして、条件を満たすまで繰り返す 記事 生成 評価 ツイート @hanaya_white 9
10. その他   工夫した点 – 日本国内のニュースは英語でツイート – 国外のニュースは日本語でツイート – 国内外の判定はLLMのstep by stepプロンプトで 課題 – いまいちなツイート • – プロンプト改善 関係ない記事をツイート • 検索と絞り込みを見直し @hanaya_white 10
11. 判定用プロンプト @hanaya_white 11
12. ツイート用プロンプト @hanaya_white 12
13. 評価用プロンプト @hanaya_white 13
14. ご聴取ありがとうございました Thank you for listening @hanaya_white 14