きょうは毒きのこ日和です

2012年よりiPadを使い始めて10年が経過しました。​
僕は当初よりWindowsPCも持ち運びたかったのですが、iPad/NotePC合計で
1.5kg超えが確実だったので何とか軽量化という事を考えていました。
ここではiPadをBLEキーボードとして使えないかソフトを作って検討しています。

現状何処まで作れたの？
　　　詳細は作成記録に任せますが、一応実機で本ブログの入力が出来る様になりました。
　　　但しipadのソフトキーボードの入力感に及ばず、まだまだ改善していく予定です。
　　　
　　　とは言え・・・　　現状で気付く問題/修正点はSwiftPlaygrounds側ばかりです。
　　　なので、SwiftPlaygroundsの使い方の調査・修正・確認のターンが長引くばかり。

　　　SwiftのGUI周りをサポートしてくれる方が欲しいな～と悶々とする今日この頃です。

---

　　　　　　　　　　　　ココからは作成記録です。

---

キーボードを作る仕様とその進捗
　　＝＞どんな作りにするか？で　　接続はこんな感じ考えています
　　　　　　iPadPro ー①ー＞ ESP32 ー②ー＞ ESP32 ー③ー＞ PC
　　　　　　①：BLE通信（既に自作した通信関数を利用）
　　　　　　②：UART通信（新規作成）
　　　　　　③：Bluetooth Keyboard接続（サンプルを流用）
　　　　　　普段から利用している①と②なので、主にiPadPro部と③の作成です。


　　＝＞実際にハードをつくりました。　２台のESP32をUARTで繋ぐだけです。
　　　　　　　
　　　　　ソフト書き込みで不具合が起きたので電源スイッチを付けました。

　　＝＞iPadのSwiftPlaygroundでキーボードGUIとBLE通信を作ります
　　　　　　　
　　　　　各キーはkeycodeを持ちpress/releaseが検知できる仕組みです。
　　　　　press/releaseを検知すると全キーのpress/release状態をkeycode順の
　　　　　bit配列にしてBLE通信で送信します。　　　　　　以上ｗ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　※まずココからですよね～～～～


SwiftPlaygroundのソフト作成で起きた問題
　　　解決済　＞＞キーボードレイアウトがががが
　　　　　　　SwiftUIの基本的なモノで作っています。(不勉強であまり知らない為)
　　　　　　　HStack/VStackでの対応なので現在は四角形しか作れていません。
　　　　　　　反Ｌ字型のリターンキーは挫折して四角で我慢しました。

　　　解決済　＞＞キーボタンのonPress / onReleaseイベントが取れない
　　　　　　　基本構想でも紹介しているとうりkeydown/keyupが必要であり、
　　　　　　　clickイベントはお呼びでは無いので実現方法を探しました。
　　　　　　　​アチコチ探した末にコチラのサイトに紹介がありました。（感謝～​

　　　解決済　＞＞ButtonUIの登録部分のソースコードが長すぎる
　　　　　　　10キー無しキーボードでも90個分ぐらいのキー位置登録があるので、
　　　　　　　1キー１行でないと見通しが悪く作りにくい事が判りました。
　　　　　　　※別途struct ＊＊＊key : view等で詳細を記述して登録部を改善

　　　＞＞入力が変だ
　　　　　　　ipadのソフトキーボードの様に入力できないので不具合をセッセと潰します
　　　　　　　SHIFT/CTRLなどがワンクッション遅れでの動作の様な気がする・・・
　　　　　　　キーリピートも気にする必要もありそうだし、問題山積な予感

　　　＞＞キー入力後にKeyPress状態の色のキーが残っている
　　　　　　　Releaseイベントが発生しない状況があるらしい・・・・
　　　　　　　Pressイベント時にBLE電文送信をしているが、タイミングを変えてみるか？

　　　＞＞キーロック状態を忘れていました
　　　　　　　CapsLockとか何種類かはロック状態を維持できる事を忘れてました。
　　　　　　　iOSの画面側は判る表示が出来る様にしたいと思っています。


ESP32のソフト作成で起きた問題
　　　解決済＞＞ライブラリが101キーボードのディスクリプタで日本語入力できない
                     ディスクリプタを２か所書き換えて１０６キーにすると可能になりました。

　　　解決済＞＞ライブラリの関数はCTRL/SHIFTなどの入力は受け付けない
　　　　　　　keyreport定義にはmodifiersにセットする仕組みを追加しました。

　　　＞＞Keyboard/Mouseコンボのライブラリを見つけました。
　　　　　　　ディスクリプタを106キーボードに書き換えて動作確認中。
　　　　　　　う少ししたらマウスの動作確認も行う予定。

　　　＞＞ESP32-S3/ESP32-C3って凄く良さそうです
　　　　　　　ESP32-S3はUSB HIDも実装できるそうです。USB HIDのキーボード
　　　　　　　サンプルは101キーボードなので日本語入力化を解決してからデス。
　　　　　　　またESP32-C3は安くて小さいので本ユニットの最終版で使うかな？

---

2024年某日　まだマトモに使えないんです
　　　ある程度は上手く動く様な感じです。
　　　しかし僕が普通にタイピングする速度にするとキーupが認識されないモノがあり、
　　　破綻している感じです。　SwiftPlaygroundのプログラムが悪いのか？
　　　ESP32側のソフト・動作設定が悪いのか？　　　悩ましいトコです。

---

2024年4月   MAC買ってソフト作るにはチョット悩ましい
          swiftplaygroundのお陰でiOSでアプリを作成出来そうな気分です。
          ただiphoneや旧ipad向けで作るならMACで開発する必要があります。
          MACを手に入れるのは良いのですが、デベロッパー登録に年会費などなど
          必要コストが悩ましい感じです。

          そんな事ならAndroidに移行して安く上げたいですが、BLE通信ソフト開発デスヨー
          どうしましょうかねー。    どっかAndroidのBLE通信と開発環境を手ほどき
          して欲しい今日この頃であります。