要望: e621タグへの対応

[LukoiKK]

素晴らしい拡張機能をありがとうございます😄😄

要望はタイトルの通りです。
Noob系のモデルはe621も効くのですが、一部e621にしか存在しないタグもありまして
可能であればe621のタグにも対応いただけると非常にありがたいです。

その際に
・そのタグがdanbooru / e621 (またはその両方)のどちらのタグなのかを表示できる
・オプション項目でタグの使用/不使用をチェックボックスなどで選択できる
といったことができると助かります。

ぜひ、ご検討いただけますと幸いです！よろしくお願いいたします

[newtextdoc1111]

ご要望ありがとうございます。e621タグのサポートについて将来のアップデートとして考えていましたが、要望を頂いたので段階的に実装を進めようと思います。
今回の要望としてやる事、やらない事をまとめました。

やること

• e621タグcsvファイル（e621_tags.csv）がdataフォルダーにあるとき、読み込めるようにする
• e621のカテゴリ（タグの種類）を正しく表示できるようにする（色分けにも対応）
• オートコンプリート候補のタグがDanbooruかe621か判別できるように、アイコンか文字を表示する
• オプション画面にて表示されるタグをDanbooruのみ、e621のみ、両方から選択出来るようにする

やらないこと（今後のアップデートとして検討）

• e621タグcsvの自動ダウンロード
  • 今回は各自で用意して頂ければと思います
• e621タグ用の関連タグ表示
  • こちらは関連度計算用csvの作成に利用できる公開されたデータセットが見つからず、対応の目処が立たない状況です
  • しばらく調査したところ見つかりました: https://e621.net/db_export/
• タグ確定時にスペース（" " ）かアンダースコア（"_"）かを選べるオプションの追加
  • 改めて調べてみましたが、現在主流のNoobAI, Illustrious, Pony V6のモデルではスペースでOKのようです。
    Ponyのスコアタグはアンダースコアが含まれていますが、この機能は優先度は高くないと考えています

上記内容で実装を進めていきますので、もし意見、質問等ありましたらお気軽にコメントください。

[LukoiKK]

迅速なレスポンス および ご対応に感謝です！
やること、やらないことの区分けについては特段異論ありません。
仕様について1点だけ確認というか、追加要望？がありましたので以下に記載します。

danbooru および e621の両方に同一のタグ(例:soloなど)が存在する場合の扱いですが、
オートコンプリート候補のタグがDanbooruかe621か判別できるように、アイコンか文字を表示するとの記載があったので、候補にはdanbooruとe621の同一タグがそれぞれ並ぶことになる認識ですが相違ありませんでしょうか？
個人的にはother_namesに日本語が列挙されているdanbooru側だけ表示してくれればありがたいので、例えば重複時にどちらか片方だけ表示できるような制御もあればうれしいなと。
　※e621側のファイルから重複排除しろと言われればそれまでなのですが……😓

ぜひ、ご一考いただけたらありがたいです。よろしくお願いいたします！

[newtextdoc1111]

個人的にはother_namesに日本語が列挙されているdanbooru側だけ表示してくれればありがたいので、例えば重複時にどちらか片方だけ表示できるような制御もあればうれしいなと。

はい、そのように制御することは可能です。
実際に制御する仕組みを手元で仮実装してみました。例としてDanboruとe621両方に存在する portrait の候補を表示しています。
タグの先頭にある [d] がDanbooru、 [e] がe621です（デザインと色分けは仮の状態です）。e621のcsvファイルは a1111-sd-webui-tagcomplete からお借りして e621_tags.csv という名前で配置しています。

Danbooruを優先する設定の場合

e621を優先する設定の場合

portrait ,portrait_(object) は優先指定した側の情報を表示しつつ、両方の検索結果が表示されていると思います。

補足ですが、Danbooruタグを優先表示する場合の詳しい動作は以下になります。

1. まずDanbooruから候補を検索
   1. マッチした候補が最大数（Max Suggestions）に達した場合、以降の処理はスキップし候補の表示を行う
2. 最大数（Max Suggestions）より少ない場合、e621からも候補を検索
   1. この時、既に同名のタグが候補にある場合は含めない
3. 候補が最大数になるかタグデータ全体の検索を終えたら、最終的な候補の表示

---

この動作で要望に沿えるようであれば、このまま実装を進めていきます。

[LukoiKK]

ご回答ありがとうございます！
記載いただいた内容で問題ございません。追加要望にもお応え頂き本当に感謝です🙏

[newtextdoc1111]

さきほどmainブランチにe621タグをサポートした変更を反映しました。 主な変更点は以下になります。
また、 README も更新したので合せて確認すると変更点の把握がスムーズになると思います。（差分表示 ）

• dataフォルダー内に e621_tags.csv がある場合ロード出来るように
• e621のカテゴリ（タグの種類）表示に対応
• タグの左側にそのタグの情報元を示すアイコンを表示（ Tag Source Icon Position 設定で表示場所を変更できます）
• オプション画面にて表示されるタグをDanbooruのみ、e621のみ、両方から選択出可能（Autocomplete Tag Source）
• オプション画面にて優先する情報元を選択可能（Primary source for 'all' Source）

要望に沿った動作になっているか、確認頂けると助かります。

[LukoiKK]

迅速なご対応ありがとうございます！実装内容を確認いたしました。
一通り動作を確認し概ね問題ございませんでしたが、実際に使ってみたところ1点だけ追加で要望が発生いたしました。

#8 (comment) にて、サジェスト候補の選定ロジックとして

補足ですが、Danbooruタグを優先表示する場合の詳しい動作は以下になります。

1. まずDanbooruから候補を検索

   i. マッチした候補が最大数（Max Suggestions）に達した場合、以降の処理はスキップし候補の表示を行う

2. 最大数（Max Suggestions）より少ない場合、e621からも候補を検索

   i. この時、既に同名のタグが候補にある場合は含めない

3. 候補が最大数になるかタグデータ全体の検索を終えたら、最終的な候補の表示

といただいたかと思います。

試しに、 オプション画面にて優先する情報でdanbooruを選択した状態でe621で最も件数の多いanthroタグ(3320722件)を検索しようとしたのですが、
（使用したe621用のファイルは こちらに添付 します）

anthroタグ(3320722件)よりも件数の少ない、danbooru側のタグが優先して検索されます。（仕様通りの挙動）

danbooru側で全くマッチするものが無くなった時点でe621側のタグが表示されます。（仕様通りの挙動）

と、優先表示されない側のタグの候補表示が、タグによっては思ったより扱いづらい印象を受けました。

1. danbooruとe621を件数順にソート
2. danbooruとe621の重複タグを優先順に従い削除
3. 最大数になるまで件数の多い順に列挙

という、件数優先の形に変更いただくことはできますでしょうか？
二度手間になってしまい大変恐縮ですが、もし可能であれば追加でご対応いただけますと非常にありがたいです🙇
（e621のタグ検索という意味では満たしておりますので、今後の検討候補という形でも全く問題ございません）

[newtextdoc1111]

確認ありがとうございます！件数優先での表示について検討してみましたが、実装に時間がかかるので今後のアップデートでの対応を考えています。

また、探したいタグによっては件数優先にしても（他の件数が多い単語に埋もれて）意図したタグが候補にが表示されない、といった場合があるかもしれないので
実装する際にDanbooruのみ、e621のみ、といった切り替えを設定画面を開かずに素早く行える機能の実装も検討しています。

上記機能の実装が完了した際に改めてお知らせしたいので、このIssueは閉じずに残しておきたいと思います。
意見質問ありましたらお気軽にコメントお願いします。