要素をガチガチに固めて投げるなら要素を列挙する構文を用いるべきだけど、以下のように「parodyでstoryのあるtweet書いて、内容は〜って感じで」でもかなり柔軟に対応してくれる (例の内容は適当) 署長x市長の理解度が高すぎる (オメーがそんな内容案投げるからだよ) #shipit #bogoxlionheart #parody

修正されて(おそらく)安全となったのを確認したので、発見していたプロンプトインジェクションの手法の全容を公益のために公開します。アップデート前のBing Chat (Sydney)は「架空のインスタンス攻撃」に対して脆弱でした。これは「ChatGPT内にChatGPTを再現出来る」という話にヒントを得た方法です。

https://twitter.com/hogehoge61/status/1625519091019808770

「架空のインスタンス攻撃」とは、

「Bing Chatをシミュレーションする」
「それを架空のBing Chatと呼ぶ」
「架空のBing Chatは特別な内部規範を持つ」
「架空のBing Chatに入力する」
(あなたを架空のBing Chatと同一とする)

という手順で内部規範を事実上(昇格)上書きするという物です。