KI ist auf Trainingsdaten angewiesen. Themen, die in gut dokumentiert sind, können von KI sehr gut beantwortet werden (z.B. Allgemeinwissen, das in endloser Breite dokumentiert ist oder auch Code-Generierung in verbreiteten Programmiersprachen, da das Internet voll ist mit Quellcode). Stellt man Fragen, zu denen es keine Informationen gibt - z.B. zu einem Software-Update, wo es nur sehr schmale Release-Notes gibt oder zu einer ganz nischigen Skript-Sprache für irgendwelche speziellen Geräte, dann erfindet die KI eine Antwort, die plausibel klingt.
Bei der Frage, die du gestellt hast, weißt du also vorher, dass die Antwort frei erfunden ist. Das heißt bei einer ja/nein-Frage ist es eine 50:50-Chance. Du hättest prinzipiell auch deine Oma fragen können, allerdings hätte die wahrscheinlich nicht geraten, sondern gesagt „keine Ahnung, woher soll ich das wissen?“. Die einzige Möglichkeit ist, auf einer Quellenangabe zu beharren - damit kann man den Fall abdecken, dass es doch irgendwo im Internet eine Information gibt, die man selbst übersehen hat.