• eine Podcast-Episode erstellen kann, in der vermeintlich Joe Rogan mit Donald Trump oder Barack Obama spricht;
• ein YouTube Video, wo ein bekannter Journalist die Bundeskanzlerin interviewt;
• einen Film, in dem Tom Cruise mit Marilyn Monroe gemeinsam auf dem Motorrad fährt;
• oder ein unappetitliches Video anfertigt und online stellt oder über Plattformen teilt, dass eine Klassenkameradin in einer pornographischen Situation zeigt?

All diese Medien werden kaum oder gar nicht von echten Aufnahmen unterscheidbar sein und all diese Medien werden, wie gesagt, mit äußerst geringen Sachkenntnissen und ubiquitär verfügbaren Computern hergestellt werden können.

Können wir diese Entwicklung noch verhindern? Die Effekte eingrenzen? Können wir das Vertrauen in vermittelte Realität wieder zurückgewinnen, sollte es einmal durch einen Tsunami an solchen Deep Fakes zerstört worden sein?

20.07.23: Risiken durch Halbwahrheiten und Falschinformationen

Quelle: www.risknet.de

Was wird ihr nicht alles zugesprochen, der künstlichen Intelligenz, kurz KI. Doch was steckt eigentlich dahinter? Eine Antwort: Es wird viel über KI geschrieben – ohne methodischen Zugang. So sieht es Frank Romeike. Wir sprachen mit dem Experten für Risikomanagement über die vermeintliche KI sowie den Abhängigkeiten und gefährlichen Schlussfolgerungen.

Herr Romeike, die künstliche Intelligenz wird vielfach als vermeintliche Alleskönnerin im Umgang mit Daten, Analysen und Vorhersagen gepriesen. Zu Recht?

Romeike: Diese These kommt in der Regel von Journalisten und selbst ernannten Experten, die noch nie einen Algorithmus im Bereich Artificial Intelligence, kurz AI, geschrieben haben. Und diesen „Experten“ fehlt oft der methodische Zugang, denn ohne fundierte Kenntnisse in Stochastik, Mathematik und neuronalen Netzen werde ich AI nur an der Oberfläche verstehen.

Seit meiner Zeit bei der IBM und damit seit mehr als 25 Jahren beschäftige ich mich mit AI und Stochastik, etwa bei der Analyse zukünftiger Risikopotenziale. Ich bin allerdings noch nie auf die Idee gekommen, hier von „Intelligenz“ zu sprechen. Denn am Ende handelt es sich um Algorithmen und stochastische Simulationsverfahren. 

Der englische Begriff „Artificial Intelligence“ wird häufig mit „künstlicher Intelligenz“ übersetzt. Dabei bedeutet „Intelligence“ viel mehr Informationsverarbeitung. „Die Central Intelligence Agency heißt ja auch nicht so, weil die so gescheit sind“, sagte einmal der österreichische Kybernetiker und AI-Experte Robert Trappl. AI beschäftigt sich im Kern mit der Nachbildung menschenähnlicher Entscheidungsstrukturen durch Algorithmen.

Das heißt, ein Computer wird so programmiert, dass er eigenständig Probleme bearbeiten kann, beispielsweise Auto fahren, Texte übersetzen oder Go spielen. Von einem Alleskönner sind wir meilenweit entfernt! Kleiner Test zum Ausprobieren: Frage mal ChatGPT nach der zukünftigen Risikolandkarte oder nach der Entwicklung der Kupferpreise für die nächsten sechs Monate.

Mehr im gesamten Beitrag.

28.06.23: Deepfakes – Wenn wir unseren Augen und Ohren nicht mehr trauen können

Quelle: www.swp-berlin.org

Medienmanipulationen im Konflikt: Herausforderungen und Bewältigungsstrategien

Täuschung und Medienmanipulation sind seit jeher fester Bestandteil der Kriegskommunikation. Nie zuvor aber war es derart einfach, qualitativ hochwertige Fäl­schungen von Ton-, Bild- und Videoaufzeichnungen zu erstellen. Die menschliche Neigung, emotional auf diese Medien zu reagieren, eröffnet deren Produzenten eine völlig neue Dimension des Missbrauchs. Mit einem Kapitulationsaufruf von Präsident Selenskyj, der umgehend als Deepfake entlarvt wurde, liegt der erste Versuch eines Einsatzes der neuen Technologie in einem bewaffneten Konflikt vor. Derartige Fäl­schungen werden immer besser, die Erkennung immer aufwendiger und ein Ende dieser Entwicklung ist nicht absehbar. Ein Verbot von Deepfakes ist aussichtslos. Es ist deshalb Zeit, sich mit den aktuellen und potentiellen Anwendungsfällen und mit möglichen Gegenstrategien auseinanderzusetzen.

22.04.21: European MPs targeted by deepfake video calls imitating Russian opposition

Quelle: www.theguardian.com

Politicians from the UK, Latvia, Estonia and Lithuania tricked by fake meetings with opposition figures 

A series of senior European MPs have been approached in recent days by individuals who appear to be using deepfake filters to imitate Russian opposition figures during video calls.

Those tricked include Rihards Kols, who chairs the foreign affairs committee of Latvia’s parliament, as well as MPs from Estonia and Lithuania. Tom Tugendhat, the chair of the UK foreign affairs select committee, has also said he was targeted.

“Putin’s Kremlin is so weak and frightened of the strength of @navalny they’re conducting fake meetings to discredit the Navalny team,” Tugendhat posted in a tweet, referring to the Russian opposition leader Alexei Navalny. “They got through to me today. They won’t broadcast the bits where I call Putin a murderer and thief, so I’ll put it here.”

07.03.21: Deepfake videos of Tom Cruise show the technology’s threat to society is very real

Quelle: www-inputmag-com.cdn.ampproject.org

New deepfake videos of actor Tom Cruise have made their way onto TikTok under the handle @deeptomcruise, and boy do they look real. They’re so realistic, in fact, it’s possible that you wouldn’t even know they’re computer-generated had you not been alerted by the account’s handle. And they were made using not much more than sample footage of Cruise and deepfake technology that’s getting easier for anyone to use.

Not even two years ago it would have been easy to differentiate between a real and an AI-generated video of somebody. But the technology is advancing so rapidly that we’ve reached a point of escape velocity, and it’s obvious that deepfakery isn’t going to be used just for innocent purposes, like animating pictures of your past relatives.

26.12.20:  Deepfake queen to deliver Channel 4 Christmas message

Quelle: bbc.com

This year’s Channel 4 alternative Christmas message will be delivered by a deepfake of the Queen.

While the Queen is delivering her traditional message on the BBC and ITV, her digitally created doppelgänger will be sharing its „thoughts“ on Channel 4.

Buckingham Palace told the BBC it had no comment on the broadcast.

Channel 4 said the intention was to give a „stark warning“ about fake news in the digital age.

Deepfake technology can be used to create convincing yet entirely fictional video content, and is often used to spread misinformation.

In the message, the deepfake will try its hand at a TikTok viral dance challenge.

12.11.19: Deepfake-Video mit Schwarzenegger zeigt unheimliches Potenzial von Videomanipulation

Quelle: Der Standard

Ein Youtube-Kanal zeigt, wie überzeugend und echt Deepfake-Videos wirken können. Ctrl Shift Face erschafft nach eigener Definition „unterhaltsame Deepfake-Videos“. In den kurzen Clips werden die Originalschauspieler berühmter Filmszenen gegen andere Darsteller getauscht. Die Ergebnisse sind beeindruckend.

Jüngste Schöpfung des Youtubers ist ein Ausschnitt aus „No Country for Old Men“ der Gebrüder Coen, in dem Darsteller Javier Bardem einmal gegen Arnold Schwarzenegger, einmal gegen Leonardo DiCaprio und einmal gegen Willem Dafoe ersetzt wurde. Damit das Ganze noch realer wirkt, wurde auch Bardems Stimme ersetzt. Dafür greift der Deepfake-Profi auf die Hilfe menschlicher Stimmenimitatoren zurück.

04.11.19:  Securing Artificial Intelligence – The attack surface of machine learning and its implications

Quelle: www.stiftung-nv.de (Studie)

For governments and policy-makers dealing with national and cybersecurity matters, but also for industry, this poses a new challenge they need to face. The main reason is that the diffusion of machine learning extends the attack surface of our already vulnerable digital infrastructures. Vulnerabilities in conventional software and hardware are complemented by machine learning specific ones. One example is the training data which can be manipulated by attackers to compromise the machine learning model. This is an attack vector that does not exist in conventional software as it does not leverage training data to learn. Additionally, a substantial amount of this attack surface might be beyond the reach of the company or government agency using and protecting the system and its adjacent IT infrastructure. It requires training data potentially acquired from third parties which, as mentioned, can already be manipulated. Similarly, certain machine learning models rely on input from the physical world which also makes them vulnerable to manipulation of physical objects. A facial recognition camera can be fooled by people wearing specially crafted glasses or clothes into thinking that they don’t exist.

The diffusion of machine learning systems is not only creating more vulnerabilities that are harder to control but can also – if attacked successfully – trigger chain reactions affecting many other systems due to the inherent speed and automation. If several machine learning models rely on each other for decision making, compromising one might automatically lead to wrong decisions by the subsequent systems – unless there are special safeguards in place. A safeguard could for example be that for certain decisions a human always have to approve a decision made by such a system before it triggers further actions. In addition, machine learning makes detection and attribution of attacks harder. Detecting unusual behavior, distinguishing it from mistakes made for example by the developers and tracing it back to the original point where the attacker manipulated the system, is difficult as it requires full understanding of the decision-making process of the model. Attribution is further complicated by the fact that interference can take place in many stages in the virtual as well as the physical world. It might for example be impossible to prove who put patches on a street to misdirect passing autonomous vehicles.

23.09.19: Wirbel um chinesische Videofälsch-App

Quelle: orf.at

Eine neue Smartphone-App aus China sorgt derzeit für Aufregung. Nutzer können mit „Zao“ virtuell in die Hauptrolle in einem Film oder einem Musikclip schlüpfen, indem die App das Gesicht des Schauspielers mit einem Selfie-Foto des Nutzers überlagert. Das Ergebnis zeigt, wie einfach sich Videos bereits fälschen lassen.

Dass Fotos schon von Laien ganz einfach mittels Bildbearbeitung verändert werden können, ist allseits bekannt. Eine neue App aus China zeigt, dass das inzwischen auch bei Videos möglich ist, wie Bloomberg berichtet.

Deepfake-Beispiele fluten das Netz

Die „Zao“ genannte App kann die Videobilder mittels künstlicher Intelligenz realistisch fälschen – diese Technik wird auch als „Deepfake“ bezeichnet, einer Zusammensetzung aus „Deep Learning“ und „Fake“. Vor wenigen Tagen erstmals veröffentlicht (die App ist bisher nur in China erhältlich), wurde die App sofort zum Hit. Sie liegt an der Spitze der chinesischen Download-Charts und die damit produzierten Videoclips und Memes fluten die Sozialen Netzwerke in China.

Die Ergebnisse sind verblüffend. Der Twitter-Nutzer Allan Xia postete ein Beispielvideo, bei dem er mit Hilfe der App sein Gesicht in diverse Auftritte von Leonardo DiCaprio montieren ließ. Nötig war dafür nur das Hochladen eines Handyfotos, laut Xia wurde das Video in unter acht Sekunden fertiggestellt.

Gefälschte Nachrichten und Propaganda befürchtet

Experten fürchten zudem, dass Kriminelle derartige Software zum Austricksen von Gesichtserkennungsprogrammen nutzen und sich so Zugang zu Bankkonten oder anderen Diensten zu verschaffen könnten.

Auch sehen Kritiker die Gefahr, dass mit Zao manipulierte Videos zur Verbreitung von Falschnachrichten oder auch missbräuchlich zur politischen Meinungsbildung etwa vor Wahlen verwendet werden könnten.

26.05.19:  Samsung Now Has a Way To Make Ultrarealistic Fake Videos With Just One Photo

Quelle: gizmodo.com

25.05.19: Betrug per Stimmsynthese

Quelle: www.deutschlandfunknova.de

Die Allianztochterfirma Euler Hermes hat eine neue, perfide Betrugsmasche entdeckt: Kriminelle nutzen dazu eine Software, die die Stimme des Chefs imitiert. Eine deutsch-britische Firma wurde auf diese Art und Weise gerade um 220 000 Euro erleichtert.

Die Fake-President-Masche, also dass sich jemand als Chef ausgibt und Geld abzockt, ist übrigens nicht neu. Den Rekord hält hier der chinesisch-österreichische Luftfahrtzulieferer FAAC. Das Unternehmen wurde Weihnachten 2015 um 53 Millionen Euro erleichtert. Der Trick funktionierte ähnlich, aber statt über eine gefakte Telefonstimme lief die Kommunikation komplett per Mail. Dass jetzt Deep Fake Audios zum Einsatz kommen, ist laut des Fachblattes Versicherungsmonitor“ ein neues Phänomen“.

Die Stimme des Unternehmenschefs wurde gefaked. Mithilfe der Software Lyrebird. Das kanadische Start-up wirbt damit, dank eines neuronalen Netzwerks jede Stimme klonen zu können. Dazu reicht bereits ein Audioschnipsel von einer Minute. Etwa aus einer Sprachnachricht.

14.03.19: Maschinelles Lernen: Das Problem der Nachvollziehbarkeit

Quelle: www.heise.de

Immer mehr Studien setzen auf aktuelle KI-Verfahren, um große Datenmengen nach interessanten Erkenntnissen zu durchforsten. Dabei werden erstaunlich oft Muster gefunden, die eigentlich gar nicht real sind.

Die Antworten, auf die maschinelles Lernen kommt, müssen nicht korrekt sein, weil besagte Muster auch dann erkannt werden, wenn sie nur in den Daten stecken und nicht in dem, was die Daten eigentlich repräsentieren. Das Problem der Nachvollziehbarkeit, also die berühmt berüchtigte „Reproducibility Crisis“ von Forschungsergebnissen, die Überprüfungen durch unabhängige Wissenschaftler nicht standhalten, könnte wegen ML noch beschleunigt werden. Oft werden diese Fehler laut Allen erst dann entdeckt, wenn ein neuer großer Datensatz daherkommt und die ML-Verfahren auf diesen angewendet werden. Die Statistikerin sagte gar, ein „riesiger“ Teil der problematischen Studien könnte aufgrund fehlerhafter ML-Techniken kommen.

06.01.19: This clever AI hid data from its creators to cheat at its appointed task

Quelle: techcrunch.com

Depending on how paranoid you are, this research from Stanford and Google will be either terrifying or fascinating. A machine learning agent intended to transform aerial images into street maps and back was found to be cheating by hiding information it would need later in “a nearly imperceptible, high-frequency signal.” Clever girl!

But in fact this occurrence, far from illustrating some kind of malign intelligence inherent to AI, simply reveals a problem with computers that has existed since they were invented: they do exactly what you tell them to do.

Although it is very difficult to peer into the inner workings of a neural network’s processes, the team could easily audit the data it was generating. And with a little experimentation, they found that the CycleGAN had indeed pulled a fast one.

The intention was for the agent to be able to interpret the features of either type of map and match them to the correct features of the other. But what the agent was actually being graded on (among other things) was how close an aerial map was to the original, and the clarity of the street map.

So it didn’t learn how to make one from the other. It learned how to subtly encode the features of one into the noise patterns of the other. The details of the aerial map are secretly written into the actual visual data of the street map: thousands of tiny changes in color that the human eye wouldn’t notice, but that the computer can easily detect.

In fact, the computer is so good at slipping these details into the street maps that it had learned to encode any aerial map into any street map! It doesn’t even have to pay attention to the “real” street map — all the data needed for reconstructing the aerial photo can be superimposed harmlessly on a completely different street map, as the researchers confirmed.

One could easily take this as a step in the “the machines are getting smarter” narrative, but the truth is it’s almost the opposite. The machine, not smart enough to do the actual difficult job of converting these sophisticated image types to each other, found a way to cheat that humans are bad at detecting. This could be avoided with more stringent evaluation of the agent’s results, and no doubt the researchers went on to do that.

As always, computers do exactly what they are asked, so you have to be very specific in what you ask them. In this case the computer’s solution was an interesting one that shed light on a possible weakness of this type of neural network — that the computer, if not explicitly prevented from doing so, will essentially find a way to transmit details to itself in the interest of solving a given problem quickly and easily.

This is really just a lesson in the oldest adage in computing: PEBKAC. “Problem exists between keyboard and chair.” (Not “and computer,” as I accidentally wrote before, obviously. That would imply a faulty cable or wireless interface. Thanks to everyone on the internet for pointing it out.) Or as HAL put it: “It can only be attributable to human error.” 

02.09.18: Mit KI und ML steigt Gefahr von Deepfake-Angriffen

Quelle: www.secupedia.info NTT Security sieht die Gefahr, dass Deepfakes, das heißt manipulierte Medieninhalte wie Bilder, Videos oder Audio-Files, „künftig – spätestens 2019 – deutlich an Bedeutung“ gewinnen werden. Die dabei eingesetzten Machine-Learning-Methoden würden weiter optimiert werden und auch die Realisierung von Deepfakes sei keine zeit- und kostenaufwendige Herausforderung mehr, begründete das Unternehmen: „Die dahinterstehenden Technologien wie Künstliche Intelligenz und Machine-Learning-Algorithmen haben sich in letzter Zeit rasant weiterentwickelt, sodass aktuell vielfach kaum mehr Original von Fälschung zu unterscheiden ist.“ Da bisher keine ausgereiften technischen Abwehrmechanismen zur Verfügung stünden, müssten Unternehmen „größte“ Vorsicht walten lassen. So könnten etwa Video-Deepfakes mit im Internet frei verfügbaren Tools wie der Software FakeApp und überschaubaren technischen Kosten erstellt werden. Benötigt werden, so heißt es, lediglich eine Webcam für rund 80 Euro, ein Greenscreen für rund 90 Euro und eine Grafikkarte für rund 1.000 Euro. Auch ein Audio-Deepfake sei inzwischen einfach zu realisieren. In der Vergangenheit musste ein Modell noch anhand von Sprachdaten mit mindestens fünf Stunden Länge erstellt werden. Heute gebe es öffentlich verfügbare Tools, die das Synthetisieren von neuen Stimmen auf Basis eines vorhandenen Modells mit nur einer Minute an Audiomaterial ermöglichen würden. „Die Deepfakes werden immer besser, und es wird damit immer schwerer, sie zu erkennen. Auch die Auswirkungen für Unternehmen werden deshalb nicht lange auf sich warten lassen. Das mögliche Angriffsszenario reicht von der Übernahme von Identitäten bis zur Erpressung von Unternehmen“, erklärt David Wollmann, Executive Consultant bei NTT Security, dem auf Sicherheit spezialisierten Unternehmen und „Security Center of Excellence“ der NTT Group.

04.05.18: Ziemlich dumme Netzwerke

Quelle: www.falter.at

Hat Deep Learning eigentlich irgendwo eine Grenze?

Hanbury: Theoretisch nicht. Aber man muss im Auge behalten, dass Deep-Learning-Netzwerke eigentlich ziemlich dumm sind, denn sie sind nur für eine Aufgabe trainiert. Ein Netzwerk, das Objekte in Fotos erkennt, kann nur das und nichts anderes. Es kann zum Beispiel nichts mit einem Röntgenbild anfangen. In ihrem jeweiligen Bereich sind diese Netzwerke wirklich gut, aber nicht darüber hinaus. Es wird zwar bereits an einem „Transfer Learning“ gearbeitet und geforscht, aber eine Art generalisierter Intelligenz zu erzeugen ist noch nicht gelungen. Es ist auch leicht, ein Deep-Learning-Netzwerk zu verwirren, etwa im Bildbereich. Es ist schon bei bestimmten Bildern demonstriert worden: Wenn etwa nur ein paar wenige Pixel verändert werden, kann das System das abgebildete Objekt nicht mehr identifizieren. Das Problem ist, dass wir nicht wissen, was in dieser riesigen Anzahl von Neuronen und Schichten genau vor sich geht. Wir wissen nicht, was genau das Ding eigentlich lernt. Denn es ist ein sehr komplexes mathematisches System, das versucht, Charakteristiken im Bild so effizient wie möglich zu identifizieren. Wenn man dann zufällig genau das verändert hat, was für das System zur Identifikation wesentlich ist, sieht es etwas anderes. Wir wissen eben nicht, auf welcher Basis so ein Netzwerk seine Entscheidungen trifft. Wir können aufgrund der Komplexität und der vielen Schichten im neuronalen Netzwerk den Informationsfluss innerhalb des Systems nicht nachvollziehen.

12.03.18: Erschreckend echt

Quelle: www.tagesanzeiger.ch

Ein Programm ermöglicht die fast perfekte Illusion: Deepfakes sind täuschend echte Videomanipulationen.

Noch ist die Fakeapp für Technikamateure nicht ganz einfach zu bedienen. Sie bedarf darüber hinaus anscheinend grosser Rechenleistung – je perfekter das Ergebnis sein soll, desto länger dauert der «Trainingsprozess» – und ein gutes Ausgangsmaterial: Wer wirklich täuschend echte Videomanipulationen erstellen möchte, braucht Hunderte, vielleicht sogar Tausende Fotos eines Gesichts, das dazu noch auf einen Körper passt. Dass Buscemis markante Visage nicht zu Stones Körper gehört, erkennt man sofort. Wer ernsthaft täuschen möchte, muss sich mehr Mühe machen.

Doch die App wird weiterentwickelt und benutzerfreundlicher werden (derzeit ist sie als Version 2.2 erhältlich) und die, die sie bedienen, ihre technischen Fähigkeiten ebenfalls ausbauen. Auf Reddit wurden das Programm und die resultierenden Videos – vor allem die pornografischer Art – derart populär, dass die Forumbetreiber sich zum Eingreifen gezwungen sahen. Seit Januar sind mehrere Subreddits geschlossen worden, Fakeapp hat für seine Nutzer kurzerhand auf der eigenen Website ein Forum eingerichtet. Auch Twitter und die Pornoseite Pornhub haben derartige Deepfake-Videos entfernt.

In den USA gibt es bereits vereinzelt Politiker, denen diese Form von Manipulation so grosse Sorgen bereitet, dass sie gar ein neues Fake-News-Zeitalter aufziehen und Handlungsbedarf sehen. IT-Experten wie Aviv Ovadya von der Universität von Michigan teilen diese Sorgen und weisen darauf hin, dass Fake-Videos nur ein Aspekt einer düsteren digitalen Zukunft sein könnten.

Ein weiterer Aspekt, der skeptisch machen sollte, wird derweil auf Reddit diskutiert: Man weiss nicht, wer hinter der Fakeapp steckt. Eine Abfrage in der Domain-Registratur für fakeapp.org verweist lediglich auf einen Host in Toronto, Kanada. Der Betreiber der App will gegenüber Roose, dem Journalisten der «Times», lieber anonym bleiben. Reddit-Nutzer mutmassen, dass es ein Leichtes wäre, mit dem Download des Programms auch Schadsoftware auf einen Rechner zu schmuggeln.

Was die Anwendung allerdings heute schon zeigt: Es ist möglich, Videos fast täuschend echt zu manipulieren, es wird einfacher werden, und sie wird genutzt. Natürlich werden Experten wie Laien besser darin werden, diese Deepfakes zu entlarven – Kopfzerbrechen bereiten sie alle mal. Man muss kein ausgesprochener Pessimist sein, um sich zu fragen, wie lange man noch den eigenen Augen trauen kann.

28.02.18: Menschen müssen aufhören, ihren Augen zu trauen

Quelle: www.sueddeutsche.de

Eine App ermöglicht es Laien, Gesichter von Prominenten in Hardcore-Pornos zu montieren. Das erschreckend perfekte Ergebnis erschüttert die Glaubwürdigkeit von Bildern und Videos. Fakeapp heißt die Software dazu, die in die Welt gesetzt wurde sie von jemandem, der sich „Deepfakes“ nennt.

Es ist ja eine der größten Ironien des Anthropozäns, also jener Epoche, in der der Mensch Natur, Umwelt, ja die Geschicke der Erde bestimmt, dass er seinen Grips darauf verwendet, künstliche Intelligenzen sich selbst optimieren zu lassen. Deren Erfolge stellen sich nun oft binnen Monatsfrist ein, „deep learning“ nennt man das. Es erfolgt über Netzwerke, deren Aufbau dem menschlichen Gehirn nachgeahmt ist. Maschinen können mittlerweile in Abermillionen Fotos einzelne Individuen identifizieren. „Deepface“ heißt denn auch das entsprechende System von Facebook.

Menschen glauben, was sie sehen. Doch das sollten sie sich schleunigst abgewöhnen. Denn nun muss jeder Videobeweis als potenziell gefälscht gelten, Rache-Pornos genauso wie die mutmaßlichen Belege von Überwachungskameras. Die Beweiskraft von Bildern ist erschüttert.

23.02.18: Studie zeichnet düsteres Bild

Quelle: orf.at

Der Bericht The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, der unter anderem von der Universität Oxford und der Electronic Frontier Foundation (EFF) herausgegeben worden ist, warnt vor dem Missbrauch künstlicher Intelligenz (KI). Nicht nur Kriminelle, auch Staaten könnten die rasant fortschreitenden Entwicklungen auf dem Gebiet für ihre Zwecke nützen.
Eine weitere mögliche Anwendung künstlicher Intelligenz sei die Automatisierung personalisierter „Phishing“-Angriffe im Netz. In Zukunft könnten entsprechende Mails, mit denen versucht wird, an persönliche Daten der Adressaten zu gelangen, nur noch schwer als Angriff erkannt werden.

Während die Szenarien ein düsteres Bild der unmittelbaren Zukunft zeichnen, geht es den Experten nicht darum, Panik zu verbreiten, sondern auf stark veränderte Bedrohungen hinzuweisen, die durch die Technologie ermöglicht wird. Angesprochen werden darin Politiker und andere Entscheidungsträger ebenso wie Forscher.

Künstliche Intelligenz sei dabei stets eine Technologie mit zwei möglichen Einsatzzwecken: Da die Anwendungsgebiete – wie etwa Gesichtserkennung – nicht wertend per se seien, könnten sie auch Kriminellen dienen. Aktuell würde sich das bereits bei der Suche nach Softwarefehlern zeigen. Hacker können ihre Funde den Herstellern mitteilen, um Lücken zu schließen, oder sie selbst nützen (oder an andere verkaufen), um Schaden anzurichten.

Möglichen Missbrauch ortet der Bericht aber nicht nur bei Terroristen und in der organisierten Kriminalität, sondern auch in der Politik. Bereits jetzt können skrupellose oder autokratische Staats- und Regierungschefs die durch Überwachungssysteme gesammelten Datenmengen nutzen, um ihr eigenes Volk auszuspionieren.

Durch die ständig steigende Rechenleistung sei es möglich, Bild und Ton schneller automatisiert zu verarbeiten und damit die Überwachung auf die gesamte Bevölkerung auszuweiten. Zusätzlich könne mit Hilfe billiger, aber äußerst glaubwürdig gefälschter Videos die öffentliche Meinung manipuliert werden.

Die Autoren des Berichts zählen zahlreiche Vorteile künstlicher Intelligenz auf, die bei einem Missbrauch verheerende Auswirkungen haben könnten. So sei KI etwa „effizient und skalierbar“: Nachdem ein Arbeitsprozess „trainiert“ wird – zum Beispiel für die Erkennung von Gesichtern – können Systeme verhältnismäßig kostengünstig erweitert werden. Damit steigt die Leistungsfähigkeit, ohne zusätzliche menschliche Arbeitskräfte zu benötigen.

13.02.18: Wie maschinelles Lernen zum Verhängnis wird

Quelle: www.computerwoche.de

Machine-Learning-Algorithmen könnten die IT Security maßgeblich voranbringen. Doch auch kriminelle Hacker haben das maschinelle Lernen für sich entdeckt.
Definiert wird Machine Learning (ML) als „Fähigkeit (eines Computers), ohne entsprechende Programmierung zu lernen“. Für die IT-Sicherheitsbranche ist das ein großer Wurf. Schließlich hat die Technologie das Potenzial, den menschlichen Sicherheitsanalysten unter die Arme zu greifen, um Schwachstellen und Einfallstore in der IT schnellstmöglich zu identifizieren und schließen zu können. Neben der Malware-Detektion und dem Auswerten von Logfiles könnte sich maschinelles Lernen im Security-Bereich auch positiv auf die Sicherheit von Endpoints auswirken und zur Automatisierung repetitiver Aufgaben zum Einsatz kommen.

Diese Entwicklung hat vielerorts zu der Überzeugung geführt, dass mit Hilfe von Machine-Learning-Lösungen (im Gegensatz zu Legacy Tools) auch die nächste WannaCry-Attackepostwendend entdeckt und verhindert wird. Fakt ist: Die explosionsartige Vermehrung von Daten und Apps machen den Einsatz von Automatisierungslösungen unumgänglich – vielerorts braucht man maschinelles Lernen und Künstliche Intelligenz, um dem Netzwerk-Traffic und den User-Interaktionen überhaupt noch Herr werden zu können.

Das Problem an der Sache: Kriminelle Hacker wissen das. Und werkeln fleißig an ihren eigenen KI- und Machine-Learning-Tools, die künftig für Angriffe bisher nicht gekannter Komplexität sorgen könnten.

Durch einen zunehmenden Organisationsgrad und eine blühende Darknet-Servicelandschafttreiben kriminelle Hacker inzwischen ihre Innovationen so schnell voran, dass die IT-Sicherheit kaum mehr Schritt halten kann. Das Szenario wird umso bedrohlicher, wenn man bedenkt, dass sich sowohl die Machine-Learning-, als auch die KI-Technologie erst am Anfang ihrer Entwicklung befindet.

Von Hackerangriffen mit Machine-Learning-Tools war bislang zwar noch nicht viel zu hören oder zu lesen, doch einige Angriffs-Techniken werden bereits von Cyberkriminellen adaptiert.

Eine wesentlich simplere – aber nicht weniger effektive – Methode, maschinelles Lernen für einen Cyberangriff zu nutzen, ist die Infizierung der ML-Engine selbst. Ganz ähnlich also, wie kriminelle Hacker Antivirus-Lösungen außer Kraft setzen.

Das Vorgehen ist dabei denkbar einfach: Das Machine-Learning-Modell lernt aus den eingegebenen Daten. Wenn dieser Datenpool kompromittiert ist, ist es auch der daraus resultierende Output. Wissenschaftler der Universität von New York haben bereits demonstriert, wie sich konvolutionale neuronale Netze mit Hintertüren ausstatten lassen, um solche gefälschten Daten zu injizieren.

Siehe weiter den vollständigen Artikel: Wie maschinelles Lernen zum Verhängnis wird

Kommentar 

Hier brauen sich weitere dunkle Wolken bzw. Schwarze Schwäne zusammen, die unsere Vorstellungskraft wohl noch deutlicher übersteigen, als so manch anderes Thema auf dieser Seite. Wenn man die Entwicklungsgeschwindigkeit der „dunklen Seite“ in den vergangenen Jahren betrachtet, dann wäre es alles andere als überraschend, wenn wir hier schneller „Lösungen“ sehen würden, als auf der Cyber-Sicherheitsseite. Hinzu kommt, dass diese Lösungen ja nicht perfekt sein müssen. Und damit steigt auch die Wahrscheinlichkeit von massiven Kollateralschäden. Wenn die Dinger einmal in „the wild“ sind, kann man sie auch nicht mehr einfach einfangen. Ganz abgesehen von der fehlenden Möglichkeit zur Risikoeinschätzung, da es sich ja um nichtlineare Systeme handelt.

Dabei geht es nicht um eine Super- oder generalisierte Intelligenz, die uns beherrschen wird, sondern viel mehr um die Manipulationsmöglichkeiten, die wir nicht mehr durchschauen. Oder auch um die Überschätzung der Fähigkeiten von Systemen und unsere Zahlen- und Maschienengläubigkeit. Wie der Beitrag Ziemlich dumme Netzwerke zeigt, können die Systeme auch noch relativ einfach ausgetrickst werden, wenn man weiß wie. Andererseits ist halt nur schwer einschätzbar – da irreversible – wann das dann der Fall ist, und wann nicht. Daher ist weniger die KI selbst gefährlich, als vielmehr unser „Glaube“ an sie und was wir damit machen bzw. wie wir Dinge interpretieren. Siehe etwa auch Das System: Künstliche Intelligenz und wir bzw. 2018 drohen selbstlernende “Swarm”-Cyber-Attacken
Besonders „beeindruckend“ finde ich die Entwicklungen im Bereich Video faking … siehe Übernimmt die KI die Macht? bzw. Deep Learning

Oder auch:

Kaum auszumalen, was solche Fake-News in der Realwelt auslösen könnten.

Zusatz von Franz Hein:

Mein grundsätzlicher Ansatz für künftige Energiezellen und das dabei angewandte Orchestrieren, das Befehle von außen völlig vermeiden soll, hat noch Verbesserungsbedarf. Durch den ankommenden (orchestrierenden) Informationsstrom darf es nicht zu einer völligen Desorientierung und dadurch ausgelösten Fehlhandlungen in der betroffenen Energiezelle kommen.
Der wichtigste Satz in dem beigefügten Artikel ist dieser (von mir etwas ergänzt und umformuliert): Autonomes, nicht zentral koordiniertes oder auf singuläre Informationen beruhendes Verhalten und autonome Gegenmaßnahmen sind in Zukunft Grundlage einer ausreichenden System-Robustheit.
Der Originalsatz lautet: „Autonome Gegenmaßnahmen sind die Zukunft der IT-Sicherheit“

Gemäß der Geschichten von einem Baron von Münchhausen, der behauptete, dass er sich an seinen eigenen Haaren aus dem Sumpf gezogen hat, behaupte ich, dass es nicht möglich ist, dass ein IT-System durch reine IT-technischen Maßnahmen sich selbst schützen kann. Es braucht einen sicheren äußeren Fixpunkt, von dem aus das IT-System beobachtet werden kann. Von dort aus muss erkennend und schützend eingegriffen werden können. Der äußere Fixpunkt muss außerhalb des IT-Systems sich befinden und muss auf völlig andere Gesetzmäßigkeiten aufbauen. IT-System und äußerer Fixpunkt müssen disjunkt sein (= absolut nicht zusammenpassend).

Ich erinnere mich an einem Vorfall in unserem Prozessleitsystem. Drei Jahre nach Inbetriebnahme des Prozessleitsystems kam ich morgens in die Warte und sah mehrere Meßwertschreiber, welche schon einige Zeit einen völlig geraden Strich zeichneten, obwohl zuvor das gewohnte stochastische „Zappeln“ der Messwerte gezeichnet worden war. Meine sofortige Schlussfolgerung war: Es kommen keine neuen Messwerte mehr an. Es muss eine Störung eingetreten sein. Die Schreiber zeichneten den Meßwert, der als letzter vor der Störung eingegangen war. Der zeitliche Beginn des „Strichs“ war an mehreren Meßwertschreibern exakt der gleiche und muss deshalb der Beginn der Störung gewesen sein.

In dem Prozessleitsystem kamen die Messwerte aus den Schaltanlagen nicht direkt, sondern über ein Doppelrechner-System des jeweiligen Informationsknotens in die Leitwarte. Mein Anruf an den Ort mit einen solchen Doppelrechner-System für die Messwert-Vorverarbeitung ergab durch Augenschein: Beide Rechner waren im Zustand „Stand-by“ und vertrauten in diesem Zustand, dass der jeweils andere Rechner im Zustand „Aktiv“ war, weil dieser ja „lief“. Damit war keine Notwendigkeit einer Umschaltung gegeben und da jeder im „Stand-by“-Betrieb war, wurden zur Leitzentrale von beiden Rechnern des Doppelrechnersystems keine Messwerte gesandt. Das Senden wäre Aufgabe des Rechners, der im Zustand „Aktiv“ hätte sein müssen. Es war aber keiner mehr in diesem Zustand, warum auch immer.

Ich war in diesem Fall der äußere Fixpunkt, der feststellte: Die angezeigten und mittels Messwertschreiber gezeichneten Werte müssen aufgrund der Physik sich ständig stochastisch „bewegen“. Also waren die gezeichneten Messwerte nicht mit der Physik vereinbar. Und die IT kann die Physik unter keinen Umständen beeinflussen. Die Physik des Stromnetzes, zusätzlich meine Beobachtung und Schlussfolgerungen waren der Schlüssel zum Erkennen eines Rechner-dead-locks in einem vorgelagerten Rechnersystem. Das Abschalten und Neustarten der beiden Rechner beseitigte unverzüglich den unzulässigen Betriebszustand. Im weiteren Betrieb und auch bei den anderen sieben Informationsknotenrechner trat dieser Fehler nur einmal während der 18-jährigen Betriebszeit auf, also nach dem Vorfall 15 Jahre lang nicht mehr. Die eigentliche Fehlerursache konnte nicht aufgedeckt werden. Es war ein einmaliger Fehler, allerdings ein gravierender. Ein stiller Systemtod, obwohl beide Rechner ja „in Betrieb“ waren.

Nachträglich betrachtet, hätten wir so etwas wie ein Totmann-System bei dem Doppelrechner-System so einbauen müssen, dass ein unzulässiger Systemzustand (beide Rechner in stand-by-modus, aber auch beide Rechner im aktiven Modus) zu einem Alarm hätte führen müssen. Dieser Alarm hätte dann aber mit einem unabhängigen System eine unabhängige Überwachungsstelle erreichen und zum Eingreifen bewegen müssen.

Zu meinem Orchestrieren kommt noch eine Gemeinheit hinzu: Die Energiezelle muss sich bei ihrer energetischen Vernetzung hinsichtlich ihrer Bezugs- aber auch hinsichtlich ihrer Einspeiseleistung so verhalten, dass sich aus Gesamtsicht kein zu hoher Gleichzeitigkeitsfaktor bei einer beabsichtigten (auch bei einer unbeabsichtigten) Leistungsänderung ergibt, den die Netzregelung des Gesamtsystems nicht verkraften würde. Das kann nur durch ein Anfrage-/Freigabe-Verfahren beherrscht werden. Die Anfrage wäre an die zugehörige Leitstelle zu richten. Von dort müsste die Freigabe erfolgen. Es muss dabei auch auf die Zeitverzüge geachtet werden. Unbeabsichtigte Leistungsänderungen können durchaus auch durch äußere Einflüsse bedingt sein. Das Thema „Robustheit“ ist also wirklich kein einfaches Thema.

Da die Gesamtsicht in der Leitzentrale auf einer Vielzahl von Einzelsichten aufbauen müsste (damit auch da keine Störung in das Gesamtsystem eindringen kann, weil viele Einzelsichten eigentlich nicht alle gemeinsam „versaut“ werden können) ist da eine gewisse Robustheit gegeben. Aber auch da muss noch ein äußerer Fixpunkt sein. Dafür würde sich die Messung der Frequenz in den Energiezellen und auch in der Leitzentrale anbieten. Diese Messwerte dürften sich nur relativ unwesentlich unterscheiden. Damit könnte eine vertrauenswürdige Kontrolle durch Vergleich der eigenen Sicht mit der von der Leitzentrale erzeugten und versandten Gesamtsicht ermöglicht werden. Die Frequenz des Wechselstroms in einem zusammengeschalteten Netz bekommt so eine weitere bedeutsame Rolle.