Apple Intelligence - Best of WWDC 2024

Auf der Apple WWDC 2024 wagt das Unternehmen den von vielen erwarteten Sprung ins Zeitalter der "Generative AI". Ob das gelingt und welche neuen Features und Produkte sonst noch vorgestellt wurden... hier kommen meine Highlights!

Wenn ihr MeTacheles direkt unterstuetzen wollt, dann "chippt" doch einfach den Gegenwert einer Currywurst (gerne auch vegan) in meine Paypal-Kasse:

MeTacheles funktioniert nicht ohne euch und wenn ihr glaubt, dass dieses Format auch in eurem Netzwerk ankommt, dann teilt es doch genau mit diesem.

Ganz wichtig: Den Podcast koennt ihr hier direkt oben im Browser, aber auch auf diversen Plattformen wie u.a.

Apple - Spotify - Google - Amazon oder als RSS-Feed

anhoeren und abonnieren. Gerade Apple & Spotify-Abrufe helfen dem Format, denn dort gibt es entsprechende Rankings!

Die Apple WWDC 2024 Highlights

Und da waren sie wieder meine 3 Probleme:

• Eine perfekt inzenierte Show
• Feature-Overload als waere es die letzte ihrer Art
• und dann auch noch 105 Minuten lang

Mal davon abgesehen, dass ich mir die "Applenote" gerade aus der Konserve im Zug von Amsterdam nach Hamburg gegeben habe... 2, 3 Anmerkungen, warum man diese Shows nicht mehr Keynotes nennen kann. Die Schnittmenge aus Tech, Hollywood und Apple ist so einzigartig und wurde von diesem Unternehmen auf eine Art und Weise besetzt... sorry, but no sorry: das schafft keine andere Firma.

Love them or hate them: Apple hat Events, mit seiner Covid-Ausgabe der WWDC vor 4 Jahren, neu definiert und verdammt, die lieben es einfach dies so richtig auszukosten:

Aber zurueck zum Thema: wie kann ich eine derartige Show, die ueber verschiedene Plattformen Update after Update raushaut, eigentlich zusammenfassen?

Ich versuche es mit der Methode Holzhammer und haue all die vermeintlichen Randthemen ans Ende dieses Artikels, wo die dann fein saeuberlich und knackig abgearbeitet werden. Davor wird hier aber der rote Teppich fuer die wichtigste Neuerung ausgerollt:

AI steht fuer Apple Intelligence

Es gibt Elfmeter, die muss man einfach machen: Apple hat diese Vorlage nicht nur in den Winkel gehaemmert, sondern auch noch gleich den Torwart mit durch die Maschen!

Wenn in 10 Jahren die ersten Kids behaupten, dass AI fuer Apple Intelligence steht, und das ist zu befuerchten, dann erinnert euch noch einmal an diese 2024er Ausgabe... aber genug damit, "it's showtime!"

iOS 18, iPadOS 18 und MacOS Sequoia bekommen die neuen Apple AI-Features verpasst und das sind einige!

Verbesserte Benachrichtigungen

Optimierte Benachrichtigungen
Rausfiltern von Unnoetigen Benachrichtigungen und das Hervorheben der wichtigen Trigger, die man nicht verpassen sollte! Diese werden dann oben in den Notification-Stapel gepackt inkl einer Zusammenfassung, damit man sich schneller durchwuehlen kann!

Da passt dann auch der "Reduce Interruption"-Modus perfekt ins Bild. Blende alles aus... also bis auf die wirklich wichtigen Nachrichten aus der Abteilung "hol die Kids vom Kindergarten ab".

"Schreibhilfe"

Haben alle schon irgendwie im Angebot, da musste Apple einfach nachlegen und zwar ueber das gesamte System hinweg:

• Umschreiben: Bietet alternative Versionen eurer Texte an
• Korrekturlesen: Verbessert Grammatik, Wortwahl und Satzstruktur
• Zusammenfassen: Extrahiert die wichtigsten Punkte aus langen Texten. Perfekt zum Hinzufuegen von TL;DRs am Ende einer Mail!

Integrierte Schreibwerkzeuge
In Apps wie Mail, Notizen, Freeform, Keynote und Pages koennt ihr euch z.B. Zusammenfassungen anzeigen lassen... gerade bei vollen Inboxen ein Effizienzbooster!

Transkription und Zusammenfassung

Audio-Transkription in Notizen
Killer-Feature Galore... vor allen Dingen, weil ich eine derartige Funktion fast taeglich nutze!

Die Notizen-App enthaelt jetzt eine Funktion zum Aufnehmen und Transkribieren von Audio, die Zusammenfassungen generiert, um die wichtigsten Punkte hervorzuheben. Diese Funktion ist auch in der Telefon-App verfuegbar, wo Teilnehmer aber (zum Glueck) ueber Live-Anrufaufzeichnungen vorab benachrichtigt werden.

Bilderstellung und -bearbeitung

Endlich darf auf OS- bzw. Default-App Ebene ordentlich gepinselt werden. Also durch eine AI, die dann wirklich zum Teil tief in die Anwendungen integriert ist.

Image Wand in Notizen
Das neue Tool "Image Wand" in der Notizen-App verwandelt grobe Skizzen in entsprechend aufgehuebschte Bilder. Es analysiert diese und begleitende Texte, um passende Bildchen im Kontext der jeweiligen Notizen zu erstellen.

Foto-Bearbeitung
Ich fasse es mal so zusammen: all das was Google und Samsung seit Jahren anbieten (Entfernung von Objekten etc.) kommt nun auch bei Apple an... inkl. einer erweiterten Suchfunktion, die ihr auch via Spracheingabe nutzen koennt.

Erstellung von Gen Emoji
Direkt uebers Keyboard passende Emoji erstellen, die sogar Personen auf Fotos aehneln koennen... was ja durchaus im Einzelfall auch eine Verbesserung darstellen koennte 😎

Kontext, Kontext, Kontext!

Das Zeitalter des Kontexts ist nun auch bei Apple angekommen... also auch kommunikativ! Die Combo aus persoenlichen Daten (an dieser Stelle ein ICQ "Oh Oh" einfuegen) und AI ermoeglicht es zum Beispiel Meetings, Kalender, Location und aktuelle Verkehrssituationen abzugleichen. Wenn man dann auch wirklich physisch anwesend sein muss!

Viel spannender finde ich aber die App-uebergreifenden Aktionen mit Siri. Also Dateien Aufrufen, spezielle Fotos finden oder den Lieblingspodcast abspielen. Das steckt imho immer noch in den Kinderschuhen, aber die Richtung ist klar: Dein ganz persoenlicher Assistent und da machen wir doch gleich mit weiter:

Erweiterte Siri-Funktionen

Endlich! Ich habe da wirklich so drauf gewartet... Siri profitiert von der nun viel tieferen Integration in das System, wird mit einer neuen, leuchtenden... ja, "Lichtumrandung" aufgehuebscht und versteht euch nun auch, wenn ihr wie Till Schweiger nuschelt. Siri kann nun endlich auch den Gespraechskontext beibehalten, was natuerlichere Interaktionen auf "Her"-Niveau ermoeglichen duerfte. Killerfeature fuer mich: Doppeltap auf den Screen um direkt mit Siri zu kommunizieren!

Integration externer AI-Modelle

Mit ChatGPT geht es los, Gemini und Co. koennten schon bald folgen. Apple integriert externe AI-Modelle in sein System und verfolgt damit eine ganz klar offenere Strategie als zum Beispiel Microsoft mit Windows. Wenn man dann noch bedenkt, dass Siri dann an die jeweiligen Modelle direkt andocken kann... hat Apple hier vielleicht sogar final das ultimative, weil flexiblere OS fuer AI-Services?

Zusammenfassung der neuen Funktionen

Ich fasse dann noch mal fix fuer euch zusammen:

• Verbesserte Benachrichtigungen und Priorisierung: Optimierte und priorisierte Benachrichtigungen zur Minimierung von Ablenkungen.
• Systemweite Schreibtools: Erweiterte Werkzeuge zum Umschreiben, Korrekturlesen und Zusammenfassen von Texten in verschiedenen Apps.
• Transkription und Zusammenfassung: Audio-Transkriptions- und Zusammenfassungsfunktionen in den Notizen- und Telefon-Apps.
• Bilderstellung und -bearbeitung: Tools zur Erstellung von AI-Bildern und zur Nachbearbeitung von Fotos.
• Kontextbewusste Funktionen: Personalisierte Features, die basierend auf den persoenlichen Anwendungsszenarien/Daten loslegen.
• Erweiterte Siri-Funktionen: Verbessertes Sprachverstaendnis und App-uebergreifende Aktionen mit erweiterter Siri-Integration.
• Integration externer AI-Modelle: ChatGPT-Integration und zukuenftige Unterstuetzung für zusaetzliche AI-Modelle.

Und der Datenschutz?

Kommt ganz offensichtlich nicht zu kurz. Da hat sich Cupertino schoen die diversen Fails der Wettbewerber gegeben, diese 1.5 Jahre analysiert und sich eine ziemlich sinnige Strategie zurechtgelegt, die dann auch gleich pro-aktiv kommuniziert wurde.

Nach der WWDC-Keynote setzten sich SVP Craig Federighi und AI-Chef John Giannandrea mit iJustine ins Steve Jobs Theater, um ein wenig mehr ueber "Apple Intelligence" zu sprechen. Hier mal eine kleine Uebersicht der wichtigsten Punkte

1. Datenschutz first!
   Datenschutz sei ein Eckpfeiler von Apple Intelligence. Die Moeglichkeit AI-Modelle direkt auf dem Geraet anzuwenden und gleichzeitig den Datenschutz zu gewaehrleisten, sei ein klarer Vorteil von Apple und stellt sicher, dass Benutzerdaten sicher und privat behandelt werden.
2. AI und Qualitaet:
   AI war schon immer ein Mittel zum Zweck, und Apple konzentriert sich auf verantwortungsvolle Anwendungen. Die Modelle werden mit sorgfaeltig ausgewaehlten Daten trainiert, Es besteht die Verpflichtung, genAI verantwortungsbewusst und ueberlegt einzusetzen, wobei Qualitaet Vorrang hat und Halluzinationen minimiert werden.
3. Integration von AI in Geraeten:
   Die AI-Funktionen werden in alle Geraete mit M1-Chips oder hoeher bzw. A17 Pro oder hoeher integriert (bisher sind nur iPhone 15 Pros auf dem iPhone 16 verfuegbar).
   Der Ansatz konzentriert sich auf die Benutzerfunktionen, die durch diese Modelle aktiviert werden, und nicht auf die Modelle selbst, wobei der Schwerpunkt auf den praktischen Vorteilen der Mehrwertfunktionen für die Benutzer liegt.
4. Datennutzung und Schulung:
   Fuer das Training der Kernmodelle werden verschiedene hochwertige Datenquellen verwendet. Dazu gehoeren lizenzierte Daten, Nachrichtenarchive, Lehrbuecher und von Apple generierte Daten. Ziel ist es, fuer Trainingszwecke hohe Standards bei der Datenqualitaet zu gewaehrleisten.
5. Private Cloud Computing:
   Um anspruchsvollere Aufgaben an die Cloud auszulagern, musste Apple eine eigene Loesung entwickeln, die sogenannte Private Cloud Compute. Das System stellt sicher, dass private Informationen sicher behandelt werden, und zwar durch Massnahmen wie die Maskierung von IP-Adressen und die nicht permanente Speicherung auf dem Server.
6. Engagement für die Umwelt:
   Die Rechenzentren von Apple werden mit gruener Energie betrieben, was den Zielen der oekologischen Nachhaltigkeit entspricht.

Aufgepasst... das sind nicht meine Einschaetzungen, sondern die Statements von Apple und hier gibt es 2 Dinge zu beachten:

1. Sehr sehr smarte Aktion hier pro-aktive die Angriffsflaechen moeglichst kleinzuhalten. Das hat kein anderer OEM auch nur ansatzweise getan
2. Inwiefern iJustine hier journalistisch taetig war oder halt als Moderatorin eingekauft wurde, das weiss ich nicht. Dennoch haette sie beim Nachhaltigkeitspunkt ja recht schnell nachhaken koennen: was ist denn eigentlich mit den OpenAI-Servern? Schliesslich stemmen die ja die meiste Rechenlast!

Fazit Apple Intelligence

Apple musste und hat geliefert. Wie erwartet? Nicht ganz! Der offene Ansatz bzgl. externer AI-Modelle hat mich wirklich ueberrascht. Die Company, die fuer viele als Synonym eines Walled Gardens gelten duerfte, oeffnet sich. Oder muessen sie das gar, weil die AI-Entwicklung bisher gefuehlt ohne Apple stattfand? "To early to call" wuerde der Wolf Blitzer in mit da einwerfen wollen.... aber Tatsache ist, hier passiert was und zwar so fundamental, dass ich die diversen OS-Updates kaum noch erwarten kann!

Woran das liegt? Apple killt die Welt der Humane AI Pins und Rabbit R1s so schnell, wie ich es in den Tagen nach den Ankuendigungen dieser AI-Gadgets mehrfach vorhergesagt habe. "Large Action Models" auf einem Smartphone inkl. einem Assistenten wie Siri = Winning! Schaut mal:

Hier hat Apple ganz klar die Technologiefuehrerschaft uebernommen, wenn man es schafft dies mit iOS 18 App-uebergreifend auszurollen!

Die itemis AG ist von Great Place to Work® als eines der Top Unternehmen in Deutschland zertifiziert worden

Great Place to Work® zertifiziert ➡️ itemis unter den Top Unternehmen in Deutschland ✔ Exzellente Angebote für Beschäftigte ▶️ Hier zur Pressemitteilung!

itemis

Werbeeinschub: Great Place To Work und dann auch noch aus meiner alten Heimat. Die Itemis AG ist einer dieser Hidden Champions, die zeigen wie wichtig mittelstaendische Unternehmen fuer den Standort sind und dazu auch ein Beispiel fuer progressiven und nachhaltigen Wandel!

Wir beschäftigen uns seit Gründung intensiv mit dem Thema "Model Based Systems Engineering für Safety und Security". Aktuell zunehmend unter Einsatz von AI zur automatisierten Verarbeitung und Formalisierung von Anforderungen oder zur automatisierten Erstellung von Modellen zur Architekturdokumentation und Simulation.

Damit lässt sich eine erhebliche Effizienzsteigerung bei gleichzeitiger Verbesserung der Qualität erreichen. So können Markteinführungen pünktlich und ohne Anlaufschwierigkeiten erreicht werden.

Unternehmen wie BMW, CARIAD, Daimler, Bosch, Continental oder Forvia vertrauen auf unsere Lösungen.

Aber das war ja noch nicht alles und deshab mal im Schnelldurchlauf mit den entsprechenden Schaubildern!

VisionOS 2

VisionOS 2 bringt eine Reihe von Verbesserungen fuer die "Spatial Computing"-Abteilung mit. 2D-Fotos koennen nun mit nem kraeftigen Algorithmenboost "raeumlich" gemacht werden. Dazu gibt es neue Gesten, eine Verbesserung der virtuellen Displays fuer den Mac und einige API-Updates fuer Entwickler:innen!

• Umwandlung von 2D-Fotos in räumliche Fotos.
• Einfachere Navigation mit neuen Handgesten.
• Verbesserte Aufloesung und Groesse fuer Mac Virtual Displays
• Neue Frameworks und APIs fuer komplexe raeumliche Apps.

iOS 18

Ja menschelt es jetzt schon unter iOS 18? Nicht ganz, aber die individuellere Gestaltung der Homescreens setzt langsam aber sicher den Blinker nach Links aka auf die Ueberholspur. Dort wo Android seid locker 15 Jahren mit Lichthupenkonzerten bisher noch jedes iPhone auf die rechte Spur gedrueckt hat. Apple scheint hier wirklich was gelernt zu haben und das macht es langsam aber sicher sehr sympatisch fuer mich Android-Fanboy!

Datenschutzverbesserungen:
iOS 18 verbessert u.a. auch den Datenschutz mit Funktionen wie App Lock, mit der sensible Apps mit Face ID oder Touch ID gesichert werden koennen. Ebenfalls koennt ihr Apps in einem gesperrten Ordner verstecken und steuern, welche Kontakte für Apps zugaenglich sind.

• Personalisierung: Neue Optionen zur Anordnung und Anpassung von App-Symbolen und Widgets.
• Datenschutz: Funktionen wie App Lock und versteckte Apps fuer mehr Sicherheit.
• Nachrichten: Unbegrenzte Tapbacks, geplante Nachrichten und Satellitenkommunikation.
• Mail: Kategorisierung von E-Mails in Primaer-, Transaktionen-, Updates- und Werbe-Kategorien.

WatchOS 11

Ich bin da ehrlich: habs versucht, aber wir sind nicht warm geworden. Also die Apple Watch und ich. Wenn ich aber sehe, wie unglaublich erfolgreich dieses Gadget ist... Hut ab. Muss man auch erstmal schaffen... hier kurz und knapp die Updates, denn ich kann hierzu wirklich nur als Unbeteiligter berichten und verweise dann lieber auf die Expert:innen und taeglichen User:innen, ok?

• Training Load: Messung der Workout Intensitaet/Dauer
• Vitals App: Ueberwachung wichtiger Gesundheits"funktionen"
• Smart Stack: Intelligente Widgets und Live-Aktivitaeten.

iPadOS 18

Bei iPadOS sieht das schon wieder anders aus. iPad mini und Pro sind meine taeglichen Begleiter. Die Floating Tab Bar soll hier Navi und Zugriff auf Inhalte von Apps erleichtern... der neue Taschenrechner: ok, brauche ich jetzt nicht wirklich und macht mich auch ein wenig ratlos, warum das auf die Feature-Liste geschubste wurde. Da finde ich die verbesserte Handschrifterkennung Smart Script in Notes schon weitaus spannender. Zumal meine Sauklaue hier wirklich ein Endgegner sein duerfte!

• Floating Tab Bar: Einfachere Navigation innerhalb von Apps
• Taschenrechner: Loesen komplexer mathematischer Probleme mit Apple Pencil
• Smart Script: Verbesserte Handschrifterkennung in Notizen

MacOS Sequoia

So, jetzt aber! Das lang erwartete MacOS-Update nennt sich Sequoia und fuehrt u.a. iPhone Mirroring ein, mit dem User:innen ihr iPhone direkt auf den Mac spiegeln und von dort aus steuern koennen. Dazu gibt es noch ne neue automatische "Fenster-Kachelung", die dann Fenster von Apps optimal anordnen soll!

Um die ganze AI-Story auch rueber in den hauseigenen Browser Safari spielen zu koennen, gibt es nun die neuen Funktionen "Highlights", "Zusammenfassungen" und "ablenkungsfreie Videowiedergabe". Letzeres war bei mit immer die Combo Fullscreen und DND 😎

• iPhone Mirroring: Spiegeln und Steuern des iPhones vom Mac aus
• Fensterkachelung: Automatische Anordnung von Fenstern
• Safari: Highlights, Zusammenfassungen & ablenkungsfreies Video

Fazit WWDC 2024 - AI als Superkleber

Kein anderer OEM da draussen bieten ein derartig tightes Oekosystem wie Apple.

• Desktop-Rechner
• Laptops
• Tablets
• Smartphones
• Settop-Boxen
• AR/VR-Headsets
• Speaker
• Bluetooth-Headsets

Und dazu noch die passenden Betriebssysteme, die eine gewisse Interkompitabilitaet sichern.

Was fuer uns viele wie ein wunderbar homogener, aber schrecklich langweiliger und eingezaeunter Garten erscheint, das ist bzgl des Erfolges und der Profitabilitaet bisher unerreicht. Und jetzt ballern die dir auch noch die ganze AI-Sosse da drueber und verschmelzen die verschiedenen Anwendungsszenarien der einzelnen Hardware-Komponenten weiter und weiter miteinander.

Nein, ich bin ganz objektiv kein Freund von solchen Szenarien... aber fuer alle User:innen da draussen, ist dies die effizienteste und ergonomischste Art und Weise durch Digitalistan zu reisen. Egal mit welchem Endgeraet!

Ich bin gespannt, was ihr von der ganzen Nummer haltet. Meldet euch doch!

Send a voice message to MeTacheles

Der Feedback-Kanal fuer den MeTacheles Podcast und Newsletter.

Subscribe email to the podcast newsletter and send me weekly updates

🗣️ Feedback geben

Ja, ihr koennt nun auch Teil vom MeTacheles Podcast und dem Newsletter werden. Wie? Einfach auf diesen Link https://t.ly/hallo klicken, kurze Sprachnachricht hinterlassen und dann geht es ab in die naechste Ausgabe!

Dir hat diese Ausgabe gefallen? Dann teile diese doch mit deinem Netzwerk. MeTacheles ist kostenlos, extrem zeitaufwendig & genau deshalb spiele ich jetzt auch ein wenig Staubsaugervertreter

Zum Podcast: Apple - Spotify - Amazon oder RSS-Feed

Wenn ihr mich persoenlich unterstuetzen wollt und glaubt, dass meine zum Teil unfassbar subjektiven Auslassungen einen Mehrwert fuer euch bieten, dann goennt euch doch ein Abo:

und wenn ihr nicht gleich fuer 12 Monate unterschreiben wollt, dann "chippt" doch einfach in meine Paypal-Kasse:

Es bleibt dabei... min. 30% (es sind bisher 50%!) gehen in internationale Wiederaufforstungsprojekte. Wie dieser Wald in gerade einmal 12 Monaten gewachsen ist, das koennt ihr hier sehen.

Danke fuer all euren Support!

Bleibt gesund,

Sascha