Apple hat Exclusive Self Attention (XSA) vorgestellt, eine Modifikation der Self-Attention, die das Sequence Modeling von Transformer verbessert. XSA schränkt die Aufmerksamkeit ein und erfasst Informationen orthogonal zum eigenen Value Vector des Tokens, um eine bessere Kontextmodellierung zu erreichen.
Diese Verbesserung könnte zu genaueren und effizienteren KI-Modellen für die Inhaltserstellung und -analyse führen, was potenziell die Performance von Marketingkampagnen verbessert.