Molly Presley, Hammerspace

AI-utvecklingen innebär att organisationer behöver kunna använda allt större datamängder, ofta från flera olika lagringsmiljöer och molnplattformar. Samtidigt kan uppdelningen skapa problem med överblick, åtkomstkontroll och konsekvent hantering av känslig information.

När data kopieras mellan olika system uppstår flera versioner som måste hållas uppdaterade. Det kan bli svårt att avgöra vilken information som är aktuell, var den finns och vilka regler som gäller för användningen. För verksamheter som hanterar personuppgifter eller annan skyddsvärd information blir detta också en fråga om datastyrning och regelefterlevnad.

Det är den typen av utmaningar Hammerspace vill adressera med sitt nya Data System. Plattformen ska förena befintlig lagring, nya lagringslösningar och molntjänster i en gemensam global namnrymd. På så sätt ska information kunna göras tillgänglig för olika AI-arbetslaster utan att organisationen behöver skapa separata datakopior för varje miljö.

Ska identifiera känslig information och koppla den till policyer

En av de centrala nyheterna i plattformen är Data Intelligence. Funktionen ska katalogisera och indexera metadata över distribuerad infrastruktur och även kunna identifiera känslig information genom så kallad Deep Scan.

Hammerspace beskriver stöd för att identifiera information kopplad till bland annat personuppgifter, GDPR och andra klassificeringsområden. Användare ska också kunna söka efter information med hjälp av naturligt språk och därefter koppla resultatet till automatiserade åtgärder.

Ett exempel som bolaget visar är att identifiera filer som klassificerats som kritiska och märkts med en GDPR-tagg. Därefter kan en policy sättas upp för att säkerställa att filerna inte lämnar en viss lagringsplats.

Det innebär att datahantering och datastyrning knyts närmare de arbetsflöden där informationen faktiskt används. I stället för att enbart inventera var data finns ska organisationen kunna använda informationen om innehållet för att styra hur den hanteras.

Funktionen är tänkt att komplettera befintliga datakataloger och styrningslösningar. Hammerspace beskriver den som ett sätt att samla tekniska metadata och verksamhetsrelaterad information över flera lagringsmiljöer.

Kontroll över data när AI flyttar mellan moln

En annan del av säkerhetsfrågan handlar om var information behandlas. AI-arbetslaster körs allt oftare i distribuerade miljöer där data kan behöva göras tillgänglig i olika datacenter och molntjänster beroende på var beräkningskapaciteten finns.

Hammerspace Data System ska automatisera placeringen av data mellan dessa miljöer och samtidigt ge användarna en gemensam åtkomstmodell. Plattformen bygger på standardiserade protokoll som NFS, SMB och S3 och ska kunna integrera befintlig lagring med nya system.

En sådan arkitektur kan förenkla hanteringen av data över flera platser, men ställer också krav på att organisationen har tydliga regler för åtkomst, lagring och informationsklassificering. Hammerspace lyfter därför fram möjligheten att koppla dataintelligens till automatiserad orkestrering, så att information kan hanteras utifrån definierade policyer.

Det är särskilt relevant i miljöer där känslig information används i AI-utveckling och där organisationen behöver behålla kontrollen även när beräkningskapaciteten finns hos externa leverantörer.

Europeiskt AI-bolag använder lösningen för patientdata

I samband med lanseringen lyfte Hammerspace ett kundcase med det europeiska kliniska AI-bolaget kaiko.ai. Företaget utvecklar lösningar som använder patientjournaler, bilddiagnostik och patologidata för att stödja vårdteam i arbetet med komplexa patientfall.

När kaiko.ai utökade sin modellträning behövde företaget tillgång till mer GPU-kapacitet hos flera molnleverantörer. Tidigare replikerades data mellan en datalake i Microsoft Azure och olika GPU-miljöer. Det innebar att flera kopior behövde hållas synkroniserade och att utvecklingsteamen behövde hantera var informationen fanns.

Med Hammerspace har kaiko.ai skapat en gemensam datamiljö som omfattar Azure, Nebul och Nebius. Data kan göras tillgänglig nära GPU-resurserna utan att användarna behöver hantera separata kopior eller ändra arbetsflöden för varje plats.

För kaiko.ai är kontrollen över informationen en viktig del av lösningen. Företaget hanterar pseudonymiserade hälsodata och behöver kunna upprätthålla konsekventa behörigheter och spårbarhet när modellträningen sker över flera infrastrukturer. Enligt kundcaset kan åtkomstkontroller hanteras centralt genom det gemensamma datalagret.

Daan Rademaker, Staff Data and AI Platform Engineer på kaiko.ai, beskriver lösningen som ett sätt att låta utvecklingsteamen fokusera på AI-modellerna i stället för att lägga tid på att hålla stora datamängder synkroniserade mellan moln.

Ny lagringsarkitektur ska minska flaskhalsar

Utöver funktionerna för datastyrning presenterade Hammerspace även Open Flash Platform, OFP, en ny flashbaserad lagringsplattform för AI och högpresterande datorsystem. Den bygger på en arkitektur med Data Processing Units, DPU, där metadatahanteringen separeras från dataflödet.

Enligt Hammerspace ska lösningen ge högre prestanda per rackenhet och minska behovet av traditionella x86-baserade lagringsservrar. Bolaget uppger en skrivkapacitet på upp till 390 gigabyte per sekund och rackenhet, en läskapacitet på 365 gigabyte per sekund och 15 miljoner IOPS per rackenhet. Det är bolagets egna prestandauppgifter.

OFP ska komplettera befintlig lagring och integreras i samma datamiljö som företagets övriga lagringslösningar. Därmed ska organisationer kunna använda snabb flashlagring för de mest krävande AI-arbetslasterna och samtidigt behålla mindre aktiv information på andra lagringsnivåer.