Données égocentriques pour l'IA physique

Du vrai travail à la première personne pour entraîner des robots.

Des clips avec vidéo, pose des mains, mouvement de la tête et annotation, filmés par les personnes qui font le travail et cédés sous licence écrite. La profondeur est mesurée sur les appareils équipés de LiDAR.

Demander un échantillon Voir ce que contient un clip
  • Vidéo, mains, IMU, pose et étapes
  • JSON, LeRobot ou MCAP
  • Consentement par clip

Des données de personnesqui font le vrai travail

Les robots apprennent en regardant des mains travailler : couper, emboîter, plier, empiler. Nous payons des personnes pour filmer ce qu'elles font déjà, au rythme réel d'un service, et nous en faisons des données qu'un labo peut utiliser dès lundi.

Ce que contient un clip

Cinq couches issues du même appareil, synchronisées sur une seule horloge. Chaque clip est livré prêt pour l'entraînement.

  • Mains émincant des légumes sur une planche, vues du point de vue de la personne qui cuisine
    Vidéo

    Première personne

    Caméra fixée sur la tête, en paysage, sans coupe. Ce que voit la personne est ce que verra le robot.

  • Mains ajustant une pièce, avec les points clés des articulations dessinés par-dessus
    Pose

    Mains et poignets

    Vingt et un points clés par main, image par image, chacun avec son score de confiance.

  • Mains empilant des cartons dans un entrepôt, avec la trajectoire de la tête tracée
    Mouvement

    Tête et corps

    Accéléromètre et gyroscope de 100 à 200 Hz selon le téléphone, alignés sur la vidéo sur la même horloge.

  • Établi d'atelier affiché en carte de profondeur, du plus proche au plus lointain
    Profondeur

    Distance par pixel

    Mesurée par LiDAR sur les appareils qui en sont équipés. Estimée au traitement sur les autres.

  • Mains pliant du linge, avec l'annotation de la tâche écrite à côté
    Annotation

    Tâche, étape et objet

    Chaque clip indique ce qui a été fait, dans quel ordre et avec quoi. En JSON, LeRobot ou MCAP.

Anatomie d'un clip

Six pistes sur une seule horloge. Survolez ou touchez une piste pour voir son fichier et ses colonnes.

slice_onion · kitchen00:00.0

Métadonnées

Tout ce qui voyage avec la vidéo, sur la même horloge. C'est ce qui transforme un enregistrement en données d'entraînement.

Vidéo
1920×1080, 30 images par seconde, en paysage, sans stabilisation. Audio inclus.
Images
Horodatage du capteur, exposition réelle et ISO pour chaque image.
Mouvement
Accéléromètre, gyroscope, gravité et attitude de l'appareil de 100 à 200 Hz selon le téléphone, sur l'horloge de la vidéo.
Calibration
Paramètres intrinsèques de la caméra, champ de vision, distorsion et rotation caméra-IMU.
Pose des mains
21 points clés par main dans chaque image, avec un score de confiance par point.
Pose de la caméra
Position et orientation de la tête tout au long du clip, en mètres, avec l'état du suivi.
Profondeur
Mesurée par LiDAR sur les appareils qui en sont équipés, en 256×192. Estimée au traitement sur les autres.
Annotation
Tâche, étape et objet, avec le début et la fin de chaque étape.
Session
Tâche, type d'environnement, pays, modèle de l'appareil et mode de fixation.
Qualité
Le résultat de la vérification de chaque clip.
Licence
Le consentement de la personne qui filme, la confidentialité et la licence, joints à chaque clip.
Exemple illustratif d'un clip
eh_01JC8Z.../
  rgb.mp4            1920x1080, 30 fps
  frames.csv         timestamp_sensor_ns, exposure_ns, iso
  imu.csv            accel, gyro, gravity, q_wxyz
  pose.csv           camera-to-world, tracking_state
  calibration.json   intrinsics, distortion, camera_to_imu
  steps_marked.csv   t0, t1, source
  qc_live.json       hands, light, dropped_frames
  metadata.json
  depth/             LiDAR only (256x192, mm)

{
  "schema_version": "0.1.0",
  "task": "slice_onion",
  "environment": { "type": "kitchen", "indoor": true },
  "device": { "class": "smartphone", "mount": "head_strap" },
  "sensors": { "imu": { "rate_hz": 199.6, "sync": "video_locked" } },
  "camera": { "fx": 1450.1, "fy": 1450.1, "fov_h_deg": 68.2 },
  "consent": { ... }, "qc": { ... }, "license": { ... }
}

Où nous filmons

Du vrai travail manuel, là où il se fait. Chaque secteur avec ses tâches, ses outils et son désordre.

  • Mains portionnant de la viande dans une cuisine professionnelle
    Couper et portionner

    Cuisine

    Mise en place, dressage, vaisselle.

  • Mains serrant une vis à la clé dans un atelier
    Serrer et emboîter

    Atelier

    Montage, remplacement de pièce, serrage.

  • Mains prélevant des produits sur une étagère d'entrepôt
    Prélever et emballer

    Entrepôt

    Picking, emballage, étiquetage.

  • Mains cueillant des fruits dans un champ
    Récolter et trier

    Champ

    Récolte, tri, mise en caisse.

  • Mains branchant un connecteur sur une ligne d'assemblage
    Assembler et contrôler

    Assemblage

    Emboîtement, câblage, test.

  • Mains pliant une serviette sur un lit
    Plier et ranger

    Maison

    Linge, vaisselle, rangement.

Comment ça marche

Du briefing à la livraison en cinq étapes. Le premier échantillon arrive avant tout contrat plus important.

  1. Briefing

    Vous nous indiquez la tâche, l'environnement et le format. Nous revenons avec un plan de capture sous deux jours.

    • Tâches
    • Environnements
    • Volume
    • Format
    Carnet avec une liste de tâches de capture, vu de dessus

  2. Pilote

    Quelques heures filmées, vérifiées et livrées dans votre format. Vous les testez dans votre pipeline avant de passer à l'échelle.

    • Échantillon
    • Vérification
    • Ajustements
    Téléphone sur un bandeau de tête posé sur une table, à côté d'un carnet

  3. Échelle

    Des personnes recrutées par secteur, formées et filmant pendant de vrais services. Des centaines d'heures par mois.

    • Recrutement
    • Formation
    • Vrais services
    Mosaïque de mains de personnes qui filment dans des cuisines et des ateliers

  4. Vérification

    Chaque minute passe par des contrôles automatiques et humains avant d'être comptée. Les visages et les données personnelles sont retirés avant la livraison.

    • Lumière
    • Mains dans le cadre
    • Capteurs
    • Confidentialité
    Écran de vérification avec un clip et ses coches

  5. Livraison

    Des clips en JSON, LeRobot ou MCAP, dans votre bucket ou le nôtre. Licence écrite par clip, avec le consentement joint.

    • JSON
    • LeRobot
    • MCAP
    • Bucket
    Dossiers d'un jeu de données ouverts à l'écran, avec vidéo, pose et annotations côte à côte

La plateforme

Du téléphone de la personne qui filme au bucket de votre labo, chaque clip suit une seule ligne, et elle est entièrement à nous : capture, enrichissement, vérification et livraison. Une infrastructure complète, prête à passer à l'échelle partout dans le monde.

  1. Appli web de ceux qui filment

    Dans le navigateur

    Les personnes qui filment choisissent une activité, réservent un créneau et suivent leurs envois et leurs gains.

    Activité acceptée

  2. Appli de capture

    iOS et Android

    Enregistre en 1080p30 H.264 avec IMU synchronisée et métadonnées de l'appareil. Guide la tâche étape par étape et avertit en direct quand les mains sortent du cadre ou que la lumière est trop faible.

    Vidéo + IMU

  3. Serveur d'enrichissement

    Pipeline de traitement

    Ajoute les couches au clip brut : pose des mains, pose 6-DoF de la caméra, profondeur, étapes et un score de qualité. La passe de confidentialité floute les visages, les plaques d'immatriculation et les données personnelles présentes dans du texte.

    + pose, profondeur, étapes

  4. Backoffice QA et opérations

    Équipe EgoHands

    Notre équipe vérifie chaque livraison avant son envoi et tranche les cas de confidentialité douteux.

    Vérifié par une personne

  5. Portail partenaires

    partnerdata.egohands.com

    Le labo passe ses commandes, suit l'avancement lot par lot et reçoit les livraisons en LeRobot, MCAP ou JSON.

    Livré au labo

Une personne vérifie chaque livraison avant son envoi.

Demander un échantillon

Notes de terrain

Bandeau de tête avec un téléphone, vu de côté, sur un établi Image d'un clip où les mains sortent du cadre Visage d'une personne à l'arrière-plan, flouté, derrière des mains au travail Trois dossiers de formats de données côte à côte sur un écran

  1. Méthode · · 4 min

    Pourquoi nous filmons à la première personne, pas sur trépied

    Le robot n'aura pas de caméra dans un coin de la pièce. Il aura le point de vue de la personne qui fait la tâche.

  2. Qualité · · 5 min

    Ce que la vérification refuse, et pourquoi

    Lumière, mains hors cadre, capteur manquant. Six motifs fixes, toujours expliqués à la personne qui filme.

  3. Confidentialité · · 3 min

    Comment nous protégeons les personnes qui se retrouvent dans le champ

    Visages floutés avant la livraison, un avis sur place et le droit de retirer un clip à tout moment.

  4. Format · · 6 min

    JSON, LeRobot ou MCAP : lequel demander

    Les trois proviennent du même clip. La différence, c'est ce que votre pipeline lit déjà.

Questions

Combien coûte un jeu de données ?

Cela dépend du secteur, du volume d'heures et de l'exclusivité. Nous envoyons une proposition après le briefing, avec l'échantillon.

Comment démarre un projet ?

Par un briefing d'une heure et un pilote de quelques heures filmées dans votre format. Vous le testez dans votre pipeline avant de signer quoi que ce soit de plus important.

Dans quel format est-ce livré ?

JSON, LeRobot ou MCAP, dans votre bucket ou le nôtre. Les trois proviennent du même clip, avec vidéo, mains, mouvement et étapes sur la même horloge. La profondeur est incluse dans les clips filmés avec LiDAR.

Les personnes dans la vidéo ont-elles consenti ?

Les personnes qui filment signent un consentement dans l'appli, par campagne, et peuvent le retirer à tout moment. Les visages des tiers sont floutés avant la livraison et un avis est affiché sur le lieu de tournage.

Où opérez-vous ?

Dans le monde entier. On filme là où le travail se fait et la livraison se fait à distance, dans votre bucket ou le nôtre.

Parlons-en

Dites-nous quelle tâche votre robot doit apprendre. Une personne lit chaque message et répond sous deux jours ouvrés.

partner@egohands.com
EgoHands
Un produit de Codemart LLC
30 N Gould St # 39741
Sheridan, WY 82801, États-Unis
Opérations
Tournage là où le travail se fait
Livraison à distance, dans le monde entier