Configurer les paramètres de source externe Flat File

DataSync vous permet de vous connecter à des ressources CSV locales et distantes, y compris des fournisseurs de stockage cloud et des serveurs de fichiers. Pour chaque type de source, vous définissez le paramètre URI à l'emplacement de la ressource CSV, ainsi que les propriétés d'authentification requises.

Types de connexion pris en charge

Type de connexion	Description
Authentification de base	Connectez-vous à des dossiers locaux, des flux HTTP/HTTPS, SharePoint, FTP/FTPS ou SFTP.
Amazon S3	Connectez-vous aux seaux et dossiers Amazon Simple Storage Service (S3).
Stockage Azure	Connectez-vous à Azure Blob Storage ou Azure Data Lake Store (Gen1/Gen2).
Oracle Cloud Storage	Connectez-vous aux seaux et dossiers Oracle Cloud Storage.
Wasabi	Connectez-vous au stockage d'objets cloud Wasabi.

Authentification de base

Fichier local (format URI)

Propriété	Exigence
URI	Requis — chemin du dossier local ou URI de fichier

1. Définissez URI sur le dossier contenant les fichiers CSV.
2. Combinez plusieurs CSV avec le même schéma :

   URI=C:\folder; AggregateFiles=True;

3. Listez chaque fichier comme une table séparée :

   URI=C:\folder; AggregateFiles=False;

HTTP/HTTPS

Propriété	Exigence
URI	Requis — http://remoteStream ou https://remoteStream
Utilisateur	Optionnel
Mot de passe	Optionnel
AuthScheme	Optionnel

1. Définissez URI sur l'URL HTTP ou HTTPS du CSV :

   URI=http://www.host1.com/streamname1;

2. Ajoutez AuthScheme et les informations d'identification si nécessaire. Vous pouvez également définir CustomHeaders ou CustomUrlParams.
3. Interrogez la table diffusée :

   SELECT * FROM streamedtable;

SharePoint Online SOAP

Propriété	Exigence
URI	Requis — sp://remotePath
Utilisateur	Requis
Mot de passe	Requis

1. Définissez URI sur la bibliothèque de documents contenant les fichiers CSV.
2. Spécifiez Utilisateur, Mot de passe et l'URL complète SharepointUrl pour authentification.

   URI=sp://Documents/folder1; User=user1; Password=password1; SharepointUrl=https://subdomain.sharepoint.com;

FTP/FTPS

Propriété	Exigence
URI	Requis — ftp://server:port/remotePath ou ftps://server:port/remotepath
Utilisateur	Requis
Mot de passe	Requis

1. Définissez URI sur le serveur FTP/FTPS et le chemin du dossier.
2. Fournissez Utilisateur et Mot de passe pour l'authentification :

   URI=ftps://localhost:990/folder1; User=user1; Password=password1;

SFTP

Propriété	Exigence
URI	Requis — sftp://server:port/remotePath
Utilisateur	Optionnel
Mot de passe	Optionnel

1. Définissez URI sur le serveur SFTP et l'emplacement du dossier.
2. Incluez Utilisateur et Mot de passe si l'authentification est requise :

   URI=sftp://server:22/folder1; User=user1; Password=password1;

Amazon S3

Propriété	Exigence
URI	Requis — s3://bucket/folder/
AWSAccessKey	Requis — votre clé d'accès AWS (nom d'utilisateur)
AWSSecretKey	Requis — votre clé secrète AWS
AWSRegion	Optionnel

1. Définissez URI sur le seau S3 et l'emplacement du dossier :

   URI=s3://bucket1/folder1;

2. Fournissez AWSAccessKey et AWSSecretKey pour l'authentification :

   URI=s3://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO;

3. Optionnellement, définissez AWSRegion pour spécifier la région pour le seau.

Exemple — connexion à des services compatibles S3

Vous pouvez également vous connecter à des services de stockage compatibles S3 en définissant une URL de base personnalisée dans les propriétés de connexion. Voici un exemple de paramètres d'URL de base

URL=http://s3.%region%.myservice.com
Region=region-1

Avec ces paramètres, DataSync génèrera des URL de requête dans l'un des formats suivants :

UseVirtualHosting	Format d'URL généré
False	https://s3.region-1.myservice.com/bucket/...
True	https://bucket.s3.region-1.myservice.com/...

Stockage Azure

Azure Blob Storage

Propriété	Exigence
URI	Requis — azureblob://mycontainer/myblob/
AzureAccount	Requis
AzureAccessKey	Requis — votre clé d'accès (nom d'utilisateur)

1. Définissez URI sur le conteneur et le nom du blob.
2. Fournissez AzureAccount et AzureAccessKey pour l'authentification :

   URI=azureblob://mycontainer/myblob/; AzureAccount=myAccount; AzureAccessKey=myKey;

Azure Data Lake Store Gen 1

Propriété	Exigence
URI	Requis — adl://remotePath ou adl://Account.azuredatalakestore.net@remotePath
InitiateOAuth	Requis
OAuthClientId	Optionnel
OAuthClientSecret	Optionnel
OAuthAccessToken	Optionnel
AuthScheme	Requis
AzureAccount	Requis

1. Définissez URI sur le chemin Gen1 Data Lake.
2. Configurez les paramètres OAuth si nécessaire.
3. Spécifiez AzureAccount et les propriétés d'authentification requises.

Azure Data Lake Store Gen 2

Propriété	Exigence
URI	Requis — abfs://myfilesystem/remotePath
AzureAccount	Requis
AzureAccessKey	Requis — votre clé d'accès (nom d'utilisateur)

1. Définissez URI sur le système de fichiers et le dossier contenant vos fichiers CSV :

   URI=abfs://myfilesystem/folder1; AzureAccount=myAccount; AzureAccessKey=myKey;
   URI=abfss://myfilesystem/folder1; AzureAccount=myAccount; AzureAccessKey=myKey;

Azure Data Lake Store Gen2 avec SSL

Propriété	Exigence
URI	Requis — abfss://myfilesystem/remotePath
AzureAccount	Requis
AzureAccessKey	Requis — votre clé d'accès (nom d'utilisateur)

1. Définissez URI sur le système de fichiers et l'emplacement du dossier en utilisant le protocole sécurisé abfss://.
2. Fournissez AzureAccount et AzureAccessKey pour l'authentification.

Oracle Cloud Storage

Propriété	Exigence
URI	Requis — os://bucket/remotePath
AccessKey	Requis — votre clé d'accès (nom d'utilisateur)
SecretKey	Requis — votre clé secrète
Region	Optionnel
OracleNamespace	Requis

1. Définissez URI sur le seau Oracle Cloud et le dossier.
2. Fournissez AccessKey, SecretKey et OracleNamespace pour l'authentification.
3. Spécifiez optionnellement Region :

   URI=os://bucket/remotePath/; AccessKey=token1; SecretKey=secret1; OracleNamespace=myNamespace; Region=us-ashburn-1;

Wasabi

Propriété	Exigence
URI	Requis — wasabi://bucket1/remotePath
AccessKey	Requis — votre clé d'accès (nom d'utilisateur)
SecretKey	Requis — votre clé secrète
Region	Optionnel

1. Définissez URI sur le seau Wasabi et le dossier.
2. Fournissez AWSAccessKey et AWSSecretKey pour l'authentification.
3. Spécifiez optionnellement AWSRegion :

   URI=wasabi://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO;