AWS Glue

2023/11/02 - AWS Glue - 5 updated api methods

Changes  This release introduces Google BigQuery Source and Target in AWS Glue CodeGenConfigurationNode.

BatchGetJobs (updated) Link ¶
Changes (response)
{'Jobs': {'CodeGenConfigurationNodes': {'ConnectorDataSource': {'ConnectionType': 'string',
                                                                'Data': {'string': 'string'},
                                                                'Name': 'string',
                                                                'OutputSchemas': [{'Columns': [{'Name': 'string',
                                                                                                'Type': 'string'}]}]},
                                        'ConnectorDataTarget': {'ConnectionType': 'string',
                                                                'Data': {'string': 'string'},
                                                                'Inputs': ['string'],
                                                                'Name': 'string'}}}}

Returns a list of resource metadata for a given list of job names. After calling the ListJobs operation, you can call this operation to access the data to which you have been granted permissions. This operation supports all IAM permissions, including permission conditions that uses tags.

See also: AWS API Documentation

Request Syntax

client.batch_get_jobs(
    JobNames=[
        'string',
    ]
)
type JobNames

list

param JobNames

[REQUIRED]

A list of job names, which might be the names returned from the ListJobs operation.

  • (string) --

rtype

dict

returns

Response Syntax

{
    'Jobs': [
        {
            'Name': 'string',
            'Description': 'string',
            'LogUri': 'string',
            'Role': 'string',
            'CreatedOn': datetime(2015, 1, 1),
            'LastModifiedOn': datetime(2015, 1, 1),
            'ExecutionProperty': {
                'MaxConcurrentRuns': 123
            },
            'Command': {
                'Name': 'string',
                'ScriptLocation': 'string',
                'PythonVersion': 'string',
                'Runtime': 'string'
            },
            'DefaultArguments': {
                'string': 'string'
            },
            'NonOverridableArguments': {
                'string': 'string'
            },
            'Connections': {
                'Connections': [
                    'string',
                ]
            },
            'MaxRetries': 123,
            'AllocatedCapacity': 123,
            'Timeout': 123,
            'MaxCapacity': 123.0,
            'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
            'NumberOfWorkers': 123,
            'SecurityConfiguration': 'string',
            'NotificationProperty': {
                'NotifyDelayAfter': 123
            },
            'GlueVersion': 'string',
            'CodeGenConfigurationNodes': {
                'string': {
                    'AthenaConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'ConnectionTable': 'string',
                        'SchemaName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'JDBCConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'FilterPredicate': 'string',
                            'PartitionColumn': 'string',
                            'LowerBound': 123,
                            'UpperBound': 123,
                            'NumPartitions': 123,
                            'JobBookmarkKeys': [
                                'string',
                            ],
                            'JobBookmarkKeysSortOrder': 'string',
                            'DataTypeMapping': {
                                'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                            }
                        },
                        'ConnectionTable': 'string',
                        'Query': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string'
                    },
                    'S3CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'S3CsvSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                        'Escaper': 'string',
                        'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                        'Multiline': True|False,
                        'WithHeader': True|False,
                        'WriteHeader': True|False,
                        'SkipFirst': True|False,
                        'OptimizePerformance': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3JsonSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'JsonPath': 'string',
                        'Multiline': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3ParquetSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'RelationalCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamoDBCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'JDBCConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectionTable': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string',
                        'UpsertRedshiftOptions': {
                            'TableLocation': 'string',
                            'ConnectionName': 'string',
                            'UpsertKeys': [
                                'string',
                            ]
                        }
                    },
                    'S3CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3GlueParquetTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'S3DirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'string',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'ApplyMapping': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Mapping': [
                            {
                                'ToKey': 'string',
                                'FromPath': [
                                    'string',
                                ],
                                'FromType': 'string',
                                'ToType': 'string',
                                'Dropped': True|False,
                                'Children': {'... recursive ...'}
                            },
                        ]
                    },
                    'SelectFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'DropFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'RenameField': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SourcePath': [
                            'string',
                        ],
                        'TargetPath': [
                            'string',
                        ]
                    },
                    'Spigot': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Topk': 123,
                        'Prob': 123.0
                    },
                    'Join': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                        'Columns': [
                            {
                                'From': 'string',
                                'Keys': [
                                    [
                                        'string',
                                    ],
                                ]
                            },
                        ]
                    },
                    'SplitFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'SelectFromCollection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Index': 123
                    },
                    'FillMissingValues': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ImputedPath': 'string',
                        'FilledPath': 'string'
                    },
                    'Filter': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'LogicalOperator': 'AND'|'OR',
                        'Filters': [
                            {
                                'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                                'Negated': True|False,
                                'Values': [
                                    {
                                        'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                        'Value': [
                                            'string',
                                        ]
                                    },
                                ]
                            },
                        ]
                    },
                    'CustomCode': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Code': 'string',
                        'ClassName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkSQL': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SqlQuery': 'string',
                        'SqlAliases': [
                            {
                                'From': 'string',
                                'Alias': 'string'
                            },
                        ],
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'DirectKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DirectKafkaSource': {
                        'Name': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKafkaSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DropNullFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'NullCheckBoxList': {
                            'IsEmpty': True|False,
                            'IsNullString': True|False,
                            'IsNegOne': True|False
                        },
                        'NullTextList': [
                            {
                                'Value': 'string',
                                'Datatype': {
                                    'Id': 'string',
                                    'Label': 'string'
                                }
                            },
                        ]
                    },
                    'Merge': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Source': 'string',
                        'PrimaryKeys': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'Union': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'UnionType': 'ALL'|'DISTINCT'
                    },
                    'PIIDetection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                        'EntityTypesToDetect': [
                            'string',
                        ],
                        'OutputColumnName': 'string',
                        'SampleFraction': 123.0,
                        'ThresholdFraction': 123.0,
                        'MaskValue': 'string'
                    },
                    'Aggregate': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Groups': [
                            [
                                'string',
                            ],
                        ],
                        'Aggs': [
                            {
                                'Column': [
                                    'string',
                                ],
                                'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                            },
                        ]
                    },
                    'DropDuplicates': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Columns': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'GovernedCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'GovernedCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'MicrosoftSQLServerCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MicrosoftSQLServerCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamicTransform': {
                        'Name': 'string',
                        'TransformName': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Parameters': [
                            {
                                'Name': 'string',
                                'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'ValidationRule': 'string',
                                'ValidationMessage': 'string',
                                'Value': [
                                    'string',
                                ],
                                'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'IsOptional': True|False
                            },
                        ],
                        'FunctionName': 'string',
                        'Path': 'string',
                        'Version': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'EvaluateDataQuality': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Ruleset': 'string',
                        'Output': 'PrimaryInput'|'EvaluationResults',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    },
                    'S3CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3HudiDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'DirectJDBCSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'ConnectionName': 'string',
                        'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                        'RedshiftTmpDir': 'string'
                    },
                    'S3CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3DeltaDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'uncompressed'|'snappy',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'AmazonRedshiftSource': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        }
                    },
                    'AmazonRedshiftTarget': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'Inputs': [
                            'string',
                        ]
                    },
                    'EvaluateDataQualityMultiFrame': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'AdditionalDataSources': {
                            'string': 'string'
                        },
                        'Ruleset': 'string',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    },
                    'Recipe': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'RecipeReference': {
                            'RecipeArn': 'string',
                            'RecipeVersion': 'string'
                        }
                    },
                    'SnowflakeSource': {
                        'Name': 'string',
                        'Data': {
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': 'string',
                            'Table': 'string',
                            'Database': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdditionalOptions': {
                                'string': 'string'
                            },
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'AutoPushdown': True|False,
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SnowflakeTarget': {
                        'Name': 'string',
                        'Data': {
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': 'string',
                            'Table': 'string',
                            'Database': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdditionalOptions': {
                                'string': 'string'
                            },
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'AutoPushdown': True|False,
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'Inputs': [
                            'string',
                        ]
                    },
                    'ConnectorDataSource': {
                        'Name': 'string',
                        'ConnectionType': 'string',
                        'Data': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'ConnectorDataTarget': {
                        'Name': 'string',
                        'ConnectionType': 'string',
                        'Data': {
                            'string': 'string'
                        },
                        'Inputs': [
                            'string',
                        ]
                    }
                }
            },
            'ExecutionClass': 'FLEX'|'STANDARD',
            'SourceControlDetails': {
                'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
                'Repository': 'string',
                'Owner': 'string',
                'Branch': 'string',
                'Folder': 'string',
                'LastCommitId': 'string',
                'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
                'AuthToken': 'string'
            }
        },
    ],
    'JobsNotFound': [
        'string',
    ]
}

**Response Structure**
::

    # This section is too large to render.
    # Please see the AWS API Documentation linked below.

`AWS API Documentation <https://docs.aws.amazon.com/goto/WebAPI/glue-2017-03-31/BatchGetJobs>`_
CreateJob (updated) Link ¶
Changes (request)
{'CodeGenConfigurationNodes': {'ConnectorDataSource': {'ConnectionType': 'string',
                                                       'Data': {'string': 'string'},
                                                       'Name': 'string',
                                                       'OutputSchemas': [{'Columns': [{'Name': 'string',
                                                                                       'Type': 'string'}]}]},
                               'ConnectorDataTarget': {'ConnectionType': 'string',
                                                       'Data': {'string': 'string'},
                                                       'Inputs': ['string'],
                                                       'Name': 'string'}}}

Creates a new job definition.

See also: AWS API Documentation

Request Syntax

client.create_job(
    Name='string',
    Description='string',
    LogUri='string',
    Role='string',
    ExecutionProperty={
        'MaxConcurrentRuns': 123
    },
    Command={
        'Name': 'string',
        'ScriptLocation': 'string',
        'PythonVersion': 'string',
        'Runtime': 'string'
    },
    DefaultArguments={
        'string': 'string'
    },
    NonOverridableArguments={
        'string': 'string'
    },
    Connections={
        'Connections': [
            'string',
        ]
    },
    MaxRetries=123,
    AllocatedCapacity=123,
    Timeout=123,
    MaxCapacity=123.0,
    SecurityConfiguration='string',
    Tags={
        'string': 'string'
    },
    NotificationProperty={
        'NotifyDelayAfter': 123
    },
    GlueVersion='string',
    NumberOfWorkers=123,
    WorkerType='Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
    CodeGenConfigurationNodes={
        'string': {
            'AthenaConnectorSource': {
                'Name': 'string',
                'ConnectionName': 'string',
                'ConnectorName': 'string',
                'ConnectionType': 'string',
                'ConnectionTable': 'string',
                'SchemaName': 'string',
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'JDBCConnectorSource': {
                'Name': 'string',
                'ConnectionName': 'string',
                'ConnectorName': 'string',
                'ConnectionType': 'string',
                'AdditionalOptions': {
                    'FilterPredicate': 'string',
                    'PartitionColumn': 'string',
                    'LowerBound': 123,
                    'UpperBound': 123,
                    'NumPartitions': 123,
                    'JobBookmarkKeys': [
                        'string',
                    ],
                    'JobBookmarkKeysSortOrder': 'string',
                    'DataTypeMapping': {
                        'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                    }
                },
                'ConnectionTable': 'string',
                'Query': 'string',
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'SparkConnectorSource': {
                'Name': 'string',
                'ConnectionName': 'string',
                'ConnectorName': 'string',
                'ConnectionType': 'string',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'CatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'RedshiftSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'RedshiftTmpDir': 'string',
                'TmpDirIAMRole': 'string'
            },
            'S3CatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'PartitionPredicate': 'string',
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123
                }
            },
            'S3CsvSource': {
                'Name': 'string',
                'Paths': [
                    'string',
                ],
                'CompressionType': 'gzip'|'bzip2',
                'Exclusions': [
                    'string',
                ],
                'GroupSize': 'string',
                'GroupFiles': 'string',
                'Recurse': True|False,
                'MaxBand': 123,
                'MaxFilesInBand': 123,
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123,
                    'EnableSamplePath': True|False,
                    'SamplePath': 'string'
                },
                'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                'Escaper': 'string',
                'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                'Multiline': True|False,
                'WithHeader': True|False,
                'WriteHeader': True|False,
                'SkipFirst': True|False,
                'OptimizePerformance': True|False,
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3JsonSource': {
                'Name': 'string',
                'Paths': [
                    'string',
                ],
                'CompressionType': 'gzip'|'bzip2',
                'Exclusions': [
                    'string',
                ],
                'GroupSize': 'string',
                'GroupFiles': 'string',
                'Recurse': True|False,
                'MaxBand': 123,
                'MaxFilesInBand': 123,
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123,
                    'EnableSamplePath': True|False,
                    'SamplePath': 'string'
                },
                'JsonPath': 'string',
                'Multiline': True|False,
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3ParquetSource': {
                'Name': 'string',
                'Paths': [
                    'string',
                ],
                'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                'Exclusions': [
                    'string',
                ],
                'GroupSize': 'string',
                'GroupFiles': 'string',
                'Recurse': True|False,
                'MaxBand': 123,
                'MaxFilesInBand': 123,
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123,
                    'EnableSamplePath': True|False,
                    'SamplePath': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'RelationalCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'DynamoDBCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'JDBCConnectorTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'ConnectionName': 'string',
                'ConnectionTable': 'string',
                'ConnectorName': 'string',
                'ConnectionType': 'string',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'SparkConnectorTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'ConnectionName': 'string',
                'ConnectorName': 'string',
                'ConnectionType': 'string',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'CatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string'
            },
            'RedshiftTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string',
                'RedshiftTmpDir': 'string',
                'TmpDirIAMRole': 'string',
                'UpsertRedshiftOptions': {
                    'TableLocation': 'string',
                    'ConnectionName': 'string',
                    'UpsertKeys': [
                        'string',
                    ]
                }
            },
            'S3CatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Table': 'string',
                'Database': 'string',
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                }
            },
            'S3GlueParquetTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Path': 'string',
                'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                    'Table': 'string',
                    'Database': 'string'
                }
            },
            'S3DirectTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Path': 'string',
                'Compression': 'string',
                'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                    'Table': 'string',
                    'Database': 'string'
                }
            },
            'ApplyMapping': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Mapping': [
                    {
                        'ToKey': 'string',
                        'FromPath': [
                            'string',
                        ],
                        'FromType': 'string',
                        'ToType': 'string',
                        'Dropped': True|False,
                        'Children': {'... recursive ...'}
                    },
                ]
            },
            'SelectFields': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Paths': [
                    [
                        'string',
                    ],
                ]
            },
            'DropFields': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Paths': [
                    [
                        'string',
                    ],
                ]
            },
            'RenameField': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'SourcePath': [
                    'string',
                ],
                'TargetPath': [
                    'string',
                ]
            },
            'Spigot': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Path': 'string',
                'Topk': 123,
                'Prob': 123.0
            },
            'Join': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                'Columns': [
                    {
                        'From': 'string',
                        'Keys': [
                            [
                                'string',
                            ],
                        ]
                    },
                ]
            },
            'SplitFields': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Paths': [
                    [
                        'string',
                    ],
                ]
            },
            'SelectFromCollection': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Index': 123
            },
            'FillMissingValues': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'ImputedPath': 'string',
                'FilledPath': 'string'
            },
            'Filter': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'LogicalOperator': 'AND'|'OR',
                'Filters': [
                    {
                        'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                        'Negated': True|False,
                        'Values': [
                            {
                                'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                'Value': [
                                    'string',
                                ]
                            },
                        ]
                    },
                ]
            },
            'CustomCode': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Code': 'string',
                'ClassName': 'string',
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'SparkSQL': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'SqlQuery': 'string',
                'SqlAliases': [
                    {
                        'From': 'string',
                        'Alias': 'string'
                    },
                ],
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'DirectKinesisSource': {
                'Name': 'string',
                'WindowSize': 123,
                'DetectSchema': True|False,
                'StreamingOptions': {
                    'EndpointUrl': 'string',
                    'StreamName': 'string',
                    'Classification': 'string',
                    'Delimiter': 'string',
                    'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                    'MaxFetchTimeInMs': 123,
                    'MaxFetchRecordsPerShard': 123,
                    'MaxRecordPerRead': 123,
                    'AddIdleTimeBetweenReads': True|False,
                    'IdleTimeBetweenReadsInMs': 123,
                    'DescribeShardInterval': 123,
                    'NumRetries': 123,
                    'RetryIntervalMs': 123,
                    'MaxRetryIntervalMs': 123,
                    'AvoidEmptyBatches': True|False,
                    'StreamArn': 'string',
                    'RoleArn': 'string',
                    'RoleSessionName': 'string',
                    'AddRecordTimestamp': 'string',
                    'EmitConsumerLagMetrics': 'string',
                    'StartingTimestamp': datetime(2015, 1, 1)
                },
                'DataPreviewOptions': {
                    'PollingTime': 123,
                    'RecordPollingLimit': 123
                }
            },
            'DirectKafkaSource': {
                'Name': 'string',
                'StreamingOptions': {
                    'BootstrapServers': 'string',
                    'SecurityProtocol': 'string',
                    'ConnectionName': 'string',
                    'TopicName': 'string',
                    'Assign': 'string',
                    'SubscribePattern': 'string',
                    'Classification': 'string',
                    'Delimiter': 'string',
                    'StartingOffsets': 'string',
                    'EndingOffsets': 'string',
                    'PollTimeoutMs': 123,
                    'NumRetries': 123,
                    'RetryIntervalMs': 123,
                    'MaxOffsetsPerTrigger': 123,
                    'MinPartitions': 123,
                    'IncludeHeaders': True|False,
                    'AddRecordTimestamp': 'string',
                    'EmitConsumerLagMetrics': 'string',
                    'StartingTimestamp': datetime(2015, 1, 1)
                },
                'WindowSize': 123,
                'DetectSchema': True|False,
                'DataPreviewOptions': {
                    'PollingTime': 123,
                    'RecordPollingLimit': 123
                }
            },
            'CatalogKinesisSource': {
                'Name': 'string',
                'WindowSize': 123,
                'DetectSchema': True|False,
                'Table': 'string',
                'Database': 'string',
                'StreamingOptions': {
                    'EndpointUrl': 'string',
                    'StreamName': 'string',
                    'Classification': 'string',
                    'Delimiter': 'string',
                    'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                    'MaxFetchTimeInMs': 123,
                    'MaxFetchRecordsPerShard': 123,
                    'MaxRecordPerRead': 123,
                    'AddIdleTimeBetweenReads': True|False,
                    'IdleTimeBetweenReadsInMs': 123,
                    'DescribeShardInterval': 123,
                    'NumRetries': 123,
                    'RetryIntervalMs': 123,
                    'MaxRetryIntervalMs': 123,
                    'AvoidEmptyBatches': True|False,
                    'StreamArn': 'string',
                    'RoleArn': 'string',
                    'RoleSessionName': 'string',
                    'AddRecordTimestamp': 'string',
                    'EmitConsumerLagMetrics': 'string',
                    'StartingTimestamp': datetime(2015, 1, 1)
                },
                'DataPreviewOptions': {
                    'PollingTime': 123,
                    'RecordPollingLimit': 123
                }
            },
            'CatalogKafkaSource': {
                'Name': 'string',
                'WindowSize': 123,
                'DetectSchema': True|False,
                'Table': 'string',
                'Database': 'string',
                'StreamingOptions': {
                    'BootstrapServers': 'string',
                    'SecurityProtocol': 'string',
                    'ConnectionName': 'string',
                    'TopicName': 'string',
                    'Assign': 'string',
                    'SubscribePattern': 'string',
                    'Classification': 'string',
                    'Delimiter': 'string',
                    'StartingOffsets': 'string',
                    'EndingOffsets': 'string',
                    'PollTimeoutMs': 123,
                    'NumRetries': 123,
                    'RetryIntervalMs': 123,
                    'MaxOffsetsPerTrigger': 123,
                    'MinPartitions': 123,
                    'IncludeHeaders': True|False,
                    'AddRecordTimestamp': 'string',
                    'EmitConsumerLagMetrics': 'string',
                    'StartingTimestamp': datetime(2015, 1, 1)
                },
                'DataPreviewOptions': {
                    'PollingTime': 123,
                    'RecordPollingLimit': 123
                }
            },
            'DropNullFields': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'NullCheckBoxList': {
                    'IsEmpty': True|False,
                    'IsNullString': True|False,
                    'IsNegOne': True|False
                },
                'NullTextList': [
                    {
                        'Value': 'string',
                        'Datatype': {
                            'Id': 'string',
                            'Label': 'string'
                        }
                    },
                ]
            },
            'Merge': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Source': 'string',
                'PrimaryKeys': [
                    [
                        'string',
                    ],
                ]
            },
            'Union': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'UnionType': 'ALL'|'DISTINCT'
            },
            'PIIDetection': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                'EntityTypesToDetect': [
                    'string',
                ],
                'OutputColumnName': 'string',
                'SampleFraction': 123.0,
                'ThresholdFraction': 123.0,
                'MaskValue': 'string'
            },
            'Aggregate': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Groups': [
                    [
                        'string',
                    ],
                ],
                'Aggs': [
                    {
                        'Column': [
                            'string',
                        ],
                        'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                    },
                ]
            },
            'DropDuplicates': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Columns': [
                    [
                        'string',
                    ],
                ]
            },
            'GovernedCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Table': 'string',
                'Database': 'string',
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                }
            },
            'GovernedCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'PartitionPredicate': 'string',
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123
                }
            },
            'MicrosoftSQLServerCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'MySQLCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'OracleSQLCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'PostgreSQLCatalogSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string'
            },
            'MicrosoftSQLServerCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string'
            },
            'MySQLCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string'
            },
            'OracleSQLCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string'
            },
            'PostgreSQLCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Database': 'string',
                'Table': 'string'
            },
            'DynamicTransform': {
                'Name': 'string',
                'TransformName': 'string',
                'Inputs': [
                    'string',
                ],
                'Parameters': [
                    {
                        'Name': 'string',
                        'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                        'ValidationRule': 'string',
                        'ValidationMessage': 'string',
                        'Value': [
                            'string',
                        ],
                        'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                        'IsOptional': True|False
                    },
                ],
                'FunctionName': 'string',
                'Path': 'string',
                'Version': 'string',
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'EvaluateDataQuality': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Ruleset': 'string',
                'Output': 'PrimaryInput'|'EvaluationResults',
                'PublishingOptions': {
                    'EvaluationContext': 'string',
                    'ResultsS3Prefix': 'string',
                    'CloudWatchMetricsEnabled': True|False,
                    'ResultsPublishingEnabled': True|False
                },
                'StopJobOnFailureOptions': {
                    'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                }
            },
            'S3CatalogHudiSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'AdditionalHudiOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'CatalogHudiSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'AdditionalHudiOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3HudiSource': {
                'Name': 'string',
                'Paths': [
                    'string',
                ],
                'AdditionalHudiOptions': {
                    'string': 'string'
                },
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123,
                    'EnableSamplePath': True|False,
                    'SamplePath': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3HudiCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Table': 'string',
                'Database': 'string',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                }
            },
            'S3HudiDirectTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'Path': 'string',
                'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                    'Table': 'string',
                    'Database': 'string'
                }
            },
            'DirectJDBCSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'ConnectionName': 'string',
                'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                'RedshiftTmpDir': 'string'
            },
            'S3CatalogDeltaSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'AdditionalDeltaOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'CatalogDeltaSource': {
                'Name': 'string',
                'Database': 'string',
                'Table': 'string',
                'AdditionalDeltaOptions': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3DeltaSource': {
                'Name': 'string',
                'Paths': [
                    'string',
                ],
                'AdditionalDeltaOptions': {
                    'string': 'string'
                },
                'AdditionalOptions': {
                    'BoundedSize': 123,
                    'BoundedFiles': 123,
                    'EnableSamplePath': True|False,
                    'SamplePath': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'S3DeltaCatalogTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Table': 'string',
                'Database': 'string',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                }
            },
            'S3DeltaDirectTarget': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'PartitionKeys': [
                    [
                        'string',
                    ],
                ],
                'Path': 'string',
                'Compression': 'uncompressed'|'snappy',
                'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                'AdditionalOptions': {
                    'string': 'string'
                },
                'SchemaChangePolicy': {
                    'EnableUpdateCatalog': True|False,
                    'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                    'Table': 'string',
                    'Database': 'string'
                }
            },
            'AmazonRedshiftSource': {
                'Name': 'string',
                'Data': {
                    'AccessType': 'string',
                    'SourceType': 'string',
                    'Connection': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Schema': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Table': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogDatabase': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogTable': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogRedshiftSchema': 'string',
                    'CatalogRedshiftTable': 'string',
                    'TempDir': 'string',
                    'IamRole': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'AdvancedOptions': [
                        {
                            'Key': 'string',
                            'Value': 'string'
                        },
                    ],
                    'SampleQuery': 'string',
                    'PreAction': 'string',
                    'PostAction': 'string',
                    'Action': 'string',
                    'TablePrefix': 'string',
                    'Upsert': True|False,
                    'MergeAction': 'string',
                    'MergeWhenMatched': 'string',
                    'MergeWhenNotMatched': 'string',
                    'MergeClause': 'string',
                    'CrawlerConnection': 'string',
                    'TableSchema': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ],
                    'StagingTable': 'string',
                    'SelectedColumns': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ]
                }
            },
            'AmazonRedshiftTarget': {
                'Name': 'string',
                'Data': {
                    'AccessType': 'string',
                    'SourceType': 'string',
                    'Connection': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Schema': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Table': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogDatabase': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogTable': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'CatalogRedshiftSchema': 'string',
                    'CatalogRedshiftTable': 'string',
                    'TempDir': 'string',
                    'IamRole': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'AdvancedOptions': [
                        {
                            'Key': 'string',
                            'Value': 'string'
                        },
                    ],
                    'SampleQuery': 'string',
                    'PreAction': 'string',
                    'PostAction': 'string',
                    'Action': 'string',
                    'TablePrefix': 'string',
                    'Upsert': True|False,
                    'MergeAction': 'string',
                    'MergeWhenMatched': 'string',
                    'MergeWhenNotMatched': 'string',
                    'MergeClause': 'string',
                    'CrawlerConnection': 'string',
                    'TableSchema': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ],
                    'StagingTable': 'string',
                    'SelectedColumns': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ]
                },
                'Inputs': [
                    'string',
                ]
            },
            'EvaluateDataQualityMultiFrame': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'AdditionalDataSources': {
                    'string': 'string'
                },
                'Ruleset': 'string',
                'PublishingOptions': {
                    'EvaluationContext': 'string',
                    'ResultsS3Prefix': 'string',
                    'CloudWatchMetricsEnabled': True|False,
                    'ResultsPublishingEnabled': True|False
                },
                'AdditionalOptions': {
                    'string': 'string'
                },
                'StopJobOnFailureOptions': {
                    'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                }
            },
            'Recipe': {
                'Name': 'string',
                'Inputs': [
                    'string',
                ],
                'RecipeReference': {
                    'RecipeArn': 'string',
                    'RecipeVersion': 'string'
                }
            },
            'SnowflakeSource': {
                'Name': 'string',
                'Data': {
                    'SourceType': 'string',
                    'Connection': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Schema': 'string',
                    'Table': 'string',
                    'Database': 'string',
                    'TempDir': 'string',
                    'IamRole': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SampleQuery': 'string',
                    'PreAction': 'string',
                    'PostAction': 'string',
                    'Action': 'string',
                    'Upsert': True|False,
                    'MergeAction': 'string',
                    'MergeWhenMatched': 'string',
                    'MergeWhenNotMatched': 'string',
                    'MergeClause': 'string',
                    'StagingTable': 'string',
                    'SelectedColumns': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ],
                    'AutoPushdown': True|False,
                    'TableSchema': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ]
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'SnowflakeTarget': {
                'Name': 'string',
                'Data': {
                    'SourceType': 'string',
                    'Connection': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'Schema': 'string',
                    'Table': 'string',
                    'Database': 'string',
                    'TempDir': 'string',
                    'IamRole': {
                        'Value': 'string',
                        'Label': 'string',
                        'Description': 'string'
                    },
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SampleQuery': 'string',
                    'PreAction': 'string',
                    'PostAction': 'string',
                    'Action': 'string',
                    'Upsert': True|False,
                    'MergeAction': 'string',
                    'MergeWhenMatched': 'string',
                    'MergeWhenNotMatched': 'string',
                    'MergeClause': 'string',
                    'StagingTable': 'string',
                    'SelectedColumns': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ],
                    'AutoPushdown': True|False,
                    'TableSchema': [
                        {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                    ]
                },
                'Inputs': [
                    'string',
                ]
            },
            'ConnectorDataSource': {
                'Name': 'string',
                'ConnectionType': 'string',
                'Data': {
                    'string': 'string'
                },
                'OutputSchemas': [
                    {
                        'Columns': [
                            {
                                'Name': 'string',
                                'Type': 'string'
                            },
                        ]
                    },
                ]
            },
            'ConnectorDataTarget': {
                'Name': 'string',
                'ConnectionType': 'string',
                'Data': {
                    'string': 'string'
                },
                'Inputs': [
                    'string',
                ]
            }
        }
    },
    ExecutionClass='FLEX'|'STANDARD',
    SourceControlDetails={
        'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
        'Repository': 'string',
        'Owner': 'string',
        'Branch': 'string',
        'Folder': 'string',
        'LastCommitId': 'string',
        'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
        'AuthToken': 'string'
    }
)

  **Parameters**
  ::

      # This section is too large to render.
      # Please see the AWS API Documentation linked below.

  `AWS API Documentation <https://docs.aws.amazon.com/goto/WebAPI/glue-2017-03-31/CreateJob>`_
rtype

dict

returns

Response Syntax

{
    'Name': 'string'
}

Response Structure

  • (dict) --

    • Name (string) --

      The unique name that was provided for this job definition.

GetJob (updated) Link ¶
Changes (response)
{'Job': {'CodeGenConfigurationNodes': {'ConnectorDataSource': {'ConnectionType': 'string',
                                                               'Data': {'string': 'string'},
                                                               'Name': 'string',
                                                               'OutputSchemas': [{'Columns': [{'Name': 'string',
                                                                                               'Type': 'string'}]}]},
                                       'ConnectorDataTarget': {'ConnectionType': 'string',
                                                               'Data': {'string': 'string'},
                                                               'Inputs': ['string'],
                                                               'Name': 'string'}}}}

Retrieves an existing job definition.

See also: AWS API Documentation

Request Syntax

client.get_job(
    JobName='string'
)
type JobName

string

param JobName

[REQUIRED]

The name of the job definition to retrieve.

rtype

dict

returns

Response Syntax

{
    'Job': {
        'Name': 'string',
        'Description': 'string',
        'LogUri': 'string',
        'Role': 'string',
        'CreatedOn': datetime(2015, 1, 1),
        'LastModifiedOn': datetime(2015, 1, 1),
        'ExecutionProperty': {
            'MaxConcurrentRuns': 123
        },
        'Command': {
            'Name': 'string',
            'ScriptLocation': 'string',
            'PythonVersion': 'string',
            'Runtime': 'string'
        },
        'DefaultArguments': {
            'string': 'string'
        },
        'NonOverridableArguments': {
            'string': 'string'
        },
        'Connections': {
            'Connections': [
                'string',
            ]
        },
        'MaxRetries': 123,
        'AllocatedCapacity': 123,
        'Timeout': 123,
        'MaxCapacity': 123.0,
        'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
        'NumberOfWorkers': 123,
        'SecurityConfiguration': 'string',
        'NotificationProperty': {
            'NotifyDelayAfter': 123
        },
        'GlueVersion': 'string',
        'CodeGenConfigurationNodes': {
            'string': {
                'AthenaConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'ConnectionTable': 'string',
                    'SchemaName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'JDBCConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'FilterPredicate': 'string',
                        'PartitionColumn': 'string',
                        'LowerBound': 123,
                        'UpperBound': 123,
                        'NumPartitions': 123,
                        'JobBookmarkKeys': [
                            'string',
                        ],
                        'JobBookmarkKeysSortOrder': 'string',
                        'DataTypeMapping': {
                            'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                        }
                    },
                    'ConnectionTable': 'string',
                    'Query': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string'
                },
                'S3CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'S3CsvSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                    'Escaper': 'string',
                    'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                    'Multiline': True|False,
                    'WithHeader': True|False,
                    'WriteHeader': True|False,
                    'SkipFirst': True|False,
                    'OptimizePerformance': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3JsonSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'JsonPath': 'string',
                    'Multiline': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3ParquetSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'RelationalCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamoDBCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'JDBCConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectionTable': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string',
                    'UpsertRedshiftOptions': {
                        'TableLocation': 'string',
                        'ConnectionName': 'string',
                        'UpsertKeys': [
                            'string',
                        ]
                    }
                },
                'S3CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3GlueParquetTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'S3DirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'string',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'ApplyMapping': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Mapping': [
                        {
                            'ToKey': 'string',
                            'FromPath': [
                                'string',
                            ],
                            'FromType': 'string',
                            'ToType': 'string',
                            'Dropped': True|False,
                            'Children': {'... recursive ...'}
                        },
                    ]
                },
                'SelectFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'DropFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'RenameField': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SourcePath': [
                        'string',
                    ],
                    'TargetPath': [
                        'string',
                    ]
                },
                'Spigot': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Topk': 123,
                    'Prob': 123.0
                },
                'Join': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                    'Columns': [
                        {
                            'From': 'string',
                            'Keys': [
                                [
                                    'string',
                                ],
                            ]
                        },
                    ]
                },
                'SplitFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'SelectFromCollection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Index': 123
                },
                'FillMissingValues': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ImputedPath': 'string',
                    'FilledPath': 'string'
                },
                'Filter': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'LogicalOperator': 'AND'|'OR',
                    'Filters': [
                        {
                            'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                            'Negated': True|False,
                            'Values': [
                                {
                                    'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                    'Value': [
                                        'string',
                                    ]
                                },
                            ]
                        },
                    ]
                },
                'CustomCode': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Code': 'string',
                    'ClassName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkSQL': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SqlQuery': 'string',
                    'SqlAliases': [
                        {
                            'From': 'string',
                            'Alias': 'string'
                        },
                    ],
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'DirectKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DirectKafkaSource': {
                    'Name': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKafkaSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DropNullFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'NullCheckBoxList': {
                        'IsEmpty': True|False,
                        'IsNullString': True|False,
                        'IsNegOne': True|False
                    },
                    'NullTextList': [
                        {
                            'Value': 'string',
                            'Datatype': {
                                'Id': 'string',
                                'Label': 'string'
                            }
                        },
                    ]
                },
                'Merge': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Source': 'string',
                    'PrimaryKeys': [
                        [
                            'string',
                        ],
                    ]
                },
                'Union': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'UnionType': 'ALL'|'DISTINCT'
                },
                'PIIDetection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                    'EntityTypesToDetect': [
                        'string',
                    ],
                    'OutputColumnName': 'string',
                    'SampleFraction': 123.0,
                    'ThresholdFraction': 123.0,
                    'MaskValue': 'string'
                },
                'Aggregate': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Groups': [
                        [
                            'string',
                        ],
                    ],
                    'Aggs': [
                        {
                            'Column': [
                                'string',
                            ],
                            'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                        },
                    ]
                },
                'DropDuplicates': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Columns': [
                        [
                            'string',
                        ],
                    ]
                },
                'GovernedCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'GovernedCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'MicrosoftSQLServerCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MicrosoftSQLServerCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamicTransform': {
                    'Name': 'string',
                    'TransformName': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Parameters': [
                        {
                            'Name': 'string',
                            'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'ValidationRule': 'string',
                            'ValidationMessage': 'string',
                            'Value': [
                                'string',
                            ],
                            'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'IsOptional': True|False
                        },
                    ],
                    'FunctionName': 'string',
                    'Path': 'string',
                    'Version': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'EvaluateDataQuality': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Ruleset': 'string',
                    'Output': 'PrimaryInput'|'EvaluationResults',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'S3CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3HudiDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'DirectJDBCSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'ConnectionName': 'string',
                    'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                    'RedshiftTmpDir': 'string'
                },
                'S3CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3DeltaDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'uncompressed'|'snappy',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'AmazonRedshiftSource': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    }
                },
                'AmazonRedshiftTarget': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'EvaluateDataQualityMultiFrame': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'AdditionalDataSources': {
                        'string': 'string'
                    },
                    'Ruleset': 'string',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'Recipe': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'RecipeReference': {
                        'RecipeArn': 'string',
                        'RecipeVersion': 'string'
                    }
                },
                'SnowflakeSource': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SnowflakeTarget': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'ConnectorDataSource': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'ConnectorDataTarget': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'Inputs': [
                        'string',
                    ]
                }
            }
        },
        'ExecutionClass': 'FLEX'|'STANDARD',
        'SourceControlDetails': {
            'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
            'Repository': 'string',
            'Owner': 'string',
            'Branch': 'string',
            'Folder': 'string',
            'LastCommitId': 'string',
            'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
            'AuthToken': 'string'
        }
    }
}

**Response Structure**
::

    # This section is too large to render.
    # Please see the AWS API Documentation linked below.

`AWS API Documentation <https://docs.aws.amazon.com/goto/WebAPI/glue-2017-03-31/GetJob>`_
GetJobs (updated) Link ¶
Changes (response)
{'Jobs': {'CodeGenConfigurationNodes': {'ConnectorDataSource': {'ConnectionType': 'string',
                                                                'Data': {'string': 'string'},
                                                                'Name': 'string',
                                                                'OutputSchemas': [{'Columns': [{'Name': 'string',
                                                                                                'Type': 'string'}]}]},
                                        'ConnectorDataTarget': {'ConnectionType': 'string',
                                                                'Data': {'string': 'string'},
                                                                'Inputs': ['string'],
                                                                'Name': 'string'}}}}

Retrieves all current job definitions.

See also: AWS API Documentation

Request Syntax

client.get_jobs(
    NextToken='string',
    MaxResults=123
)
type NextToken

string

param NextToken

A continuation token, if this is a continuation call.

type MaxResults

integer

param MaxResults

The maximum size of the response.

rtype

dict

returns

Response Syntax

{
    'Jobs': [
        {
            'Name': 'string',
            'Description': 'string',
            'LogUri': 'string',
            'Role': 'string',
            'CreatedOn': datetime(2015, 1, 1),
            'LastModifiedOn': datetime(2015, 1, 1),
            'ExecutionProperty': {
                'MaxConcurrentRuns': 123
            },
            'Command': {
                'Name': 'string',
                'ScriptLocation': 'string',
                'PythonVersion': 'string',
                'Runtime': 'string'
            },
            'DefaultArguments': {
                'string': 'string'
            },
            'NonOverridableArguments': {
                'string': 'string'
            },
            'Connections': {
                'Connections': [
                    'string',
                ]
            },
            'MaxRetries': 123,
            'AllocatedCapacity': 123,
            'Timeout': 123,
            'MaxCapacity': 123.0,
            'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
            'NumberOfWorkers': 123,
            'SecurityConfiguration': 'string',
            'NotificationProperty': {
                'NotifyDelayAfter': 123
            },
            'GlueVersion': 'string',
            'CodeGenConfigurationNodes': {
                'string': {
                    'AthenaConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'ConnectionTable': 'string',
                        'SchemaName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'JDBCConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'FilterPredicate': 'string',
                            'PartitionColumn': 'string',
                            'LowerBound': 123,
                            'UpperBound': 123,
                            'NumPartitions': 123,
                            'JobBookmarkKeys': [
                                'string',
                            ],
                            'JobBookmarkKeysSortOrder': 'string',
                            'DataTypeMapping': {
                                'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                            }
                        },
                        'ConnectionTable': 'string',
                        'Query': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string'
                    },
                    'S3CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'S3CsvSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                        'Escaper': 'string',
                        'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                        'Multiline': True|False,
                        'WithHeader': True|False,
                        'WriteHeader': True|False,
                        'SkipFirst': True|False,
                        'OptimizePerformance': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3JsonSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'JsonPath': 'string',
                        'Multiline': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3ParquetSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'RelationalCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamoDBCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'JDBCConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectionTable': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string',
                        'UpsertRedshiftOptions': {
                            'TableLocation': 'string',
                            'ConnectionName': 'string',
                            'UpsertKeys': [
                                'string',
                            ]
                        }
                    },
                    'S3CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3GlueParquetTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'S3DirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'string',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'ApplyMapping': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Mapping': [
                            {
                                'ToKey': 'string',
                                'FromPath': [
                                    'string',
                                ],
                                'FromType': 'string',
                                'ToType': 'string',
                                'Dropped': True|False,
                                'Children': {'... recursive ...'}
                            },
                        ]
                    },
                    'SelectFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'DropFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'RenameField': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SourcePath': [
                            'string',
                        ],
                        'TargetPath': [
                            'string',
                        ]
                    },
                    'Spigot': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Topk': 123,
                        'Prob': 123.0
                    },
                    'Join': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                        'Columns': [
                            {
                                'From': 'string',
                                'Keys': [
                                    [
                                        'string',
                                    ],
                                ]
                            },
                        ]
                    },
                    'SplitFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'SelectFromCollection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Index': 123
                    },
                    'FillMissingValues': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ImputedPath': 'string',
                        'FilledPath': 'string'
                    },
                    'Filter': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'LogicalOperator': 'AND'|'OR',
                        'Filters': [
                            {
                                'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                                'Negated': True|False,
                                'Values': [
                                    {
                                        'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                        'Value': [
                                            'string',
                                        ]
                                    },
                                ]
                            },
                        ]
                    },
                    'CustomCode': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Code': 'string',
                        'ClassName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkSQL': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SqlQuery': 'string',
                        'SqlAliases': [
                            {
                                'From': 'string',
                                'Alias': 'string'
                            },
                        ],
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'DirectKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DirectKafkaSource': {
                        'Name': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKafkaSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string',
                            'StartingTimestamp': datetime(2015, 1, 1)
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DropNullFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'NullCheckBoxList': {
                            'IsEmpty': True|False,
                            'IsNullString': True|False,
                            'IsNegOne': True|False
                        },
                        'NullTextList': [
                            {
                                'Value': 'string',
                                'Datatype': {
                                    'Id': 'string',
                                    'Label': 'string'
                                }
                            },
                        ]
                    },
                    'Merge': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Source': 'string',
                        'PrimaryKeys': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'Union': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'UnionType': 'ALL'|'DISTINCT'
                    },
                    'PIIDetection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                        'EntityTypesToDetect': [
                            'string',
                        ],
                        'OutputColumnName': 'string',
                        'SampleFraction': 123.0,
                        'ThresholdFraction': 123.0,
                        'MaskValue': 'string'
                    },
                    'Aggregate': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Groups': [
                            [
                                'string',
                            ],
                        ],
                        'Aggs': [
                            {
                                'Column': [
                                    'string',
                                ],
                                'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                            },
                        ]
                    },
                    'DropDuplicates': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Columns': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'GovernedCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'GovernedCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'MicrosoftSQLServerCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MicrosoftSQLServerCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamicTransform': {
                        'Name': 'string',
                        'TransformName': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Parameters': [
                            {
                                'Name': 'string',
                                'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'ValidationRule': 'string',
                                'ValidationMessage': 'string',
                                'Value': [
                                    'string',
                                ],
                                'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'IsOptional': True|False
                            },
                        ],
                        'FunctionName': 'string',
                        'Path': 'string',
                        'Version': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'EvaluateDataQuality': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Ruleset': 'string',
                        'Output': 'PrimaryInput'|'EvaluationResults',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    },
                    'S3CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3HudiDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'DirectJDBCSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'ConnectionName': 'string',
                        'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                        'RedshiftTmpDir': 'string'
                    },
                    'S3CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3DeltaDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'uncompressed'|'snappy',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'AmazonRedshiftSource': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        }
                    },
                    'AmazonRedshiftTarget': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'Inputs': [
                            'string',
                        ]
                    },
                    'EvaluateDataQualityMultiFrame': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'AdditionalDataSources': {
                            'string': 'string'
                        },
                        'Ruleset': 'string',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    },
                    'Recipe': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'RecipeReference': {
                            'RecipeArn': 'string',
                            'RecipeVersion': 'string'
                        }
                    },
                    'SnowflakeSource': {
                        'Name': 'string',
                        'Data': {
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': 'string',
                            'Table': 'string',
                            'Database': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdditionalOptions': {
                                'string': 'string'
                            },
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'AutoPushdown': True|False,
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SnowflakeTarget': {
                        'Name': 'string',
                        'Data': {
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': 'string',
                            'Table': 'string',
                            'Database': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdditionalOptions': {
                                'string': 'string'
                            },
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'AutoPushdown': True|False,
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'Inputs': [
                            'string',
                        ]
                    },
                    'ConnectorDataSource': {
                        'Name': 'string',
                        'ConnectionType': 'string',
                        'Data': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'ConnectorDataTarget': {
                        'Name': 'string',
                        'ConnectionType': 'string',
                        'Data': {
                            'string': 'string'
                        },
                        'Inputs': [
                            'string',
                        ]
                    }
                }
            },
            'ExecutionClass': 'FLEX'|'STANDARD',
            'SourceControlDetails': {
                'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
                'Repository': 'string',
                'Owner': 'string',
                'Branch': 'string',
                'Folder': 'string',
                'LastCommitId': 'string',
                'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
                'AuthToken': 'string'
            }
        },
    ],
    'NextToken': 'string'
}

**Response Structure**
::

    # This section is too large to render.
    # Please see the AWS API Documentation linked below.

`AWS API Documentation <https://docs.aws.amazon.com/goto/WebAPI/glue-2017-03-31/GetJobs>`_
UpdateJob (updated) Link ¶
Changes (request)
{'JobUpdate': {'CodeGenConfigurationNodes': {'ConnectorDataSource': {'ConnectionType': 'string',
                                                                     'Data': {'string': 'string'},
                                                                     'Name': 'string',
                                                                     'OutputSchemas': [{'Columns': [{'Name': 'string',
                                                                                                     'Type': 'string'}]}]},
                                             'ConnectorDataTarget': {'ConnectionType': 'string',
                                                                     'Data': {'string': 'string'},
                                                                     'Inputs': ['string'],
                                                                     'Name': 'string'}}}}

Updates an existing job definition. The previous job definition is completely overwritten by this information.

See also: AWS API Documentation

Request Syntax

client.update_job(
    JobName='string',
    JobUpdate={
        'Description': 'string',
        'LogUri': 'string',
        'Role': 'string',
        'ExecutionProperty': {
            'MaxConcurrentRuns': 123
        },
        'Command': {
            'Name': 'string',
            'ScriptLocation': 'string',
            'PythonVersion': 'string',
            'Runtime': 'string'
        },
        'DefaultArguments': {
            'string': 'string'
        },
        'NonOverridableArguments': {
            'string': 'string'
        },
        'Connections': {
            'Connections': [
                'string',
            ]
        },
        'MaxRetries': 123,
        'AllocatedCapacity': 123,
        'Timeout': 123,
        'MaxCapacity': 123.0,
        'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
        'NumberOfWorkers': 123,
        'SecurityConfiguration': 'string',
        'NotificationProperty': {
            'NotifyDelayAfter': 123
        },
        'GlueVersion': 'string',
        'CodeGenConfigurationNodes': {
            'string': {
                'AthenaConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'ConnectionTable': 'string',
                    'SchemaName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'JDBCConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'FilterPredicate': 'string',
                        'PartitionColumn': 'string',
                        'LowerBound': 123,
                        'UpperBound': 123,
                        'NumPartitions': 123,
                        'JobBookmarkKeys': [
                            'string',
                        ],
                        'JobBookmarkKeysSortOrder': 'string',
                        'DataTypeMapping': {
                            'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                        }
                    },
                    'ConnectionTable': 'string',
                    'Query': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string'
                },
                'S3CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'S3CsvSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                    'Escaper': 'string',
                    'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                    'Multiline': True|False,
                    'WithHeader': True|False,
                    'WriteHeader': True|False,
                    'SkipFirst': True|False,
                    'OptimizePerformance': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3JsonSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'JsonPath': 'string',
                    'Multiline': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3ParquetSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'RelationalCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamoDBCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'JDBCConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectionTable': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string',
                    'UpsertRedshiftOptions': {
                        'TableLocation': 'string',
                        'ConnectionName': 'string',
                        'UpsertKeys': [
                            'string',
                        ]
                    }
                },
                'S3CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3GlueParquetTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'S3DirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'string',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'ApplyMapping': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Mapping': [
                        {
                            'ToKey': 'string',
                            'FromPath': [
                                'string',
                            ],
                            'FromType': 'string',
                            'ToType': 'string',
                            'Dropped': True|False,
                            'Children': {'... recursive ...'}
                        },
                    ]
                },
                'SelectFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'DropFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'RenameField': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SourcePath': [
                        'string',
                    ],
                    'TargetPath': [
                        'string',
                    ]
                },
                'Spigot': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Topk': 123,
                    'Prob': 123.0
                },
                'Join': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                    'Columns': [
                        {
                            'From': 'string',
                            'Keys': [
                                [
                                    'string',
                                ],
                            ]
                        },
                    ]
                },
                'SplitFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'SelectFromCollection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Index': 123
                },
                'FillMissingValues': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ImputedPath': 'string',
                    'FilledPath': 'string'
                },
                'Filter': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'LogicalOperator': 'AND'|'OR',
                    'Filters': [
                        {
                            'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                            'Negated': True|False,
                            'Values': [
                                {
                                    'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                    'Value': [
                                        'string',
                                    ]
                                },
                            ]
                        },
                    ]
                },
                'CustomCode': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Code': 'string',
                    'ClassName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkSQL': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SqlQuery': 'string',
                    'SqlAliases': [
                        {
                            'From': 'string',
                            'Alias': 'string'
                        },
                    ],
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'DirectKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DirectKafkaSource': {
                    'Name': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKafkaSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DropNullFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'NullCheckBoxList': {
                        'IsEmpty': True|False,
                        'IsNullString': True|False,
                        'IsNegOne': True|False
                    },
                    'NullTextList': [
                        {
                            'Value': 'string',
                            'Datatype': {
                                'Id': 'string',
                                'Label': 'string'
                            }
                        },
                    ]
                },
                'Merge': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Source': 'string',
                    'PrimaryKeys': [
                        [
                            'string',
                        ],
                    ]
                },
                'Union': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'UnionType': 'ALL'|'DISTINCT'
                },
                'PIIDetection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                    'EntityTypesToDetect': [
                        'string',
                    ],
                    'OutputColumnName': 'string',
                    'SampleFraction': 123.0,
                    'ThresholdFraction': 123.0,
                    'MaskValue': 'string'
                },
                'Aggregate': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Groups': [
                        [
                            'string',
                        ],
                    ],
                    'Aggs': [
                        {
                            'Column': [
                                'string',
                            ],
                            'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                        },
                    ]
                },
                'DropDuplicates': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Columns': [
                        [
                            'string',
                        ],
                    ]
                },
                'GovernedCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'GovernedCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'MicrosoftSQLServerCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MicrosoftSQLServerCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamicTransform': {
                    'Name': 'string',
                    'TransformName': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Parameters': [
                        {
                            'Name': 'string',
                            'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'ValidationRule': 'string',
                            'ValidationMessage': 'string',
                            'Value': [
                                'string',
                            ],
                            'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'IsOptional': True|False
                        },
                    ],
                    'FunctionName': 'string',
                    'Path': 'string',
                    'Version': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'EvaluateDataQuality': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Ruleset': 'string',
                    'Output': 'PrimaryInput'|'EvaluationResults',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'S3CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3HudiDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'DirectJDBCSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'ConnectionName': 'string',
                    'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                    'RedshiftTmpDir': 'string'
                },
                'S3CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3DeltaDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'uncompressed'|'snappy',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'AmazonRedshiftSource': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    }
                },
                'AmazonRedshiftTarget': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'EvaluateDataQualityMultiFrame': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'AdditionalDataSources': {
                        'string': 'string'
                    },
                    'Ruleset': 'string',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'Recipe': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'RecipeReference': {
                        'RecipeArn': 'string',
                        'RecipeVersion': 'string'
                    }
                },
                'SnowflakeSource': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SnowflakeTarget': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'ConnectorDataSource': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'ConnectorDataTarget': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'Inputs': [
                        'string',
                    ]
                }
            }
        },
        'ExecutionClass': 'FLEX'|'STANDARD',
        'SourceControlDetails': {
            'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
            'Repository': 'string',
            'Owner': 'string',
            'Branch': 'string',
            'Folder': 'string',
            'LastCommitId': 'string',
            'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
            'AuthToken': 'string'
        }
    }
)

  **Parameters**
  ::

      # This section is too large to render.
      # Please see the AWS API Documentation linked below.

  `AWS API Documentation <https://docs.aws.amazon.com/goto/WebAPI/glue-2017-03-31/UpdateJob>`_
rtype

dict

returns

Response Syntax

{
    'JobName': 'string'
}

Response Structure

  • (dict) --

    • JobName (string) --

      Returns the name of the updated job definition.