Python 3.x ValueError:无法pickle包含指针的ctypes对象

Python 3.x ValueError:无法pickle包含指针的ctypes对象,python-3.x,multiprocessing,Python 3.x,Multiprocessing,我是Python新手(总共2个月的编程/学习经验)。 在这段代码中,我所做的就是从MSSQL数据库获取一些数据并将其传输到DynamDB。 我只是想知道为什么会出现这样的错误:ValueError:ctypes包含指针的对象不能被pickle 它发生在这行:p.map(self.import\u sample\u data\u dynamo,list\u to\u batch)。 导入\u示例\u数据\u dynamo:它是dynamo批处理的一个函数。 列表到批量:这是一个字典列表。 有人能告

我是Python新手(总共2个月的编程/学习经验)。 在这段代码中,我所做的就是从MSSQL数据库获取一些数据并将其传输到DynamDB。 我只是想知道为什么会出现这样的错误:ValueError:ctypes包含指针的对象不能被pickle 它发生在这行:p.map(self.import\u sample\u data\u dynamo,list\u to\u batch)。 导入\u示例\u数据\u dynamo:它是dynamo批处理的一个函数。 列表到批量:这是一个字典列表。 有人能告诉我我做错了什么吗

class GetSensorsSamplesSetToDynamoDBTable:

    def __init__(self):
        self.client = None
        self.db = None

        # MSSQL
        self.connection = None
        self.cursor: Cursor = None

    def init(self):
        # MSSQL
        connect_string = 'Driver={SQL Server};' \
                         'Server=xxxx;' 'Database=xxx;' \
                         'uid=xxx;pwd=xxx'
        self.connection = pypyodbc.connect(connect_string)
        self.cursor = self.connection.cursor()

        # DynamoDB
        dynamodb = boto3.resource('dynamodb')
        self.table = dynamodb.Table('xxx')

    def cleanup(self):
        # MSSQL
        self.cursor.close()
        self.connection.close()

    def do_work(self):
        self.init()
        data = []
        samples = self.get_files_received_by_ftp_prod2_data()
        for sample in samples:
            sample_id = sample['id']
            project_id = sample['projectid']
            sensor_id = sample['sensorid']
            sample_time = sample['sampletime']
            row = {"_id": sample_id, 'ProjectID': project_id, 'SensorID': sensor_id,
                   'Sample_Time': sample_time,
                   'Z_Fields': sample}
            data.append(row)
        self.split_for_batch(data)
        # self.import_sample_data_dynamo(data)

    def get_files_received_by_ftp_prod2_data(self):
        sql_cmd = f"SELECT TOP (1000) * FROM FilesReceivedByFTP_Prod2"
        self.cursor.execute(sql_cmd)
        records = self.cursor.fetchall()
        samples = []
        records = list(records)
        for res in records:
            samples_data = {self.cursor.description[i][0]: res[i] for i in range(len(res))}
            self.fix_bad_fields(samples_data)
            samples.append(samples_data)
        return samples

    def split_for_batch(self, data):
        temp_list = []
        list_to_batch = []

        while len(data) > 0:
            temp_list.append(data[0])
            data.pop(0)
            if len(temp_list) > 24 or len(data) is 0:
                list_to_batch.append(temp_list)
                temp_list = []
                print(len(data))
                print(len(list_to_batch))
        start_time = time.time()
        num_workers = multiprocessing.cpu_count()
        p = Pool(num_workers - 1)
        p.map(self.import_sample_data_dynamo, list_to_batch)
        p.close()
        p.join()
        elapsed = time.time() - start_time
        print(f"read_all_samples elapsed {elapsed:.0F} Seconds")

    def import_sample_data_dynamo(self, data):
        with self.table.batch_writer() as batch:
            for item in data:
                ddb_data = json.loads(json.dumps(item, default=json_util.default),
                                      parse_float=Decimal, object_hook=json_util.object_hook)
                batch.put_item(Item=ddb_data)
        return True

    def fix_bad_fields(self, data):
        for k, v in data.items():
            if v == '':
                data[k] = '---'
            # elif type(v) == type(datetime.datetime.now()):
            #     # data[k] = v.strftime("%d/%m/%Y, %H:%M:%S")
            #     data[k] = v.timestamp()
            elif type(v) is bytearray:
                data[k] = "bytearray"


if __name__ == '__main__':
    freeze_support()
    worker = GetSensorsSamplesSetToDynamoDBTable()
    worker.do_work()

所以我所做的是修复它-我为(def split_for_batch(self,data))和(def import_sample_data_dynamo(self,data))设置classmethod,加上我设置:dynamodb=boto3.resource('dynamodb')和table=dynamodb.table('xxx')作为班级成员,它可以工作。这样做可以吗?如果有人能告诉我为什么我做的是好的还是坏的,以及为什么我需要设置classmethod让它工作。提前感谢那些对我的问题有耐心的人。:DSo我做了什么来修复它-我为(def split_for_batch(self,data))和(def import_sample_data_dynamo)设置classmethod(self,data),加上我将:dynamodb=boto3.resource('dynamodb')和table=dynamodb.table('xxx')设置为类成员,它可以工作。这样做可以吗?如果有人能告诉我为什么我所做的是好的还是坏的,以及为什么我需要设置classmethod才能工作。提前感谢那些耐心回答我问题的人。:D