Введение в PostgreSQL с Python +Psycopg2

• 
• 
• 

Это руководство по PostgreSQL в Python описывает, как использовать модуль Psycopg2 для подключения к PostgreSQL, выполнения SQL-запросов и других операций с базой данных.

Здесь не инструкции по установки локального сервера, так как это не касается python. Скачайте и установите PostgreSQL с официального сайта https://www.postgresql.org/download/. Подойдут версии 10+, 11+, 12+.

Вот список разных модулей Python для работы с сервером базы данных PostgreSQL:

• Psycopg2,
• pg8000,
• py-postgreql,
• PyGreSQL,
• ocpgdb,
• bpsql,
• SQLAlchemy. Для работы SQLAlchemy нужно, чтобы хотя бы одно из перечисленных выше решений было установлено.

Примечание: все модули придерживаются спецификации Python Database API Specification v2.0 (PEP 249). Этот API разработан с целью обеспечить сходство разных модулей для доступа к базам данных из Python. Другими словами, синтаксис, методы и прочее очень похожи во всех этих модулях.

В этом руководстве будем использовать Psycopg2, потому что это один из самых популярных и стабильных модулей для работы с PostgreSQL:

• Он используется в большинстве фреймворков Python и Postgres;
• Он активно поддерживается и работает как с Python 3, так и с Python 2;
• Он потокобезопасен и спроектирован для работы в многопоточных приложениях. Несколько потоков могут работать с одним подключением.

В этом руководстве пройдемся по следующим пунктам:

• Установка Psycopg2 и использование его API для доступа к базе данных PostgreSQL;
• Вставка, получение, обновление и удаление данных в базе данных из приложения Python;
• Дальше рассмотрим управление транзакциями PostgreSQL, пул соединений и методы обработки исключений, что понадобится для разработки сложных программ на Python с помощью PostgreSQL.

Установка Psycopg2 с помощью pip

Для начала нужно установить текущую версию Psycopg2 для использования PostgreSQL в Python. С помощью команды pip можно установить модуль в любую операцию систему: Windows, macOS, Linux:

Также можно установить конкретную версию программы с помощью такой команды:

Если возникает ошибка установки, например «connection error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:598)», то ее можно решить, сделав files.pythonhosted.org доверенным хостом:

Модуль psycopg2 поддерживает:

• Python 2.7 и Python 3, начиная с версии 3.4.
• Сервер PostgreSQL от 7.4 до 12.
• Клиентскую библиотеку PostgreSQL от 9.1.

Проверка установки Psycopg2

• 
• 
• 
• 
• 
• 
• 

После запуска команды должны появиться следующие сообщения:

• Collecting psycopg2
• Downloading psycopg2-2.8.6
• Installing collected packages: psycopg2
• Successfully installed psycopg2-2.8.6

При использовании anaconda подойдет следующая команда.

Подключение к базе данных PostgreSQL из Python

В этом разделе рассмотрим, как подключиться к PostgreSQL из Python с помощью модуля Psycopg2.

Вот какие аргументы потребуются для подключения:

• Имя пользователя: значение по умолчанию для базы данных PostgreSQL – postgres.
• Пароль: пользователь получает пароль при установке PostgreSQL.
• Имя хоста: имя сервера или IP-адрес, на котором работает база данных. Если она запущена локально, то нужно использовать localhost или 127.0.0.0.
• Имя базы данных: в этом руководстве будем использовать базу postgres_db .

Шаги для подключения:

• Использовать метод connect() с обязательными параметрами для подключения базы данных.
• Создать объект cursor с помощью объекта соединения, который возвращает метод connect . Он нужен для выполнения запросов.
• Закрыть объект cursor и соединение с базой данных после завершения работы.
• Перехватить исключения, которые могут возникнуть в процессе.

Создание базы данных PostgreSQL с Psycopg2

Для начала создадим базу данных на сервере. Во время установки PostgreSQL вы указывали пароль, его нужно использовать при подключении.

Работа с PostgreSQL в Python

PostgreSQL, пожалуй, это самая продвинутая реляционная база данных в мире Open Source Software. По своим функциональным возможностям она не уступает коммерческой БД Oracle и на голову выше собрата MySQL.

Если вы создаёте на Python веб-приложения, то вам не избежать работы с БД. В Python самой популярной библиотекой для работы с PostgreSQL является psycopg2. Эта библиотека написана на Си на основе libpq.

Установка

Тут всё просто, выполняем команду:

Для тех, кто не хочет ставить пакет прямо в системный python, советую использовать pyenv для отдельного окружения. В Unix системах установка psycopg2 потребует наличия вспомогательных библиотек (libpq, libssl) и компилятора. Чтобы избежать сборки, используйте готовый билд:

Но для production среды разработчики библиотеки рекомендуют собирать библиотеку из исходников.

Начало работы

Для выполнения запроса к базе, необходимо с ней соединиться и получить курсор:

Через курсор происходит дальнейшее общение в базой.

После выполнения запроса, получить результат можно несколькими способами:

• cursor.fetchone() — возвращает 1 строку
• cursor.fetchall() — возвращает список всех строк
• cursor.fetchmany(size=5) — возвращает заданное количество строк

Также курсор является итерируемым объектом, поэтому можно так:

Хорошей практикой при работе с БД является закрытие курсора и соединения. Чтобы не делать это самому, можно воспользоваться контекстным менеджером:

По умолчанию результат приходит в виде кортежа. Кортеж неудобен тем, что доступ происходит по индексу (изменить это можно, если использовать NamedTupleCursor ). Если хотите работать со словарём, то при вызове .cursor передайте аргумент cursor_factory :

Формирование запросов

Зачастую в БД выполняются запросы, сформированные динамически. Psycopg2 прекрасно справляется с этой работой, а также берёт на себя ответственность за безопасную обработку строк во избежание атак типа SQL Injection:

Метод execute вторым аргументом принимает коллекцию (кортеж, список и т.д.) или словарь. При формировании запроса необходимо помнить, что:

• Плейсхолдеры в строке запроса должны быть %s , даже если тип передаваемого значения отличается от строки, всю работу берёт на себя psycopg2.
• Не нужно обрамлять строки в одинарные кавычки.
• Если в запросе присутствует знак %, то его необходимо писать как %%.

Именованные аргументы можно писать так:

Модуль psycopg2.sql

Начиная с версии 2.7, в psycopg2 появился модуль sql. Его цель — упростить и обезопасить работу при формировании динамических запросов. Например, метод execute курсора не позволяет динамически подставить название таблицы.

Это можно обойти, если сформировать запрос без участия psycopg2, но есть высокая вероятность оставить брешь (привет, SQL Injection!). Чтобы обезопасить строку, воспользуйтесь функцией psycopg2.extensions.quote_ident , но и про неё легко забыть.

Транзакции

По умолчанию транзакция создаётся до выполнения первого запроса к БД, и все последующие запросы выполняются в контексте этой транзакции. Завершить транзакцию можно несколькими способами:

• закрыв соединение conn.close()
• удалив соединение del conn
• вызвав conn.commit() или conn.rollback()

Старайтесь избегать длительных транзакций, ни к чему хорошему они не приводят. Для ситуаций, когда атомарные операции не нужны, существует свойство autocommit для connection класса. Когда значение равно True , каждый вызов execute будет моментально отражен на стороне БД (например, запись через INSERT).

💌 Присоединяйтесь к рассылке

Понравился контент? Пожалуйста, подпишись на рассылку.

Как установить psycopg2?

Несколько дней пытаюсь решить проблему — не получается.

UPD: решил с помощью команды

• Вопрос задан более трёх лет назад
• 15943 просмотра

Please add the directory containing pg_config to the PATH
or specify the full executable path with the option:

python setup.py build_ext —pg-config /path/to/pg_config build .

Вроде прямым текстом говорят — корректный путь к постгресу в PATH надо добавить. Либо указанным способом, либо

pip install psycopg2

Здравствуйте.
Лог ошибки читал, пытался пропатчить на что возвращалось

usage: sudo -h | -K | -k | -L | -V
usage: sudo -v [-AknS] [-g groupname|#gid] [-p prompt] [-u user name|#uid]
usage: sudo -l[l] [-AknS] [-g groupname|#gid] [-p prompt] [-U user name] [-u user name|#uid] [-g
groupname|#gid] [command]
usage: sudo [-AbEHknPS] [-C fd] [-g groupname|#gid] [-p prompt] [-u user name|#uid] [-g
groupname|#gid] [VAR=value] [-i|-s] []
usage: sudo -e [-AknS] [-C fd] [-g groupname|#gid] [-p prompt] [-u user name|#uid] file .

Пытался вставить -e, не получалось и забросил этот способ
С sudo не дружу ещё, недавно освоил bash

How to Install Psycopg2 in Windows

Introduction

In this article we talk in detail about how to install psycopg2 in Windows. Included are the command line commands and code you’ll need to do it yourself.

Prerequisites

Before we can install psycopg2 on windows operating system we must make certain prerequisites

Make sure to install and set up Python3 on your local device because Python2 is already deprecated and losses its support.

Basic knowledge on using Python and PostgreSQL database.

Install and setup the Python 3 in Windows 10

To install Python using the interactive EXE installer make sure to download it first and include the path. Also check the py launcher and pip checkboxes as well.

After it’s done installing, open the command prompt window terminal to verify if the Python3 is properly installed and working on your device :

The command above will return the Python version number.

Set the paths for python3 and pip3

To prevent an error when starting up python in your command prompt window, setup the PATH variable location of the Python so that the system will recognize it.

Create a Python virtual environment on Windows 10

To install several packages from the PIP3 command and use it for your environment, you can create a virtual environment in Python. Use the command py -m with the venv tag for virtual environment and followed by the name of the virtual env you desire.

Once it’s finished you can input dir , and you should see the demo directory. Enter into the directory with the following:

Now go inside the Scripts directory and execute the activate.bat file to enter inside the virtual environment:

Upgrade pip3 using the py command

If you get an error message about the user permission, you can use the —user flag while installing it.

The python3 and pip3 wrappers for the respective Python3 and PIP3 commands are now deprecated in Windows10, you can use the py and py -m pip instead.

Execute the command py in your command prompt window to open the and enter into the interactive interpreter for Python 3. Just press the button CTRL + Z and then RETURN to exit the interface.

To check and verify the version of the PIP3 in your device, use the command below :

It should return something like this : pip 20.0.2 from C:\Path\To\AppData\Roaming\Python\Python38\site-packages\pip (python 3.8) because of the upgrade flag that we have used earlier.

Install the psycopg2 module in Windows 10

Now that we have our virtual environment setup and ready, install the psycopg2 module to create a simple connection in the PostgreSQL database cluster.

Make sure to upgrade the pip command to avoid error when installing a package module from python in a virtual environment.

Create a Python script that connects into PostgreSQL database

On your command prompt window, use the command py or python to enter the Python interface.

And now we will try to use the cursor command to perform any PostgreSQL database queries and operations using the Python script.

Then, print the version of the PostgreSQL installed in your device.

Let’s take a look at the output:

Create table using the cursor command

Another example on performing PostgreSQL commands would be creating a table inside the database demo .

Next is to insert some record of rows inside the table.

Then create a commit function and display that the record is successfully inserted.

Now go to your PostgreSQL shell or the psql to verify that the table has been created using the command \d in your database demo .

And use the SELECT statement to verify the records of row inserted.

The result is the following:

Conclusion

In this article we have covered how to install psycopg2 in Windows. Below is a recap of the code we used in this tutorial in case you’d like to use or repurpose it.

Just the code

import psycopg2
conn = psycopg2. connect ( user = «postgres» , password = «143214» , database = «demo» , host = «localhost» , port = «5432» )
print ( «Successfully connected!» )

cursor = conn. cursor ( )

cursor. execute ( «SELECT VERSION();» )
version = cursor. fetchone ( )
print ( «Connected into — » , version )

cursor. execute ( «CREATE TABLE py_tbl(id SERIAL PRIMARY KEY, str_col VARCHAR(50),int_col INT);» )
print ( «Table successfully created!» )

cursor. execute ( «INSERT INTO py_tbl(str_col, int_col) VALUES(‘Hello World!’, 110);» )
cursor. execute ( «INSERT INTO py_tbl(str_col, int_col) VALUES(‘Welcome to ObjectRocket!’, 120);» )
cursor. execute ( «INSERT INTO py_tbl(str_col, int_col) VALUES(‘Greetings!’, 130);» )

conn. commit ( )
print ( «Records Successfully Inserted!)»
conn. close ( )

Pilot the ObjectRocket Platform Free!

Try Fully-Managed CockroachDB, Elasticsearch, MongoDB, PostgreSQL (Beta) or Redis.