среда, 11 декабря 2013 г.

Осваиваем Scrapy


После долгой установки библиотеки Scrapy приступаем к просмотру видеороликов и чтению документации. Процесс конспектируем в комментариях. Потом в этом посте выдадим рекомендации
Помимо собственно изучения библиотеки отрабатываем процессы конспектирования и написания файлов .py
1.Самую суть
Этот текст нужно будет заменить
Рекомендации
Что спрашивают на stackoverflow.com
Автор: Sergey Borisovich на 15:18
Ярлыки: , , ,

38 комментариев:

  1. Sergey Borisovich11 декабря 2013 г. в 15:27

    Начал искать в закладках delicious..., а там пусто... Вспомнил, я теперь ярлыки делаю прямо в папках для документации. Вот и сейчас папка ноутбука пустая, но там два прекрасных ярлыка
    https://github.com/scrapy/scrapy/wiki
    Здесье есть и подробнейшие руководства и видео и даже ссылки на пакеты, которые использут scrapy
    Вот они:
    Projects, tools and libraries using Scrapy

    Django Dynamic Scraper - a web application (written in django) for runnning and controlling Scrapy spiders
    Slybot - A supervised learning crawler based on Scrapely
    scrapy-sentry - Logs Scrapy exceptions into Sentry
    ScrapyGraphite - Output scrapy statistics to carbon/graphite
    scrapy-mongo - A pipeline to store scrapy items in a MongoDB database
    scrapy-boilerplate - small set of utilities to simplify writing low-complexity spiders
    scrapy-inline-requests - provides a decorator to write spider callbacks which performs multiple requests without the need to write multiple callbacks for each request
    scrapy-redis - providesRedis-backed components for Scrapy
    Scrapy-related libraries on PyPI

    ОтветитьУдалить
  2. Sergey Borisovich11 декабря 2013 г. в 15:30

    Видео и слайдкасты (с той же страницы https://github.com/scrapy/scrapy/wiki)Videos

    Scrapy: it GETs the web - PyCon US 2013 talk
    Installing Scrapy on Windows (video tutorial)
    Recursively scraping Craigslist (includes video) - Nov 8, 2012
    Scrapy / Python playlist on Youtube channel
    Slides

    English slides:

    Scrapy - a flexible crawler to power your search - give by Shane Evans in Feb 2013 Cambridge Search Meetup
    Web Crawling & Metadata Extraction in Python
    Crawling the web for fun and profit
    Scrapy for dummies
    Web scraping 1 2-3 with python + scrapy (Summer BarCampHK 2012 version)
    Collecting web information with open source tools
    When big data meet python @ COSCUP 2012
    How to scrape any website's content using Scrapy

    ОтветитьУдалить
  3. Sergey Borisovich11 декабря 2013 г. в 21:20

    Из всех вариантов я выбрал:
    1)Изучение руководства http://doc.scrapy.org/en/latest/intro/overview.html
    Scrapy at a glance
    Там сразу берут быка за рога
    и я тоже взял и наваял сюда C:\Users\kiss\Documents\GitHub\Python_1\scrapy_at_glance.py

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich11 декабря 2013 г. в 21:21

      Вот такой код (проблемы с селекторами могут возникнуть... не проверял)

      # -*- coding: utf-8 -*-
      """
      Created on Wed Dec 11 19:50:58 2013
      This is my code according with the tutorial
      "Scrapy at a glance"
      http://doc.scrapy.org/en/latest/intro/overview.html
      @author: kiss
      """
      # xPath for http://www.mininova.org/tor/13265253 from Google Chrome
      #//*[@id="content"]/h1
      #//div[@id="description"]
      #//div[@id='specifications']/p[2]/text()[2]
      #
      class MininovaSpider(CrawlSpider):

      name = 'mininova'
      allowed_domains = ['mininova.org']
      start_urls = ['http://www.mininova.org/today']
      rules = [Rule(SgmlLinkExtractor(allow=['/tor/\d+']), 'parse_torrent')]

      def parse_torrent(self, response):
      sel = Selector(response)
      torrent = TorrentItem()
      torrent['url'] = response.url
      torrent['name'] = sel.xpath("//h1/text()").extract()
      torrent['description'] = sel.xpath("//div[@id='description']").extract()
      torrent['size'] = sel.xpath("//div[@id='info-left']/p[2]/text()[2]").extract()
      return torrent

      Удалить
  4. Sergey Borisovich11 декабря 2013 г. в 21:23

    А как его запускать? Руководство рекомендует дальше изучать
    http://doc.scrapy.org/en/latest/intro/tutorial.html#intro-tutorial
    И этим я завтра и займусь...

    ОтветитьУдалить
  5. Sergey Borisovich11 декабря 2013 г. в 21:27

    А сегодня нашел хороший пример в толковом блог и посмотрю видео
    https://www.youtube.com/watch?v=1EFnX1UkXVU оттуда же
    вот статья:
    http://mherman.org/blog/2012/11/05/scraping-web-pages-with-scrapy/

    This is a simple tutorial on how to write a crawler using Scrapy (BaseSpider) to scrape and parse Craigslist Nonprofit jobs in San Francisco and store the data to a CSV file.

    ОтветитьУдалить
  6. Sergey Borisovich11 декабря 2013 г. в 21:30

    А еще не забыть вот это слайдшоу, здесь много ссылок и все довольно удачно расположено...
    Особенно понравился слайд №5 с архитектурой робота

    http://www.slideshare.net/previa/scrapyfordummies-15277988

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich11 декабря 2013 г. в 21:32

      Здесь вообще залежи слайдкастов не только по питону, но и по data mining

      Удалить
  7. Sergey Borisovich12 декабря 2013 г. в 14:43

    Вчера ночью почитал документацию вот, например http://doc.scrapy.org/en/latest/topics/spiders.html
    ............
    Материал усваивается потихоньку...
    Читать документацию надо и дальше, но надо закреплять материал и...
    Сейчас идеальным было бы найти склад с примерами, в частности, начать с задачки о скачивании CSS файлов, гуглим...

    https://groups.google.com/forum/#!topic/scrapy-users/kzGHFjXywuY

    этот код стоит проверить? Или еще посмотреть?
    или ищем ссылку на репозиторий?
    Возвращаемся на https://github.com/scrapy/scrapy/wiki
    и изучаем...

    ОтветитьУдалить
  8. Sergey Borisovich12 декабря 2013 г. в 14:48

    Для удобства поиска добавляем рекомендованные примеры отсюда https://github.com/scrapy/scrapy/wiki

    Articles & blog posts

    These are guides contributed by the Scrapy community. If you know of any guide not included here please feel free to add it.

    Scaling Scrapy crawlers
    Building a web crawler with Scrapy
    How to do basic web scraping using Scrapy on a Windows Azure virtual machine
    Scraping iTunes Charts Using Scrapy
    SearchHub: Indexing web sites in Solr with Scrapy
    Using Parsley extraction language with Scrapy
    Running Scrapy on Amazon EC2
    How to automatically search and download torrents with Python and Scrapy
    Scraping Craigslist with Scrapy (includes video) - Nov 5, 2012
    How to Install Scrapy 0.14 in a 64 bit Windows 7 Environment
    Using Scrapy with different/many proxies
    Scrape multi-pages content with Scrapy
    Calling Scrapy from a Python script
    Scrapy and Django (1)
    Scrapy and Django (2)
    Scrapy and Django (3)
    Scraping Google Scholar with Scrapy and MongoDB
    Recursively scraping a blog with Scrapy
    Scraping civic data with Scrapy: part 1, part 2
    Gathering data with the Scrapy framework
    Setup Macports Python and Scrapy successfully
    Crawl a website with Scrapy
    How to use Scrapy with TOR (scrapy-users message)
    Article (german): How to create XPATH expressions visually in your browser and scrape content from wikipedia
    Convert relative paths to absolute paths
    How to use Scrapy, Tor with multiple user agents
    (Russian, 2011) Собираем данные с помощью Scrapy

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich12 декабря 2013 г. в 14:51

      Два примера я посмотрел ранее
      Scraping Craigslist with Scrapy (includes video) - Nov 5, 2012
      (Russian, 2011) Собираем данные с помощью Scrapy

      И то и другое - типичные начальные примеры, но сайта были модифиуированы, так что запросы устарели...

      Удалить
  9. Sergey Borisovich12 декабря 2013 г. в 17:39

    Итак, почитал документацию, просмотрел по списку выше..., пришел к заключению, что таки да
    1) в scrapy возможность скачивания файла пока в экспериментальном режиме...

    https://groups.google.com/forum/#!topic/scrapy-users/kzGHFjXywuY

    Вот здесь обсуждается именно моя задачка... и в конце даже код есть...

    2)может быть... поискать другую библиотек именно для скачивания файлов...

    ОтветитьУдалить
  10. Sergey Borisovich12 декабря 2013 г. в 17:46

    Пожалуй, что это будет правильно... посмотреть другие библиотеки...
    Вот моя текущая задача
    1) Есть страницы html (их можно перебирать по шаблону, списку страниц)
    2) На каждой странице есть кнопки, которые запускаю загрузку текстовых файлов
    3) Файлы надо скачать в специально созданные папки
    4) Отметить и сохранить (где-то) время, дату, название источник (взять из url) или со страницы
    5) Возможность автоматического создания новых папок
    6) Работа по расписанию...
    ....
    Потом (при помощи scrapy) я выберу информацию из этих файлов...

    Возможны варианты...

    ОтветитьУдалить
  11. Sergey Borisovich12 декабря 2013 г. в 21:27

    И устремил я свои взор на http://docs.grablib.org/grab/installation.html#installation-on-windows
    на хабре ее автор презентовал, много комментариев, все понрасилось...

    Начал устанавливать, но тут выяснилось, что мануал (ссылки) устарел...
    Там две библиотеки Lxml у меня стояла, а вот другая - pycurl это целая проблема..., потому ниже привожу неправильный текс

    Installation on Windows
    You can find lxml library package here http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

    Warning
    Do not download pycurl library from the lfd.uci.edu. The pycurl library on that site has a bug (POST requests contains incorrect data).
    Please use our own version https://github.com/lorien/grab-files/raw/master/pycurl/pycurl-ssl-7.19.0.win32-py2.7.msi This is pycurl compiled from the official source without any patches, but it does not has a bug.

    Download and install Grab from http://pypi.python.org/pypi/grab:

    download tar.gz archive
    unpack the archive
    run the command python.exe setup.py install
    You can try to install Grab with easy_install utility (see details in Falsk documentation)

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich12 декабря 2013 г. в 21:30

      Установил с разбегу
      C:\WINDOWS\system32>pip install pycurl
      Downloading/unpacking pycurl
      Downloading pycurl-7.19.0.2.tar.gz (89kB): 89kB downloaded
      Running setup.py egg_info for package pycurl
      ('Using curl directory:', 'c:\\src\\build\\pycurl\\curl-7.16.2.1')
      Traceback (most recent call last):
      File "", line 16, in
      File "c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl\setup.py", line 69, in
      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"
      AssertionError: please check CURL_DIR in setup.py
      Complete output from command python setup.py egg_info:
      ('Using curl directory:', 'c:\\src\\build\\pycurl\\curl-7.16.2.1')

      Traceback (most recent call last):

      File "", line 16, in

      File "c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl\setup.py", line 69, in

      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"

      AssertionError: please check CURL_DIR in setup.py

      ----------------------------------------
      Cleaning up...
      Command python setup.py egg_info failed with error code 1 in c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl
      Storing complete log in C:\Users\kiss\pip\pip.log

      C:\WINDOWS\system32>

      Удалить
    2. Sergey Borisovich12 декабря 2013 г. в 21:31

      Решил, что надо бы загрузить сначала
      Скачал http://www.confusedbycode.com/curl/curl-7.33.0-win64.msi
      и установил
      ... компьютер не перегружал

      Удалить
    3. Sergey Borisovich12 декабря 2013 г. в 21:48

      Попытался повторить C:\WINDOWS\system32>pip install pycurl

      получил ту же ошибку (см. выше)

      Нагуглил http://stackoverflow.com/questions/19189481/cannot-install-pycurl-in-windows-7-64bit

      I think you should first download libcurl (I think from here)

      http://curl.haxx.se/dlwiz/?type=devel&os=Win64 then extract it to some directory (using 7zip)

      Then in setup.py set the CURL_DIR parameter (there is comment there on windows users) or use the --curl_dir paramter (see also code there).

      hope it will help

      Удалить
    4. Sergey Borisovich12 декабря 2013 г. в 21:54

      http://curl.haxx.se/dlwiz/?type=devel&os=Win64
      This package is type libcurl development This is for libcurl development - but does not always contain libcurl itself. Most likely header files and documentation. If you intend to compile or build something that uses libcurl, this is most likely the package you want.

      скачал, посмотрел архив..., там можно почитать манул...

      Удалить
  12. Sergey Borisovich13 декабря 2013 г. в 02:42

    Итак, что это все такое, смотрим http://ru.wikipedia.org/wiki/CURL

    cURL — свободная (распространяемая по лицензии MIT)[4], кроссплатформенная служебная программа командной строки, позволяющая взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL.

    Libcurl — это библиотека интерфейса API для передачи, которую разработчики могут встроить в свои программы; cURL действует как автономная обёртка для библиотеки libcurl. libcurl используется, чтобы обеспечить возможность передачи файлов (адресуемых с помощью URL) многочисленным приложениям (как открытым, так и коммерческим).
    Для libcurl имеются модули интеграции (bindings, привязки) для работы с более чем 30 языками программирования.

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich13 декабря 2013 г. в 02:50

      Ага, а здесь как раз один из модулей интеграции https://github.com/pycurl/pycurl

      PycURL is a Python interface to libcurl. PycURL can be used to fetch objects identified by a URL from a Python program, similar to the urllib Python module. PycURL is mature, very fast, and supports a lot of features.

      И, чтобы его установить, надо вот здесь https://github.com/lorien/pycurl/blob/master/setup.py
      прописать путь

      if sys.platform == "win32":
      # Windows users have to configure the CURL_DIR path parameter to match
      # their cURL source installation. The path set here is just an example
      # and thus unlikely to match your installation.
      CURL_DIR = r"c:\src\build\pycurl\curl-7.16.2.1"
      CURL_DIR = scan_argv("--curl-dir=", CURL_DIR)
      print("Using curl directory:", CURL_DIR)
      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"

      Удалить
    2. Sergey Borisovich13 декабря 2013 г. в 02:53

      Теперь становится понятной ошибка

      C:\WINDOWS\system32>pip install pycurl
      Downloading/unpacking pycurl
      Downloading pycurl-7.19.0.2.tar.gz (89kB): 89kB downloaded
      Running setup.py egg_info for package pycurl
      ('Using curl directory:', 'c:\\src\\build\\pycurl\\curl-7.16.2.1')
      Traceback (most recent call last):
      File "", line 16, in
      File "c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl\setup.py", line 69, in
      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"
      AssertionError: please check CURL_DIR in setup.py
      Complete output from command python setup.py egg_info:
      ('Using curl directory:', 'c:\\src\\build\\pycurl\\curl-7.16.2.1')

      Traceback (most recent call last):

      File "", line 16, in

      File "c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl\setup.py", line 69, in

      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"

      AssertionError: please check CURL_DIR in setup.py

      ----------------------------------------
      Cleaning up...
      Command python setup.py egg_info failed with error code 1 in c:\users\kiss\appdata\local\temp\pip_build_kiss\pycurl
      Storing complete log in C:\Users\kiss\pip\pip.log

      Удалить
    3. Sergey Borisovich13 декабря 2013 г. в 03:03

      строка 69 это

      assert os.path.isdir(CURL_DIR), "please check CURL_DIR in setup.py"

      и все почти хорошо, за исключением
      if sys.platform == "win32":
      У меня то машина 64 разрядная, есть ли разница (http://ru.wikipedia.org/wiki/Win32 - отсюда не ясно)
      Пробуем в консоли питона
      >>> import sys
      >>> sys.platform
      'win32'

      угу, это хорошо...

      Удалить
  13. Sergey Borisovich13 декабря 2013 г. в 03:09

    Осталось разобраться с cUrl... чего я там поставил? Ищем наверху...
    Ай молодца, я
    Скачал http://www.confusedbycode.com/curl/curl-7.33.0-win64.msi и установил
    то, что надо...
    потому что после прочтения этого http://www.confusedbycode.com/curl/
    я все и понял

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich13 декабря 2013 г. в 03:20

      задаем поиск libcurl.dll в компьютере
      и находим
      1) C:\Program Files\cURL\bin\libcurl.dll
      +Сюрприз:
      2) C:\Users\kiss\Documents\R\win-library\3.0\RCurl\libs\x64\libcurl-4.dll

      И остальные dll в папках отличаются так же... и экзешник в штатной папке есть...

      Удалить
    2. Sergey Borisovich13 декабря 2013 г. в 03:30

      Еще я скачал не msi а зазипованный вариант для разработчиков
      C:\Users\kiss\Downloads\Программы\python\curl-7.33.0-devel-mingw64.7z\curl-7.33.0-devel-mingw64\bin\
      с описанием... и инструкциями...

      Удалить
  14. Sergey Borisovich13 декабря 2013 г. в 03:40

    Проверяем пути path
    C:\Program Files (x86)\AMD APP\bin\x86_64;
    C:\Program Files (x86)\AMD APP\bin\x86;
    %SystemRoot%\system32;
    %SystemRoot%;
    %SystemRoot%\System32\Wbem;
    %SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;
    C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;
    C:\Program Files (x86)\Windows Live\Shared;
    C:\Program Files\Java\jdk1.7.0_21\bin;
    C:\Program Files\Microsoft SQL Server\110\Tools\Binn\;
    C:\HashiCorp\Vagrant\bin;
    C:\Users\kiss\Anaconda\Scripts;
    C:\Program Files\cURL\bin

    Смотри ка, прописалась..., но в строке не вызывается... перегрузится надо, однако
    А вот куда делся путь до анаконды (я их прописал два, помнится...) Система убрала лишний?
    Но Питон вызывается отовсюду... ???
    Вот, нашел, ...наверху задана переменная PATH (это переменная среды пользователя kiss)
    C:\Users\kiss\Anaconda;C:\Users\kiss\Anaconda\Scripts;

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich13 декабря 2013 г. в 03:43

      И еще есть переменная
      PYTHON C:\Users\kiss\Anaconda\python.exe
      Вот почему он сразу запускается....

      Удалить
  15. Sergey Borisovich13 декабря 2013 г. в 21:10

    Сегодня я ленился целый день... и занимался чем угодно..., но не установкой...
    Вечером обманом заставил себя попробовать
    Прописал путь CURL_DIR = r"C:\Program Files\cURL"
    в 77 строке файла C:\Users\kiss\Documents\GitHub\pycurl\setup.py
    попробовал разные варианты запуска
    C:\Users\kiss\Documents\GitHub\pycurl>setup.py
    C:\Users\kiss\Documents\GitHub\pycurl\setup.py

    Выскакивали разные ошибки
    assert os.path.isfile(o), o
    AssertionError: C:\Program Files\cURL\lib\libcurl.lib
    а во втором случае:
    assert os.path.isfile(f), (f, install_dir)
    AssertionError: ('ChangeLog', 'doc\\pycurl')

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich13 декабря 2013 г. в 21:25

      C:\Program Files\cURL\lib\libcurl.lib

      поскольку правильный был
      C:\Program Files\cURL\bin\libcurl.lib
      ....
      начал, было, строить гипотезы..., но быстро догадался найти мануал родной по установке
      https://github.com/lorien/pycurl/blob/master/INSTALL

      Some RPM distributions of curl/libcurl do not include
      everything necessary to build pycurl, in which case you need to
      install the developer specific RPM which is usually called curl-dev.
      ...
      ...
      When installing on Windows, you need to manually configure the path to
      the curl source tree, specified with the CURL_DIR variable in the file
      'setup.py'. The CURL_DIR variable can also be set using the
      commandline option '--curl-dir' when invoking setup.py:

      python setup.py install --curl-dir=c:\curl-7.10.5

      Удалить
  16. Sergey Borisovich14 декабря 2013 г. в 23:52

    Очередная попытка (здесь видны все пути... я все запихнул в C:\Users\kiss\Anaconda\Lib\site-packages)

    Microsoft Windows [Version 6.3.9600]
    (c) Корпорация Майкрософт (Microsoft Corporation), 2013. Все права защищены.

    C:\WINDOWS\system32>cd C:\Users\kiss\Anaconda\Lib\site-packages\pycurl

    C:\Users\kiss\Anaconda\Lib\site-packages\pycurl>python setup.py install --curl-
    ir=C:\Users\kiss\Anaconda\Lib\site-packages\curl-devel-mingw64
    ('Using curl directory:', 'C:\\Users\\kiss\\Anaconda\\Lib\\site-packages\\curl-
    evel-mingw64')
    Traceback (most recent call last):
    File "setup.py", line 275, in
    assert os.path.isfile(o), o
    AssertionError: C:\Users\kiss\Anaconda\Lib\site-packages\curl-devel-mingw64\lib
    libcurl.lib

    C:\Users\kiss\Anaconda\Lib\site-packages\pycurl>

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich15 декабря 2013 г. в 00:28

      \lib -такой папки нету
      ...curl-devel-mingw64\lib\libcurl.lib

      но есть lib64

      Удалить
    2. Sergey Borisovich15 декабря 2013 г. в 00:33

      Погуглил с запросом
      libcurl.lib 64 bit AssertionError
      Обнаружил, что народ ругается http://stackoverflow.com/questions/1582814/pycurl-installation-on-windows

      Нашел неофициальный установщики под Windows
      http://www.lfd.uci.edu/~gohlke/pythonlibs/
      Скачал вот этот
      pycurl-7.19.0.2.win-amd64-py2.7.exe
      будем пробовать...

      Удалить
    3. Sergey Borisovich15 декабря 2013 г. в 14:54

      Бывают в жизни приятные моменты...
      Вчера скачал и установил pycurl-7.19.0.2.win-amd64-py2.7.exe
      вот отсюда
      http://www.lfd.uci.edu/~gohlke/pythonlibs/

      А сегдня первым делом в консоли попробовал
      >>> import pycurl
      и команда прошла...

      Удалить
  17. Sergey Borisovich15 декабря 2013 г. в 15:21

    Почему постоянно возникаю проблемы с установкой?
    Вот ответ на одном из форумов
    http://stackoverflow.com/questions/1582814/pycurl-installation-on-windows
    The same problem: pycurl developers didn't find useful to support python 2.6 on windows (more than year after general release!). We will not use this library anymore. – Konstantin Tenzin Nov 9 '09 at 15:36

    Вот автор grab ->pycurl->cURL>libcurl...
    Написал код, который зависит от двух "сборок"..., а каждая из этих сборок зависит от предыдущих ...и еще от "третьих" сторон...
    Обновилась одна библиотека, значит надо и сборку "пересобирать"...
    Это и есть проблемы промышленного развертывания...
    ...
    Как вообще это "собирается"? Берем соответствующие "сырцы" библиотек, засовываем в компилятор... и получаем бинарник..
    Помнится, в книжке по PHP я что-то читал и даже перекомилировал... это было в командной строке, потому и запомнил..., a Exlipse вообще все делает сам...

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich15 декабря 2013 г. в 15:29

      Сказано, сделано...
      .lib это
      http://msdn.microsoft.com/en-us/library/ba1z7822(v=vs.90).aspx

      Что такое dll, как с ними работать и как создавать
      http://ru.wikipedia.org/wiki/DLL
      http://www.cyberguru.ru/programming/visual-cpp/visual-cpp-beginners-page29.html

      Удалить
  18. Sergey Borisovich15 декабря 2013 г. в 16:06

    Дабы прояснить, что же происходит при установке, задал поиск "curl" в реестре
    Вот, что нашлось
    в разделе
    HKEY_USERS\S-1-5-21-3853063105-3212101752-667732613-1002\Software\Microsoft\Windows\CurrentVersion\Uninstall\pycurl-py2.7
    C:\Users\kiss\Anaconda\pycurl-wininst.log
    C:\Users\kiss\Anaconda\Removepycurl.exe

    HKEY_USERS\S-1-5-21-3853063105-3212101752-667732613-1002\Software\Microsoft\Windows NT\CurrentVersion\AppCompatFlags\Compatibility Assistant\Store
    C:\Program Files\cURL\bin\curl.exe
    C:\Users\kiss\Desktop\pycurl-7.19.0.2.win-amd64-py2.7.exe
    C:\Users\kiss\Downloads\Программы\python\curl-7.33.0-win64.msi

    в рвзделе
    HKEY_CLASSES_ROOT\Installer\Products\6E35669FFA5D1E5479D36A2F6A82FD67
    ProductName cUrl
    HKEY_CLASSES_ROOT\Installer\Products\6E35669FFA5D1E5479D36A2F6A82FD67\SourceList
    PackageName curl-7.33.0-win64.msi

    HKEY_CURRENT_USER\Software\Adobe\Acrobat Reader\10.0\Security\cASPKI\cASPKI\cCustomCertPrefs\c312E322E3834302E3131343032312E310000\cAdobe_OCSPRevChecker\cURLToConsult\c0

    HKEY_CURRENT_USER\Software\Adobe\Acrobat Reader\10.0\Security\cASPKI\cASPKI\cCustomCertPrefs\c312E322E3834302E3131343032312E312E312E310000\cAdobe_OCSPRevChecker\cURLToConsult\c0
    iValue 3

    ОтветитьУдалить
  19. Sergey Borisovich15 декабря 2013 г. в 16:12

    Вот файл C:\Users\kiss\Anaconda\pycurl-wininst.log

    *** Installation started 2013/12/15 00:34 ***
    Source: C:\Users\kiss\Desktop\pycurl-7.19.0.2.win-amd64-py2.7.exe
    999 Root Key: HKEY_CURRENT_USER
    020 Reg DB Key: [Software\Microsoft\Windows\CurrentVersion\Uninstall]pycurl-py2.7
    040 Reg DB Value: [Software\Microsoft\Windows\CurrentVersion\Uninstall\pycurl-py2.7]DisplayName=Python 2.7 pycurl-7.19.0.2 (64-bit)
    040 Reg DB Value: [Software\Microsoft\Windows\CurrentVersion\Uninstall\pycurl-py2.7]UninstallString="C:\Users\kiss\Anaconda\Removepycurl.exe" -u "C:\Users\kiss\Anaconda\pycurl-wininst.log"
    200 File Copy: C:\Users\kiss\Anaconda\curl.exe
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\pycurl-7.19.0.2-py2.7.egg-info
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\pycurl.pyd
    100 Made Dir: C:\Users\kiss\Anaconda\Lib\site-packages\curl
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.py
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.pyc
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.pyo
    *** Installation started 2013/12/15 00:34 ***
    Source: C:\Users\kiss\Desktop\pycurl-7.19.0.2.win-amd64-py2.7.exe
    999 Root Key: HKEY_CURRENT_USER
    040 Reg DB Value: [Software\Microsoft\Windows\CurrentVersion\Uninstall\pycurl-py2.7]DisplayName=Python 2.7 pycurl-7.19.0.2 (64-bit)
    040 Reg DB Value: [Software\Microsoft\Windows\CurrentVersion\Uninstall\pycurl-py2.7]UninstallString="C:\Users\kiss\Anaconda\Removepycurl.exe" -u "C:\Users\kiss\Anaconda\pycurl-wininst.log"
    200 File Copy: C:\Users\kiss\Anaconda\curl.exe
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\pycurl-7.19.0.2-py2.7.egg-info
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\pycurl.pyd
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.py
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.pyc
    200 File Copy: C:\Users\kiss\Anaconda\Lib\site-packages\curl\__init__.pyo

    ОтветитьУдалить
    Ответы
    1. Sergey Borisovich15 декабря 2013 г. в 16:21

      Эту установку я проделал два раза. Второй раз, чтобы посмотреть, куда и чего ставилось... мда
      Защиты от дурака здесь нет, но зато все видно...
      Видно, что в результате установки появилась папка
      C:\Users\kiss\Anaconda\Lib\site-packages\curl
      с оответствующими файлами внутри...
      и чать файлов была записана прямо в
      C:\Users\kiss\Anaconda\Lib\site-packages\

      Удалить

Подписаться на: Комментарии к сообщению (Atom)