Big data, Big Objects

BIG DATA, BIG OBJETCS
Martín De León
martin@nimacloud.com

The computer industry is the
only industry that is more
fashion-driven than women’s
fashion”
Larry Ellison

Datos que exceden la capacidad de procesamiento
de los sistemas de bases de datos convencionales.

Enfoques rentables han surgido para dominar el volumen, la velocidad y la
variabilidad de los datos masivos
● Dentro de estos datos se encuentran patrones e información valiosos,
previamente ocultos debido a la cantidad de trabajo requerido para
extraerlos.
● El hardware básico actual, las arquitecturas en la nube y el software de
código abierto llevan el procesamiento de Big Data al alcance de compañías
más pequeñas.

El valor del big data para una organización
● Uso analítico: El análisis de Big Data puede revelar ideas ocultas
previamente por datos demasiado costosos de procesar, como la influencia
de los compañeros entre los clientes, revelados al analizar las transacciones
de los compradores y los datos sociales y geográficos.
● Habilitación de nuevos productos: Ser capaz de procesar cada elemento
de datos en un tiempo razonable elimina la necesidad de muestreo y
promueve un enfoque dinámico de los datos, en contraste con la naturaleza
estática de ejecutar informes predeterminados.

LAS TRES “V"
• Volúmen, Velocidad y Variedad son comúnmente utilizadas para caracterizar
diferentes aspectos del big data. Ellos son una lente útil a través de la cual
ver y comprender la naturaleza del datos y las plataformas de software
disponibles para explotarlos.
• La mayoría de los análisis de datos contienen con cada uno de los Vs en un
grado u otro.

VOLÚMEN
Si pudiera ejecutar un pronóstico teniendo en cuenta 300
factores en lugar de 6, ¿podría hacer una mejor predicción?
El volumen presenta el desafío más inmediato para
estructuras de TI convencionales.
Requiere un almacenamiento escalable y un enfoque
distribuido para las consultas.

VELOCIDAD
• Internet y la era de los dispositivos móviles significan que la forma en que
distribuimos y consumimos productos y servicios está cada vez más
instrumentada, lo que genera un flujo de datos hacia el proveedor.
• El problema no es solo la velocidad de los datos entrantes: es posible
Hacer streaming de datos que se mueven rápidamente al almacenamiento
masivo para su posterior procesamiento por lotes, por ejemplo. La importancia
radica en la velocidad del bucle de entrada y salida de datos.

VARIEDAD
Rara vez los datos se presentan en una forma perfectamente ordenada y lista
para procesar. Un tema común en los sistemas de big data es que la fuente
los datos son diversos y no caen en estructuras relacionales limpias.
Podría. ser texto de las redes sociales, datos de imágenes, datos sin procesar
directamente desde un sensor. Ninguna de estas cosas está lista para la
integración en una aplicación

EJEMPLOS DE DATOS DE ENTRADA A LOS SISTEMAS DE BIG DATA
● Conversaciones de redes
sociales
● Registros de servidores web
● Sensores de flujo de tráfico
● Imágenes satelitales
● Transmisiones de audio
● Transacciones bancarias
● Archivos MP3
● Contenido de páginas web
● Escaneos de documentos
gubernamentales
● Eutas de GPS
● Telemetría de automóviles
● Datos del mercado financiero

CONCLUSIONES
● Big Data es demasiado voluminoso, demasiado rápido y/o demasiado
variable para poder analizarlo con herramientas convencionales.
● El abaratamiento del hardware, la nube y el software libre ponen el Big Data
al alcance de mas y mas compañias.
● Se deben guardar la mayor cantidad de datos posibles pero todos los datos
recopilados se pueden procesar (Por ejemplo el colisionador de Hadrones).

¿Qué son los Big Objects?
● Permiten un desempeño sostenido de hasta 1000.000.000 de registros o mas.
● Pueden ser standar (FieldHistoryArchive por ejemplo) o custom.
● Para definir un custom big object, se crea un archivo object que contiene su
definición, campos e índice, junto con un permissionset para definir los
permisos para cada campo, así como un archivo package.xml para definir el
contenido de los metadatos del objeto. Los campos definidos en el índice de un
big object determinan la identidad y la capacidad de ser consultado del big
object.

ALGUNOS CASOS DE USO
Vista en 360° del cliente
Tiene gran cantidad de información de clientes que desea almacenar. Desde programas de lealtad a
transacciones, pedidos e información de facturación, utilice un big object personalizado para realizar un
seguimiento de cada detalle.
Auditoría y seguimiento
Mantenga una visión a largo plazo del uso por parte de sus usuarios de Salesforce para análisis o fines de
cumplimiento legal.
Archivo histórico
Mantenga el acceso a datos históricos para análisis o fines de cumplimento legal optimizando al mismo
tiempo el desempeño de sus aplicaciones principales de CRM o Force.com.

CONSULTAS CON BIG OBJECTS
SOQL
Se utiliza si se sabe que la consulta devolverá una pocos datos, no desea
esperar los resultados o necesita los resultados devueltos inmediatamente para
utilizarlos en Apex.
SOQL asíncrono
Con SOQL asíncrono puede ejecutar consultas múltiples en segundo plano
mientras monitorea su estado de realización. Configure sus consultas y vuelva
unas horas más tarde con un excelente conjunto de datos con el que trabajar.

Ejemplo de Async Query
{
"query": "SELECT Account__c, In_Game_Purchase__c FROM Customer_Interaction__b WHERE
Play_Date__c='2017-09-06'",
"operation": "insert",
"targetObject": "Customer_Interaction_Analysis__c",
"targetFieldMap": {"Account__c":"Account__c",
"In_Game_Purchase__c":"Purchase__c"
},
"targetValueMap": {"$JOB_ID":"BackgroundOperationLookup__c",
"Copy fields from source to target":"BackgroundOperationDescription__c"
}
}

Respuesta del ejemplo
{
"jobId":"08PD000000003kiT",
"message":"",
"query":"SELECT Account__c, In_Game_Purchase__c FROM
Customer_Interaction__b WHERE Play_Date__c='2017-09-06'",
"status":"Success",
"targetObject":"Customer_Interaction_Analysis__c",
"targetFieldMap":{"Account__c":"Account__c",
"In_Game_Purchase__c":"Purchase__c"}
}

LIMITACIONES
● Los Big Objects solo admiten permisos de objetos y campos.
● Debe utilizar la metadata API para definir o agregar un campo a un custom big object personalizado.
● Las consultas de relaciones SOQL se basan en un campo de búsqueda procedente de un big object a
un objeto estándar o custom en la lista de selección de campos (no en filtros o subconsultas).
● Los big objects no admiten un interfaz de usuario estándar.
● Puede crear hasta 100 big objects por organización. Los límites para los campos de big objects son
parecidos a los límites de los objetos custom, y dependen del tipo de licencia.
● Los big objects no admiten transacciones que incluyen big objects, objetos estándar y objetos
personalizados.
● No se puede utilizar triggers, flows, procesos ni la aplicación Salesforce.

RECURSOS*
• Big Data Now de O'Reilly Radar- Disponible en Amazon y gooogle books. ISBN: 978-1-449-35671-2
• Trailhead de Big Objects
• Playlist en youtube Big Data, Big objects.
https://www.youtube.com/playlist?list=PLMeuTUCuMC1_2GwIp4T7_Rvt5FxcsBgxf&jct=MqChrBxtT-
wYdjptI5bccs5K0QbP5w&disable_polymer=true
• http://resources.docs.salesforce.com/198/latest/en us/sfdc/pdf/async_soql_guide.pdf
• https://resources.docs.salesforce.com/210/latest/en-us/sfdc/pdf/big_objects_guide.pdf
• Email: martin@nimacloud.com
*Disponibles en blog.nimacloud.com

Big data, Big Objects

Más contenido relacionado

La actualidad más candente

Similar a Big data, Big Objects

Último

Big data, Big Objects